Apa itu observabilitas AI?

Alat observabilitas tradisional memahami keadaan internal atau kondisi sistem yang kompleks menggunakan tiga pilar observabilitas: log, jejak, dan metrik. Aplikasi AI dan agen AI memperkenalkan lapisan kompleksitas tambahan yang membutuhkan alat observabilitas unik, yang dapat mengoptimalkan kinerja model dengan memantau output khusus AI dan menghasilkan visualisasi (seringkali dihasilkan AI).

Tidak seperti perangkat lunak tradisional, output model bahasa besar (LLM) dan aplikasi kecerdasan buatan generatif lainnya bersifat probabilistik. Input yang identik dapat menghasilkan respons yang berbeda, yang dapat menyulitkan untuk melacak bagaimana input membentuk output, menyebabkan masalah bagi alat observabilitas konvensional. Oleh karena itu, pemecahan masalah, debugging, dan pemantauan kinerja lebih kompleks dalam sistem AI generatif.

Selain itu, penjelasan dalam AI —bidang yang berkembang yang berupaya mengurangi kualitas “kotak hitam” dari banyak model AI—belum dapat sepenuhnya menjelaskan bagaimana model berinteraksi dengan sistem TI dan alur kerja yang lebih luas. Solusi observabilitas AI harus memprioritaskan hal-hal yang dapat mereka ukur dan analisis secara efektif. Prioritas ini sangat penting ketika menggunakan model dari pihak ketiga seperti OpenAI atau Google, yang mengeksekusi dan mengelola model secara pribadi.

Agen AI — sistem yang bekerja secara mandiri untuk merancang dan menjalankan alur kerja di seluruh ekosistem TI — menimbulkan tantangan unik tersendiri untuk observabilitas dan memerlukan pendekatan unik untuk pengumpulan data. Hampir setengah dari eksekutif yang disurvei pada tahun 2025 oleh IBM Institute for Business Value menyebutkan “kurangnya visibilitas ke dalam proses pengambilan keputusan agen sebagai penghalang implementasi yang signifikan” untuk AI agen. Observabilitas untuk sistem ini sangat penting untuk adopsi.

Observabilitas AI bekerja dengan mengumpulkan metrik khusus AI dari seluruh tumpukan teknologi secara real time dan mengaturnya ke dalam dasbor. Observabilitas AI memberi administrator insight yang lebih baik tentang cara kerja model AI sekaligus mengurangi hambatan, halusinasi dan latensi, di antara masalah umum lainnya.

Platform observabilitas berfokus pada tiga jenis telemetri utama, yang memiliki variasi sendiri khusus untuk sistem AI: log, jejak, dan metrik.

Log adalah catatan peristiwa aplikasi yang terperinci, diberi stempel waktu, lengkap, dan tidak dapat diubah. Salah satu kegunaan log adalah untuk membuat catatan fidelitas tinggi, milidetik demi milidetik dari setiap peristiwa dalam sistem TI, lengkap dengan konteks sekitarnya. Dalam pengembangan AI, pengembang menggunakan log untuk pemecahan masalah dan debugging.

Jejak merekam “perjalanan” ujung ke ujung dari setiap permintaan pengguna, dari antarmuka pengguna atau aplikasi mobile, melalui seluruh arsitektur dan model AI, dan kembali ke pengguna.

Metrik adalah ukuran mendasar dari kesehatan aplikasi dan sistem dari waktu ke waktu. Misalnya, metrik digunakan untuk mengukur berapa banyak memori atau kapasitas CPU yang digunakan aplikasi dalam lima menit, atau berapa banyak latensi yang dialami aplikasi selama lonjakan penggunaan.

Agen AI, AI generatif, dan sistem AI lain seperti model bahasa besar juga menghasilkan jenis data telemetri unik yang harus dikumpulkan dan dianalisis untuk memberikan insight yang dapat ditindaklanjuti kepada administrator.

Penggunaan token, penyimpangan model, dan kualitas respons adalah tiga titik data inti untuk sebagian besar inisiatif pengamatan AI. Memantau faktor-faktor ini dapat membantu mengurangi masalah kinerja selama siklus hidup model dan meningkatkan pengalaman pengguna.

Data telemetri yang lebih tradisional seperti penggunaan GPU, hambatan dalam infrastruktur jaringan, dan masukan antarmuka pengguna juga dapat dikumpulkan oleh alat observabilitas AI di mana mereka relevan dengan model.

Token adalah unit bahasa individu, biasanya berupa kata atau bagian dari kata, yang dapat dipahami oleh model AI. Jumlah token yang diproses model untuk memahami input atau menghasilkan output secara langsung berdampak pada biaya dan kinerja aplikasi berbasis LLM. Konsumsi token yang lebih tinggi dapat meningkatkan biaya operasional dan latensi respons.

Metrik utama untuk melacak penggunaan token meliputi:

• Tarif dan biaya konsumsi token, yang dapat membantu mengukur biaya operasional.
  
  
• Efisiensi token,, ukuran dari seberapa efektif setiap token digunakan dalam suatu interaksi. Interaksi yang efisien menghasilkan output berkualitas tinggi sambil meminimalkan jumlah token yang dikonsumsi.
  
  
• Pola penggunaan token di berbagai jenis prompt, yang dapat membantu mengidentifikasi penggunaan model yang membutuhkan banyak sumber daya.

Metrik ini dapat membantu organisasi mengidentifikasi peluang pengoptimalan untuk mengurangi konsumsi token, seperti dengan menyempurnakan prompt untuk menyampaikan lebih banyak informasi dalam token yang lebih sedikit. Dengan mengoptimalkan pemanfaatan token, organisasi dapat mempertahankan kualitas respons yang tinggi sambil berpotensi mengurangi biaya inferensi untuk beban kerja machine learning.

Tidak seperti perangkat lunak tradisional, model AI berisiko mengubah perilaku mereka secara bertahap dengan cara yang tidak diinginkan seiring berkembangnya data dunia nyata. Fenomena ini, yang dikenal sebagai penyimpangan model, dapat secara signifikan menurunkan keandalan dan kinerja sistem AI.

Metrik utama untuk melacak penyimpangan model meliputi:

• Perubahan dalam pola respons dari waktu ke waktu untuk mengidentifikasi inkonsistensi yang muncul.
  
  
• Variasi dalam kualitas output atau relevansi yang mungkin mengindikasikan penurunan kinerja model.
  
  
• Pergeseran dalam latensi atau pemanfaatan sumber daya yang dapat menandakan inefisiensi komputasi.

Mekanisme deteksi drift dapat memberikan peringatan dini ketika akurasi model menurun untuk contoh penggunaan tertentu, memungkinkan tim untuk melakukan intervensi sebelum model mengganggu operasi bisnis.

Memantau kualitas output AI sangat penting untuk menjaga kepercayaan, keandalan, dan kepatuhan. Metrik utama untuk melacak kualitas respons meliputi:

• Frekuensi halusinasi di berbagai jenis prompt untuk mengidentifikasi kemungkinan pemicu output yang tidak akurat.
  
  
• Akurasi faktual dari respons yang dihasilkan, meskipun metrik ini seringkali memerlukan validasi eksternal dan pengawasan manusia.
  
  
• Konsistensi output untuk input serupa untuk memverifikasi stabilitas model dari waktu ke waktu.
  
  
• Relevansi respons terhadap prompt pengguna untuk menilai bagaimana model selaras dengan maksud pengguna.
  
  
• Pelacakan latensi sangat penting untuk aplikasi AI yang berhadapan langsung dengan pengguna, di mana kecepatan dan akurasi sering kali harus diutamakan. Memantau waktu respons di berbagai jenis prompt dapat membantu organisasi menentukan kemacetan kinerja dan inefisiensi komputasi.

OpenTelemetry (oTel), kerangka kerja sumber terbuka untuk mengumpulkan dan mentransmisikan data telemetri, dapat membantu memperbaiki tantangan observabilitas yang ditimbulkan oleh AI.

Untuk penyedia AI, OpenTelemetry menawarkan cara untuk menstandarkan cara mereka berbagi data kinerja tanpa mengekspos detail model eksklusif atau kode sumber. Untuk perusahaan, ini memastikan bahwa data observabilitas mengalir secara konsisten melintasi saluran AI kompleks yang mungkin mencakup beberapa model, berbagai dependensi, dan sistem retrieval-augmented generation (RAG).

Manfaat utama OpenTelemetry untuk observabilitas AI meliputi:

• Kemandirian vendor: Organisasi dapat menghindari penguncian pada platform observabilitas tertentu, sehingga membantu mereka mempertahankan fleksibilitas seiring dengan perkembangan teknologi AI.
  
  
• Visibilitas menyeluruh: Data telemetri mengalir secara konsisten dari semua komponen infrastruktur aplikasi AI.
  
  
• Siap masa depan: Seiring berkembangnya teknologi AI, standar OpenTelemetry dapat beradaptasi mengikutinya, membantu memastikan strategi observabilitas tetap relevan.
  
  
• Integrasi ekosistem: Standar terbuka memungkinkan pengamatan di seluruh solusi AI multivendor dan model penerapan hybrid.
  
  
• Standarisasimetadata : Karena OpenTelemetry netral terhadap vendor, ini memungkinkan pengembang untuk menangkap metadata penting terkait AI dan mempertahankan visibilitas di seluruh tumpukan terlepas dari backend atau vendor observabilitas mana yang mereka gunakan.

Karena tingkat otonomi dan otomatisasi yang tinggi di dalam jaringan, agen AI memerlukan perhatian khusus dari platform observabilitas — khususnya mengenai tindakan yang mereka ambil dalam sistem dan log dan jejak kehadiran tindakan tersebut.

Kemampuan yang membuat agen AI berharga — penggunaan LLM, ingatan mereka tentang percakapan sebelumnya dan penggunaan alat eksternal — dapat membuat mereka sulit untuk dipantau, dipahami, dan dikendalikan.

Tindakan umum yang mungkin diambil agen AI termasuk memanggil antarmuka pemrograman aplikasi (API) untuk berinteraksi dengan mesin pencari, memanggil LLM untuk menghasilkan teks atau memahami input pengguna, meningkatkan permintaan ke staf manusia atau menyampaikan peringatan otomatis tentang pelanggaran keamanan atau ketersediaan komputasi yang rendah.

Meskipun kemampuan ini memungkinkan agen untuk bekerja secara independen, kemampuan ini juga membuat mereka jauh lebih tidak transparan daripada aplikasi tradisional yang dibangun berdasarkan aturan dan logika yang eksplisit dan telah ditentukan sebelumnya. Dengan melacak data yang terkait dengan proses agen ini, administrator dapat memperoleh insight tentang perilaku agen dan membantu mencegah pelanggaran kepatuhan, kegagalan operasional, dan erosi kepercayaan pengguna berikutnya.

Log unik untuk observabilitas agen AI meliputi:

• Log interaksi pengguna, yang mendokumentasikan setiap interaksi antara pengguna dan agen AI.
  
  
• Log interaksi LLM, yang mendokumentasikan interaksi antara agen dan LLM.
  
  
• Log eksekusi alat, yang mengukur alat dan agen instrumentasi mana yang digunakan, kapan mereka menggunakannya, perintah apa yang mereka kirim, dan hasil apa yang mereka dapatkan kembali.
  
  
• Log keputusan agen, yang mencatat bagaimana agen AI sampai pada suatu keputusan atau tindakan tertentu jika tersedia.

Manfaat observabilitas AI termasuk mengontrol biaya penggunaan model, kemudahan kepatuhan, dan peningkatan model itu sendiri.

Memperoleh insight yang lebih besar tentang bagaimana alat yang didukung AI berinteraksi dengan ekosistem TI dapat mengidentifikasi sumber daya yang terbuang. Misalnya, jika organisasi menemukan bahwa model hanya menggunakan sebagian kecil dari daya yang diberikan kepadanya, tim DevOps dapat mengurangi atau mengalihkan sumber daya ke tempat yang lebih dibutuhkan.

Alat observabilitas AI dapat secara otomatis mengumpulkan, memproses, dan menyimpan data telemetri agen AI untuk audit kepatuhan. Dukungan audit semakin penting karena undang-undang termasuk Undang-Undang AI Uni Eropa, serta berbagai peraturan negara yang diusulkan di Amerika Serikat, telah mendorong gelombang upaya untuk menstandarkan penggunaan bisnis AI dan melindungi segala informasi identifikasi pribadi (PII) yang digunakan oleh model.

Untuk pengembang model, volume telemetri yang dikumpulkan oleh alat observabilitas dapat membantu mengurangi penyimpangan model, melacak fitur mana yang paling berharga dan berguna (atau paling disfungsional) dan memeriksa bias dan keadilan.

Sementara pengamatan AI adalah praktik memahami sistem AI melalui data telemetri mereka, observabilitas machine learning lebih khusus difokuskan pada bagaimana AI tool menggunakan data di tingkat model.

Memahami telemetri machine learning sangat penting karena data yang diserap dan dipelajari model terus berubah. Menelusuri untuk memahami bagaimana model berfungsi secara internal dapat mengajarkan administrator tidak hanya bahwa model telah menyimpang atau menjadi kurang efektif, tetapi juga alasannya.

Metrik utama untuk observabilitas machine learning, dan seringkali observabilitas LLM, mengukur kualitas model, data itu sendiri yang diserap model dan bagaimana model berinteraksi dengan infrastruktur sekitarnya.

Berbagai jenis model memiliki metrik kualitas berbeda yang mungkin dilacak oleh platform observabilitas.

Untuk model klasifikasi, yang mengurutkan data ke dalam kelas yang telah ditentukan, metrik kinerja umum meliputi:

• Akurasi: Jumlah prediksi yang benar dibandingkan dengan jumlah total prediksi yang dibuat
  
  
• Ketepatan dan ingatan: Ukuran seberapa relevan item yang dipilih
  
  
• Skor F1: Kombinasi yang umum digunakan dari metrik ini

Model regresi, di sisi lain, sering dievaluasi oleh metrik seperti kesalahan kuadrat rata-rata akar, yang mengukur perbedaan rata-rata antara prediksi yang dibuat oleh model dan titik data aktual yang dimaksud.

Observabilitas machine learning dapat mengukur penyimpangan data—seperti perbedaan besar antara data input dan data pelatihan, atau perubahan distribusi statistik dari prediksinya—serta metrik kualitas data sederhana seperti nilai yang hilang dan jenis nilai yang salah dan tidak valid. Dengan menggunakan metrik ini, alat observabilitas machine learning dapat melakukan analisis akar masalah untuk memahami penyimpangan model atau mencegahnya sebelum terjadi.

Observabilitas machine learning sering juga mengukur metrik yang lebih tradisional yang mungkin relevan dengan model, seperti latensi, penggunaan memori dan throughput, atau jumlah prediksi yang dapat dibuat model dalam jumlah waktu tertentu.