Mendorong efisiensi operasional dengan observabilitas Gen AI

Pengumuman ini disampaikan setelah ketersediaan pratinjau IBM Instana Intelligent Incident Investigation, yang dibangun untuk menggunakan AI Agen, untuk memberikan identifikasi akar masalah yang lebih cepat dan lebih komprehensif. Ketika organisasi menskalakan model bahasa besar (LLM) dan alur kerja agen ke dalam produksi, tantangan operasional dapat berlipat ganda: melakukan debug pada saluran AI yang tidak transparan, mengendalikan biaya token yang tidak dapat diprediksi, dan memastikan pengalaman pelanggan yang andal. Instana GenAI Observability langsung mengatasi masalah ini dengan solusi siap untuk perusahaan yang terpadu.

TI Perusahaan sudah berjuang di bawah beban kerumitan dengan laporan terbaru yang menunjukkan dua dari tiga tugas terkait observabilitas terpenting yang harus diselesaikan mencakup beradaptasi dengan alat observabilitas untuk menangani pola arsitektur baru dan memastikan cakupan observabilitas yang konsisten di berbagai lingkungan.

Selain itu, AI telah sepenuhnya merombak definisi aplikasi. Aplikasi tidak lagi memiliki cakupan yang baik dan digerakkan oleh pengguna dengan hasil yang sudah ditentukan sebelumnya; aplikasi kini mengarahkan dirinya sendiri, digerakkan oleh tujuan, dan menyertakan penalaran kontekstual. Risikonya tinggi. Biaya rata-rata waktu henti TI yang tidak direncanakan sebesar USD 14.056 per menit—setara dengan USD 218 ribu–1,425 juta per jam, tergantung pada ukuran perusahaan, dan tanpa visibilitas tentang sistem berbasis AI organisasi dapat berisiko mengalami biaya melambung secara tidak terkendali dan kerusakan reputasi.

Perusahaan tanpa intervensi manusia menunjukkan jalan menuju masa depan, ketika menggunakan alat observabilitas yang berpotensi mencapai pengurangan biaya TI dan ROI tinggi dari transformasi digital yang didukung AI.

IBM Instana GenAI Observability dibangun untuk insinyur platform, tim SRE dan Ops TI, serta eksekutif yang harus menyeimbangkan antara keandalan dan biaya fitur AI. Platform ini memusatkan telemetri khusus AI bersama tumpukan TI lainnya:

• Kemampuan debug pada alur kerja AI: Penelusuran menyeluruh pada agen, pemanggilan alat, langkah pengambilan, percobaan ulang, prompt, dan output.
• KPI operasional: Latensi, tingkat kesalahan, dan throughput melalui token yang digunakan per permintaan, layanan, model, atau penyewa.
• Tata kelola biaya: Pengguna awal menyoroti kemampuan Instana untuk mencegah "kejutan tagihan" token dengan mengaitkan pengeluaran dengan beban kerja dan penyewa.
• Konteks terpadu: Telemetri AI tidak terisolasi, sebaliknya sangat menyatu dengan aplikasi dan infrastruktur yang dirancang untuk analisis akar masalah yang lebih cepat.

Lingkungan observabilitas memanas, dengan banyak vendor yang melapisi visibilitas AI dalam alat mereka. Kami meyakini bahwa Instana tampil menonjol dengan empat pembeda inti:

1. Konteks keseluruhan lapisan real-time: Satu produk mengintegrasikan aplikasi, infrastruktur, dan sinyal AI.
2. Pendekatan pertama sumber terbuka: Instrumentasi melalui OpenLLMetry membuat data tetap portabel dan netral terhadap vendor.
3. Cakupan ekosistem yang luas: Dari IBM watsonx.ai dan Amazon Bedrock hingga kerangka kerja agen seperti LangChain dan CrewAI, hingga basis data vektor seperti Milvus DB, di samping penyedia model bahasa besar yang utama  
4. Tampilan pemecahan masalah generasi berikutnya yang didukung oleh IBM Research: Visualisasi yang dibuat khusus mengungkapkan pola kinerja AI, menggunakan teknologi yang dipatenkan IBM.

Pelanggan menginginkan satu tempat untuk melihat kinerja AI dalam produksi—dari prompt, token hingga latensi—tanpa kehilangan konteks yang menyeluruh. Itulah yang diberikan oleh Instana GenAI Observability.

Untuk tim yang menggunakan solusi observabilitas terkemuka, hasilnya bisa sangat signifikan: berkurangnya waktu rata-rata menuju resolusi (MTTR), lebih sedikit biaya kejutan. Bagi eksekutif, solusi semacam itu dapat mendukung tata kelola dan intelijen operasional untuk menskalakan AI. Dan untuk industri yang menghadapi kompleksitas TI yang melonjak, ini merupakan cara untuk mengatasi biaya sekaligus mempercepat inovasi.

Pada masa mendatang, observabilitas real-time Instana adalah bagian penting dari strategi AI IBM yang lebih luas. Bersama dengan penawaran seperti watsonx.governance dan watsonx Orchestrate yang menyediakan agen khusus domain yang dapat disesuaikan, IBM membangun pendekatan yang konsisten pada pemantauan, tata kelola, dan otomatisasi di seluruh siklus hidup AI.

IBM Instana GenAI Observability kini tersedia. Jika Anda menghadiri konferensi IBM TechXchange di Orlando, FL, pelajari lebih lanjut tentang kemampuan ini dengan menghadiri sesi #3122, “Dorong efisiensi operasional dengan observabilitas yang didukung AI”.

Transformasikan operasi AI Anda