IBM® Instana GenAI Observability membawa pemantauan AI ke dalam alur kerja andal yang sama yang telah digunakan tim untuk aplikasi keseluruhan lapisan mereka. Perangkat lunak ini secara otomatis menemukan dan memetakan agen, rantai, dan tugas, kemudian menghubungkan data mereka ke seluruh infrastruktur Anda. Dengan visibilitas bawaan untuk prompt, output, token, latensi, biaya, dan kesalahan, tim dapat dengan cepat melacak masalah, mengoptimalkan kinerja, dan mengoperasikan aplikasi berbasis AI dengan percaya diri.
Didukung oleh standar OpenLLmetry, Instana mendukung penyedia dan kerangka kerja terkemuka, termasuk IBM watsonx.ai, Amazon Bedrock, OpenAI, Anthropic, Groq, DeepSeek, LangChain, LangGraph, dan CrewAI, serta waktu proses seperti vLLM dan GPU. Pendekatan ekosistem terbuka ini membuat observabilitas AI Anda tetap portabel, hemat biaya, dan siap untuk tata kelola, memberi Anda kejelasan secara menyeluruh dari model ke infrastruktur tanpa perlu berganti-ganti alat.
Fitur
Instana secara otomatis menemukan komponen AI, termasuk agen, rantai dan tugas, dan memetakan hubungan mereka dengan layanan dan infrastruktur. Kemampuan ini mencakup pemodelan hierarki tugas dan pemantauan untuk memvisualisasikan alur dan menunjukkan dengan tepat di mana masalah berasal.
Lacak setiap langkah di seluruh agen, panggilan alat, pengambilan, dan pemanggilan model sambil berkorelasi dengan sinyal APM tradisional. Investigasi insiden real time memanfaatkan serangkaian AI ke dalam garis waktu yang sama dengan layanan mikro, database, dan jaringan.
Lacak penggunaan token dan biaya model pada detail tertinggi untuk mengoptimalkan model, prompt, dan sewa. Gunakan insight ini untuk mencegah layanan kewalahan dan menyelaraskan pengeluaran dengan tujuan kinerja.
Rekam prompt dan output (dengan redaksi yang dapat dikonfigurasi), latensi, throughput, tingkat kesalahan, dan metadata model atau penyedia dengan menggunakan konvensi OpenLLMetry. Sinyal operasional ini dapat mendorong dasbor dan peringatan yang membantu deteksi perilaku berisiko dan mengarahkannya ke pemilik yang tepat.
Manfaatkan instrumentasi OpenLLMetry (Trace loop) native dengan cakupan untuk penyedia model utama dan kerangka kerja, GPU, dan waktu proses seperti vLLM. Jaga agar data AI tetap portabel dan netral vendor sambil menyatukannya dengan APM yang matang dan pemantauan infrastruktur dari Instana.
Pahami pemetaan infrastruktur rumit Anda melalui pemantauan aplikasi cloud native secara real-time.
Atasi masalah sebelum memengaruhi pelanggan Anda dengan pengambilan keputusan yang ditanami AI.
Dapatkan visibilitas yang ditingkatkan dengan Instana untuk memaksimalkan Investasi AWS Anda.