Apa itu AgentOps?

Diperkirakan bernilai sekitar USD 5 miliar pada tahun 2024, pasar agen AI diproyeksikan akan tumbuh menjadi sekitar USD 50 miliar pada tahun 2030.¹ Namun, seiring dengan semakin banyaknya perusahaan yang membangun agen AI untuk merampingkan dan mengotomatiskan alur kerja, tantangan baru muncul dalam memantau perilaku semua agen tersebut untuk memastikan bahwa agen berfungsi sebagaimana mestinya. AgentOps sekumpulan praktik terbaik yang berkembang yang diuraikan secara umum dalam mengevaluasi kinerja agen, yang dibangun di atas aturan umum yang telah ditetapkan di bidang terkait DevOps (yang menstandarkan pengiriman perangkat lunak) dan MLOps (yang melakukan hal yang sama untuk model machine learning).

Tetapi mengelola agen tidak semudah membangun perangkat lunak tradisional atau bahkan model AI. Sistem “Agen” kompleks dan dinamis, dan pada dasarnya melibatkan perangkat lunak dengan pikirannya sendiri. Agen bertindak secara mandiri, memecah tugas, membuat keputusan, dan memiliki perilaku yang tidak pasti. Ide di balik AgentOps adalah membawa observabilitas dan keandalan ke dalam ranah yang bisa jadi mengalami kekacauan, sehingga pengembang dapat mengamati dalam kotak hitam interaksi agen dan perilaku agen lainnya. 

Seluruh ekosistem harus mengelola AgentOps, bukan hanya satu alat; sebuah studi baru-baru ini menemukan 17 alat di Github dan repositori kode lainnya yang relevan dengan praktik ini, mulai Agenta hingga LangSmith sampai Trulens (Ada satu alat AgentOps yang diberi nama dengan ambisius "AgentOps"). Semua alat ini biasanya menyediakan dukungan pada kerangka kerja agen pilihan pengembang, baik itu Agen watsonx IBM atau SDK Agen dari OpenAI. Di bidang yang kompetitif ini, banyak platform dan kerangka kerja populer yang bermunculan, termasuk AutoGen, LangChain, dan CrewAI (yang terakhir dioptimalkan untuk orkestrasi sistem dengan banyak agen).

Agen AI yang dibangun untuk menangani tiket dukungan pelanggan, misalnya, kemungkinan terdiri dari satu atau beberapa model bahasa besar (LLM) yang menggunakan berbagai alat untuk menangani beragam tugas. Alur kerja agennya mungkin melibatkan pemantauan email masuk, mencari basis pengetahuan perusahaan, dan membuat tiket dukungan secara mandiri.

Melakukan debug pada agen semacam itu rumit; perilakunya yang bervariasi menciptakan beberapa titik potensi kegagalan atau inefisiensi. Namun, dengan pemantauan agen, pengembang dapat melakukan putar ulang sesi langkah demi langkah dari proses agen, mengamati apa yang dilakukan sistem AI dan kapan. Apakah agen merujuk ke dokumentasi dukungan pelanggan yang tepat? Pola penggunaan alat dan API mana yang digunakan? Berapa latensi dari setiap langkah? Berapa biaya LLM tertinggi? Seberapa baik agen berkomunikasi atau berkolaborasi dengan agen lain? 

Membebaskan agen AI tanpa rencana untuk mengaudit perilakunya adalah seperti memberi remaja kartu kredit dan tidak melihat laporan kartu kredit setelah penggunaan. Adam Silverman, COO Agency AI, baru-baru ini mengatakan kepada blog Google for Developers bahwa dengan menggunakan LLM yang berbeda untuk tugas yang berbeda, biaya tersebut dapat dikurangi—salah satu dari sekian banyak parameter yang dapat disempurnakan untuk mengoptimalkan efektivitas biaya agen dari waktu ke waktu.²

Dengan menggali lebih dalam, pengembang dapat melacak seluruh perilaku agen, termasuk biaya setiap interaksi LLM di penyedia berbeda (seperti Azure atau AWS). Pengembang dapat melihat dasbor metrik tersebut secara real-time dengan data dari berbagai tahap siklus hidup agen. Melalui evaluasi berulang, pengembang kemudian dapat bekerja menuju optimalisasi agen mereka. 

Tidak ada cara yang disepakati secara universal untuk melakukan AgentOps, mengingat tersedia banyak alat dan pendekatan. (Bahkan istilah pendahulunya yang jauh lebih mapan, DevOps, berarti memiliki makna sedikit berbeda bagi orang yang berbeda). Pada bulan Juni di konferensi IBM Think, IBM Research meluncurkan pendekatannya sendiri untuk AgentOps, menentukan tiga area fokus inti yang diyakini penting untuk mendukung observabilitas dengan contoh penggunaan AI agen perusahaan.

Pertama, IBM Research membangun solusi AgentOps miliknya di atas standar OpenTelemetry (OTEL), kit pengembangan perangkat lunak (SDK) sumber terbuka, yang memungkinkan instrumentasi otomatis dan manual di berbagai kerangka kerja agen. Kedua, mereka membangun platform analitik terbuka di atas OTEL, memberikan pengguna resolusi tingkat tinggi saat melihat perilaku agen mereka secara tersembunyi. Platform ini dapat diperluas, artinya metrik baru dapat dengan mudah ditambahkan. Dan ketiga, analitik ini sendiri didukung oleh AI yang memungkinkan perspektif unik termasuk tampilan alur kerja dengan banyak jejak dan eksplorasi lintasan. 

IBM Research menggunakan pendekatan AgentOps miliknya untuk membantu membangun beberapa produk IBM® Automation, termasuk Instana, Concert, dan Apptio. Karena IBM telah menghadirkan solusi agen miliknya sendiri ke pasar, aspek AgentOps telah menjadi fitur dalam studio pengembang watsonx.ai dan toolkit watsonx.governance untuk menskalakan AI tepercaya.

Namun, ada banyak pendekatan pada AgentOps dan bidang ini berkembang pesat untuk memenuhi kebutuhan industri yang mengadopsi alur kerja agen dengan kecepatan yang sangat cepat. 

Praktik terbaik AgentOps dapat dan harus diterapkan ke semua fase siklus hidup agen.

Pengembangan: Pada fase ini, pengembang memberikan tujuan dan batasan khusus kepada agen mereka yang memetakan berbagai dependensi dan saluran data.

Pengujian: Sebelum dirilis ke lingkungan produksi, pengembang dapat mengevaluasi kinerja agen dalam lingkungan "sandbox" yang disimulasikan.

Pemantauan: Setelah diterapkan, pengembang dapat memeriksa hasil instrumentasi mereka untuk mengevaluasi kinerja agen pada tingkat sesi, pelacakan, atau rentang. Pengembang dapat meninjau tindakan agen, panggilan API, dan durasi keseluruhan (atau latensi) perilaku agen.

Masukan: Pada fase ini, baik pengguna maupun pengembang membutuhkan akses ke alat untuk mencatat ketika agen melakukan kesalahan atau berperilaku tidak konsisten, serta mekanisme untuk membantu agen berkinerja lebih baik pada proses selanjutnya.

Tata kelola: Karena AI generatif berada di bawah pengawasan peraturan yang lebih ketat (seperti dalam UU AI Uni Eropa) dan seiring dengan berkembangnya kerangka kerja etika baru, pengembang membutuhkan seperangkat batasan dan kebijakan untuk membantu membatasi perilaku agen dan memastikan kepatuhan.