Pengujian agen AI: Strategi, metrik, dan praktik terbaik

Menguji sistem otonom secara ketat sangat penting karena agen AI secara independen merencanakan tugas yang terdiri dari banyak bagian, menggunakan alat eksternal, dan berinteraksi dengan agen lain. Proses pengujian yang kuat adalah bagian dari loop penciptaan dan evaluasi berkelanjutan yang dikenal sebagai siklus proses pengembangan agen (ADLC).

Agen secara mandiri merencanakan dan menjalankan tugas, dengan cepat mengubah cara perusahaan menggunakan AI. Akan tetapi, adopsi yang cepat dapat memecah ekosistem teknologi dan memaksa perubahan signifikan pada proses pengujian lama. Menurut riset terbaru dari Institute for Business Value IBM, 80% CIO dan CTO yang disurvei melaporkan mandat Transformasi AI yang digerakkan oleh CEO. Tetapi hanya 11% mengatakan mereka sepenuhnya siap untuk peningkatan penerapan agen AI yang diharapkan pada tahun depan.

“Bagi para CIO dan CTO,” kata Matt Lyteson, CIO di IBM, “tantangan saat ini adalah meningkatkan sistem AI yang beroperasi secara terus-menerus dan otonom, yang sering kali menggunakan model tata kelola dan arsitektur yang dirancang untuk lingkungan yang jauh lebih lambat dan lebih dapat diprediksi.” 

Pengujian perangkat lunak tradisional berfokus pada sistem statis; AI agen bergantung pada sifat probabilistik model bahasa besar (LLM). Ini berarti bahwa prompt serupa mungkin menghasilkan urutan panggilan alat yang berbeda selama eksekusi yang berbeda, dan bahwa masalah yang terjadi pada awal alur kerja dengan banyak langkah mungkin baru muncul kemudian. Dan dengan perubahan seiring waktu pada agen yang didukung machine learning, mereka mungkin menunjukkan tanda-tanda regresi atau penyimpangan.

Menguji agen AI seharusnya tidak hanya memperhitungkan apakah jawaban akhir benar, tetapi apakah jalur penalaran dan output perantara sesuai. Idealnya, jenis pengujian semacam ini menjawab pertanyaan yang jauh berbeda dari bentuk validasi perangkat lunak sebelumnya. Pengujian bukan hanya tentang agen yang mencocokkan perkiraan output, tetapi memastikan output secara konsisten memiliki penalaran yang baik, akurat, dan aman, apa pun inputnya. Ini berarti memvalidasi perilaku agen bersama dengan pengujian unit yang lebih tradisional.

Siklus pengujian agen juga berkelanjutan. Pengujian agen AI melibatkan pembuatan loop masukan yang efektif, tidak sekadar mengembangkan tolok ukur keberhasilan yang sederhana dan kaku. Organisasi yang membuat strategi pengujian dapat diskalakan dan terpadu dapat mengembangkan sistem otonom yang beroperasi dengan andal dan aman. Mereka juga dapat menerapkan kerangka kerja pengujian yang bekerja dengan lancar di seluruh ADLC, sehingga agen AI dapat berintegrasi sesuai perkiraan di berbagai model, platform, dan vendor.

Agen AI yang diuji dengan buruk menimbulkan risiko operasional dan tata kelola yang signifikan. Beberapa faktor yang membuat pengujian ketat penting meliputi:

• Kesalahan berantai: Agen sering kali menjalankan rangkaian penalaran dan tindakan yang terdiri dari beberapa bagian, yang berarti kesalahan pada titik mana pun dalam proses tersebut dapat semakin membesar.

• Keamanan dan keselamatan: Agen yang menjelajah web atau berinteraksi dengan API pihak ketiga terpapar serangan injeksi dan jailbreak pada prompt. Pengujian yang ketat mengurangi kemungkinan pelanggaran keamanan.

• Risiko regulasi dan reputasi: Agen di industri yang diatur seperti perawatan kesehatan atau keuangan yang menghasilkan output yang salah akan memaparkan organisasi pada kewajiban hukum. Dan agen yang berperilaku tidak menentu atau berhalusinasi membahayakan kepercayaan pengguna.

• Sifat AI agen yang tidak deterministik: Model bahasa besar dapat memberikan jawaban yang berbeda pada prompt serupa, jadi pengujian harus memperhitungkan varians alih-alih mengevaluasi satu gambaran singkat kinerja. 

Beberapa output yang dihasilkan agen AI, seperti ringkasan atau penjelasan, tidak dapat dievaluasi dengan aturan sederhana. Mereka membutuhkan tingkat penilaian. Apakah respons menjawab maksud pengguna dengan benar dan apakah nadanya sesuai? LLM-as-a-judge adalah praktik menggunakan LLM kedua untuk mengevaluasi kualitas output agen.

Biasanya model yang lebih besar dan memiliki kemampuan lebih tinggi daripada model yang diuji diberi rubrik dan diminta untuk menilai respons agen. Para evaluator ini dapat diterapkan di beberapa titik di lintasan agen, sehingga mereka dapat menangkap kegagalan atau inkonsistensi di seluruh proses. LLM-as-a-judge bekerja dengan penguji manusia untuk memungkinkan penilaian kualitas otomatis yang berkelanjutan. Meskipun bukan pengganti evaluasi manusia, LLM-as-a-judge menskalakan proses pengujian dengan cara yang tidak dapat dilakukan oleh tim manusia.

Mengingat kecanggihan agen AI, pengujian eksplorasi tidak cukup—ekosistem agen membutuhkan rubrik yang kuat dan metrik yang jelas untuk sukses. Pengujian agen yang efektif beroperasi di sepanjang tiga tingkat yang berbeda, masing-masing dirancang untuk menangkap kelas kegagalan berbeda. Bersama-sama mereka membentuk pertahanan berlapis yang mengevaluasi AI agen dari bug awal hingga pengalaman pengguna dunia nyata.

• Pengujian komponen: Pengujian komponen menangkap kegagalan sebelum diintegrasikan ke dalam proses sistem yang lebih besar. Mereka dirancang untuk mengevaluasi setiap bagian dari agen secara terpisah. Misalnya, tiap alat dan subagen, manajemen memori, atau langkah-langkah pengambilan data. Pengujian komponen dapat mengonfirmasi bahwa alat pencarian web menangani kesalahan batas tingkat dengan benar, atau bahwa alat pengodean mengenali kerentanan keamanan umum berdasarkan prompt pengguna. Karena pengujian komponen berjalan pada unit yang terisolasi, mereka biasanya cepat dieksekusi dan debug mudah dilakukan.

• Tes lintasan: Tes lintasan mengevaluasi jalur penalaran agen di seluruh tugas lengkap, dari instruksi pengguna hingga respons akhir. Mereka menguji setiap keputusan dan output perantara untuk mengamati proses pengambilan keputusan penuh agen—serta melakukan tes integrasi untuk mengaudit panggilan alat agen. Tes lintasan dapat mendeteksi kegagalan yang muncul yang mungkin tidak langsung terlihat. Misalnya, jika agen memanggil alat dengan benar dalam suatu urutan, tetapi menarik kesimpulan yang salah dari hasil gabungannya, atau terus-menerus mencapai output yang benar melalui jalur berbeda.

• Pengujian menyeluruh: Pengujian menyeluruh mengevaluasi agen terhadap tugas pengguna yang nyata atau realistis dalam kondisi yang sangat mendekati skenario dunia nyata. Tinjauan ini mengukur apakah agen menyelesaikan tugas dengan benar serta apakah pengalaman penuh memenuhi standar yang diperlukan untuk penerapan. Misalnya, apakah agen berperilaku konsisten di seluruh percakapan dua arah yang berkesinambungan? Apakah agen menangani maksud pengguna yang ambigu dengan mulus? Biasanya, tinjauan menyeluruh menggabungkan evaluasi otomatis dengan penilaian manusia terstruktur. Pada tahap ini, peninjau manusia mengevaluasi sampel untuk nuansa yang mungkin terlewat oleh metrik otomatis. Agen juga sengaja diberikan input yang membingungkan dan situasi yang ekstrem. 

Agen AI perusahaan sering diterapkan di lingkungan yang mahal atau tidak dapat diubah untuk diuji secara langsung. Misalnya, agen yang mengirim email pelanggan tidak dapat mengirim email pengujian ke pelanggan sesungguhnya, atau agen yang mengelola infrastruktur cloud tidak dapat berintegrasi dengan lingkungan cloud yang nyata.

Simulasi lingkungan yang canggih memecahkan tantangan itu dengan menyediakan model simulasi yang terkontrol dan dapat diulang untuk skenario dunia nyata. Dalam beberapa tahun terakhir, beberapa perusahaan telah merilis lingkungan simulasi yang memungkinkan pengembang untuk membuat cerita pengguna dan merekam respons API. Lingkungan ini juga memungkinkan penguji untuk membuat skenario yang mungkin jarang atau tidak mungkin dipicu di lingkungan produksi. Misalnya, basis data tidak memberikan hasil yang berguna atau pengguna memberikan instruksi yang kontradiktif selama percakapan yang panjang. 

Tingkat keberhasilan mengukur persentase kasus pengujian di mana agen menyelesaikan tugas yang diberikan. Ini adalah metrik mendasar dalam pengujian agen.

Akurasi alat mengukur apakah agen memilih alat yang benar untuk tugas tertentu dan apakah ia memanggilnya dalam parameter yang benar. Misalnya, agen mungkin mengidentifikasi dengan benar bahwa ia perlu mencari basis data, tetapi membuat kueri yang salah. 

Mengevaluasi lintasan agen melibatkan penilaian apakah jalur penalaran agen koheren dan tepat, meski jawaban akhirnya ternyata benar. Biasanya, pengujian ini memeriksa penalaran beberapa langkah yang dilakukan agen untuk memeriksa bahwa agen tetap konsisten dalam tujuan mereka dan menangani setiap langkah secara logis. Proses pengujian manual membandingkan lintasan standar berkualitas yang ditentukan manusia dengan apa yang sebenarnya dilakukan agen. Pengembang juga sering mengotomatiskan bagian dari proses ini dengan menggunakan LLM-as-a-judge. 

Latensi dan biaya umumnya merupakan persyaratan sulit yang digunakan untuk menentukan apakah suatu sistem pada dasarnya dapat digunakan. Latensi mengukur waktu dari pengiriman tugas hingga output akhir—agen yang melakukan beberapa panggilan alat berurutan atau menggunakan API eksternal yang lambat dapat mengalami latensi yang membuatnya tidak praktis bagi pengguna. Biaya umumnya mengukur konsumsi token agregat agen, serta volume panggilan API per tugas. Misalnya, agen yang menggunakan alat mahal untuk subtugas sederhana bisa sangat mahal dalam skala besar. 

Keringkasan mengukur apakah output agen berisi informasi yang diperlukan dan mengomunikasikannya secara efektif. Koherensi mengukur apakah output secara logis konsisten, terstruktur dengan baik, dan bebas dari kontradiksi internal. Kedua metrik itu penting terlepas dari akurasinya. Output dapat akurat secara faktual tetapi sangat bertele-tele sehingga pengguna tidak dapat dengan mudah mengekstrak informasi yang relevan. Atau output bisa jadi ringkas tetapi tidak koheren—mengalami penyimpangan konteks dan memberikan jawaban yang sama. 

Otomatisasi pengujian adalah praktik menjalankan evaluasi otomatis alih-alih menguji agen secara manual. Untuk sistem agen yang melibatkan komponen yang saling bergantung dan sering berubah, otomatisasi membuat pengujian berkelanjutan dalam skala besar.

Infrastruktur otomatisasi pengujian dalam sistem agen mengacu pada alur CI/CD yang serupa dengan yang digunakan dalam bentuk rekayasa perangkat lunak lainnya. Seiring kemajuan perubahan perangkat lunak melalui alur, pengujian otomatis mengidentifikasi masalah dan agen dapat mendorong perubahan kode, menciptakan loop masukan yang berkelanjutan.

Kerangka kerja evaluasi memberikan infrastruktur dasar untuk menjalankan pengujian, mencatat lintasan agen, menilai output, dan melacak metrik dari waktu ke waktu. Kerangka kerja ini adalah dasar dari praktik pengujian sistematis dan dapat dianggap sebagai pelatih untuk agen AI.

Sebagian besar kerangka kerja evaluasi memungkinkan perusahaan untuk menentukan serangkaian contoh acuan yang mencerminkan kinerja agen yang ideal. Platform kemudian mengukur lintasan simulasi agen terhadap contoh-contoh tersebut, menilai kinerja di sepanjang beberapa variabel. Contohnya adalah menyimulasikan percakapan antara sekelompok besar “pengguna” yang didukung AI generatif dan kemudian membuat laporan yang menilai agen pada presisi panggilan alat dan akurasi pengendalian arah agen.

Hal ini memungkinkan organisasi untuk dengan cepat melihat di mana agen membutuhkan perbaikan dan memiliki kinerja yang baik. Kerangka kerja evaluasi membantu tim menentukan keberhasilan pada awal proses pengembangan dan memberikan rubrik yang jelas untuk pengujian regresi.

Platform observabilitas memberikan gambaran secara real-time dan historis mengenai perilaku agen. Terkadang diintegrasikan ke dalam platform yang sama dengan kerangka kerja evaluasi, mereka terus memantau jaringan agen untuk memunculkan anomali dan regresi saat muncul. Platform observabilitas AI melacak interaksi agen, mengumpulkan metrik, dan memperingatkan anggota tim ketika penyimpangan muncul. Mereka dapat sangat berguna bagi para insinyur yang memantau sistem yang kompleks dengan banyak agen dan memberikan visibilitas tentang penalaran agen untuk mengidentifikasi akar masalah. 

Bidang kontrol agen adalah lapisan manajemen yang berada di atas tiap agen, memberikan visibilitas dan kontrol terpusat tentang bagaimana agen diterapkan dan diatur di seluruh organisasi. Jika kerangka kerja evaluasi dan platform observabilitas berfokus pada mengukur apa yang dilakukan oleh sebuah agen, bidang kontrol berfokus pada apa yang diizinkan untuk dilakukan oleh agen tersebut. Mereka juga memastikan aturan yang mengatur perilaku agen diterapkan secara konsisten dan dapat ditegakkan.

Dalam konteks pengujian, bidang kontrol agen menyimpan catatan konfigurasi masing-masing agen, sehingga mereka dapat menghasilkan kembali kondisi yang tepat. Banyak bidang kontrol mendukung pembuatan versi, pengujian, dan penerapan agen yang terkontrol, mendukung iterasi di seluruh ekosistem dengan banyak agen. 

Beberapa platform AI utama saat ini menyediakan kemampuan pengujian dan evaluasi bawaan untuk agen yang dibangun di atas infrastruktur mereka. Alat dalam platform ini menawarkan keunggulan berupa integrasi yang erat dengan lingkungan penerapan dan pengaturan yang disederhanakan. Namun, mereka biasanya menawarkan fleksibilitas yang lebih sedikit daripada kerangka kerja mandiri untuk tim dengan kebutuhan evaluasi yang kompleks. 

Menguji agen AI adalah proses berkelanjutan. Pengujian dari tahap awal pengembangan—dan terus menguji dan menyempurnakan agen setelah diterapkan—membantu memastikan kualitas dalam jangka panjang.

Proses otomatisasi pengujian yang berkualitas tinggi dan menyeluruh harus diterapkan ketika prompt diubah atau alat baru ditambahkan—namun juga harus menjadi bagian dari protokol pemantauan agen rutin suatu organisasi. Ini membutuhkan investasi dalam infrastruktur untuk membuat pengujian cepat dan murah: Kumpulan data pengujian dan dasbor metrik yang tertata dengan baik membantu mengintegrasikan proses pengujian ke dalam operasi sehari-hari.

Menguji lebih awal juga berarti menentukan kriteria untuk sukses sebelum membangun agen. Tim yang memulai pengembangan tanpa memahami dengan jelas apa yang ingin mereka capai berisiko melakukan proses debug reaktif berdasarkan bagaimana agen muncul, bukan karena kinerjanya. 

Kumpulan pengujian yang tidak seimbang menghasilkan metrik yang terlihat bagus tetapi mungkin gagal memprediksi kinerja dunia nyata. Misalnya, tes yang didominasi oleh kasus mudah atau serangkaian tugas yang sempit tidak akan mencerminkan dengan benar semua cara bagaimana sistem agen akan bertindak.

Kumpulan data uji yang seimbang menguji kedua skenario: saat suatu lintasan seharusnya terjadi dan saat lintasan seharusnya tidak terjadi. Kumpulan ini harus mencakup kueri satu langkah maupun interaksi dengan banyak langkah, dan format input harus mencakup berbagai cara di mana pengguna sesungguhnya mungkin menyatakan permintaan mereka. Kasus ekstrem harus ditunjukkan secara eksplisit untuk melindungi dari prompt musuh atau input kosong.

Kumpulan pengujian juga harus diperbarui secara teratur dengan contoh aktif mengingat pola penggunaan berkembang. Beberapa perusahaan menggunakan pembuatan kasus uji otomatis untuk mengimbangi tenaga pengembang—menggunakan AI untuk menganalisis persyaratan agen dan membuat kumpulan pengujian yang komprehensif. 

Data berlabel buruk, seperti kumpulan tes yang ambigu atau kriteria penilaian yang tidak memadai, menghasilkan metrik yang tidak relevan dan menyesatkan. Data pengujian harus diberi versi dan diaudit sehingga perubahan pada kumpulan evaluasi dilacak dan dapat diukur terhadap hasil pengujian. Untuk tugas agen dengan beberapa langkah, data berkualitas tinggi juga berarti memiliki lintasan referensi standar berkualitas yang kuat untuk mengukur kasus uji. 

Meskipun AI semakin banyak digunakan untuk menghasilkan skrip pengujian dan menjalankan eksekusi pengujian di seluruh siklus proses pengembangan perangkat lunak, otomatisasi saja tidak cukup untuk menciptakan ekosistem agen yang canggih. Beberapa pertimbangan memerlukan input dari manusia. Manusia harus mengevaluasi, misalnya, apakah tanggapan agen sesuai untuk konteks sensitif. Tim manusia juga dapat menentukan apakah sebuah kasus ekstrem yang terungkap dalam pengujian mencerminkan penalaran atau kebetulan yang baik.

Sangat penting bagi perusahaan untuk membangun tinjauan manusia struktural ke dalam proses pengujian. Selama pengujian aktif, tinjauan manusia harus diterapkan pada sampel output agen yang terstruktur di beberapa tingkatan proses pengujian.