Apa itu manajemen siklus hidup agen?

ALM memberi organisasi cara terstruktur untuk menentukan bagaimana agen dirancang, data dan alat apa yang dapat mereka akses, bagaimana perilaku mereka dievaluasi dan bagaimana mereka diperbarui atau dihentikan.

Dalam konteks bisnis, manajemen siklus hidup agen dikembangkan berdasarkan praktik yang sudah umum dalam bidang perangkat lunak, keamanan, dan operasi AI, termasuk SDLC, DevSecOps, dan MLOps. Namun, agen AI memerlukan lebih banyak kontrol karena mereka dapat menggunakan model bahasa besar (LLM), memanggil alat, memelihara konteks, merencanakan tugas dengan banyak langkah, dan mengotomatiskan tindakan. Tidak seperti aplikasi tradisional, agen mungkin menghasilkan output yang berbeda untuk input serupa atau memilih langkah-langkah yang berbeda berdasarkan maksud pengguna, konteks yang tersedia, atau sistem yang terhubung.

Agen kecerdasan buatan (AI) adalah sistem yang melakukan tugas secara mandiri dengan merancang alur kerja dengan alat yang tersedia. Agen AI memahami konteks, bernalar berdasarkan tujuan dan kendala, dan bertindak melalui alat atau layanan untuk menyelesaikan tugas. Mereka dapat menggunakan satu model bahasa besar atau lebih untuk menafsirkan maksud pengguna, merencanakan langkah selanjutnya, mengambil informasi, memanggil API, memperbarui sistem, dan menghasilkan respons.

Sebagai sistem adaptif, agen AI memerlukan pengawasan berkelanjutan. Karena mereka dapat bernalar, bertindak, menggunakan alat, dan mengubah perilaku mereka, bukan hanya kode yang harus dikelola organisasi. Mereka perlu mengelola seluruh sistem agen, termasuk prompt, model, sumber data, integrasi, izin, bukti audit, dan perlindungan operasional.

Dalam bisnis, agen AI digunakan untuk dukungan TI, layanan pelanggan, keuangan, kepatuhan, sumber daya manusia, pengembangan perangkat lunak, operasi dan pekerjaan pengetahuan. Tidak seperti chatbot dasar, agen sering kali dapat mengambil tindakan—seperti mengambil catatan, membuka tiket, memperbarui sistem, membuat laporan, atau meminta persetujuan. Beberapa agen AI digambarkan sebagai agen otonom atau sistem otonom, tetapi di lingkungan perusahaan, sebagian besar sistem agen dirancang dengan otonomi terkontrol, izin yang ditentukan, dan pengawasan manusia untuk tindakan yang berisiko lebih tinggi.

Manajemen model berfokus pada model AI itu sendiri, termasuk versi model, kinerja, penerapan, dan pemantauan. Pengelolaan siklus hidup agen memiliki cakupan yang lebih luas. Ini mengelola seluruh sistem agen di sekitar model, termasuk prompt, alat, memori, sumber data, integrasi sistem, kontrol akses, jejak audit, evaluasi, respons insiden, dan penonaktifan.

Dengan kata lain, manajemen model menanyakan apakah model tersebut berkinerja seperti yang diharapkan. Manajemen siklus hidup agen menanyakan apakah seluruh agen—model, izin, tindakan, dan konteks bisnisnya—beroperasi dengan aman, andal, dan sebagaimana dimaksud.

Manajemen siklus hidup agen penting karena agen AI beralih dari percobaan terisolasi ke penerapan perusahaan dalam skala yang lebih besar. Ketika itu terjadi, mempertahankan pengawasan informal menjadi lebih sulit. Organisasi membutuhkan cara yang konsisten untuk mengetahui agen mana yang ada, siapa yang memilikinya, apa yang dapat mereka akses, bagaimana kinerja mereka, dan kapan mereka harus diperbarui atau dihentikan.

Riset menunjukkan bahwa percepatan adopsi agen lebih cepat daripada banyak program tata kelola. Studi pada Pemimpin Teknologi 2026 yang dilakukan IBM menemukan bahwa CIO dan CTO yang disurvei memperkirakan peningkatan sebesar 38% dalam penerapan agen AI pada tahun 2027, sementara hanya 11% yang mengatakan bahwa mereka sepenuhnya siap untuk tingkat skala tersebut. Penelitian ini juga menemukan bahwa 77% organisasi yang disurvei mengatakan bahwa adopsi AI sudah melampaui kemampuan tata kelola mereka saat ini. Survei tahun 2026 terhadap para pemimpin TI dan bisnis juga menemukan bahwa hanya 21% perusahaan yang melaporkan memiliki model tata kelola yang matang untuk mengelola risiko AI agen.¹

Kesenjangan ini penting karena agen AI bukanlah alat perangkat lunak statis. Perangkat lunak tradisional biasanya mengikuti aturan yang ditentukan: Jika pengguna mengambil tindakan tertentu, aplikasi merespons dengan cara yang dapat diprediksi. Agen AI berbeda. Mereka mungkin menghasilkan output yang berbeda untuk input serupa. Mereka juga dapat memilih langkah-langkah yang berbeda tergantung pada permintaan pengguna, konteks yang tersedia, interaksi sebelumnya, atau alat yang terhubung.

Hal ini menimbulkan beberapa kebutuhan manajemen:

• Keamanan: Agen mungkin memerlukan akses ke sistem bisnis, data, API, atau akun layanan. Tanpa kontrol akses yang tepat, mereka dapat menjadi identitas nonmanusia dengan izin berlebihan.
• Keandalan: Agen dapat membuat kesalahan, menghasilkan halusinasi, memanggil alat yang salah, atau gagal ketika integrasi berubah.
• Tata kelola: Organisasi perlu mengetahui agen mana yang digunakan, siapa yang memilikinya, apa yang dapat mereka akses, dan apakah mereka memenuhi kebijakan internal atau persyaratan peraturan.
• Ketertelusuran: Tim membutuhkan jejak audit yang menunjukkan apa yang dilakukan agen, alat apa yang digunakan, data apa yang diakses, dan mengapa suatu keputusan atau tindakan terjadi.
• Ketahanan operasional: Jika agen berperilaku tidak terduga, tim memerlukan cara untuk menjeda, mencabut akses, mengembalikan perubahan, menyelidiki masalah, dan memulihkan layanan.

ALM membantu mengatasi kebutuhan ini dengan menerapkan struktur ke seluruh siklus hidup agen. Ini membantu perusahaan melampaui peninjauan manual dengan membuat proses berulang untuk menyetujui, menguji, menerapkan, memantau, memperbarui, dan menonaktifkan agen sepanjang siklus hidup mereka. ALM juga membantu organisasi mengelola risiko seperti AI bayangan, izin berlebihan, observabilitas buruk, perubahan prompt, perubahan versi model, latensi, paparan data, dan perilaku yang tidak konsisten.

Model ALM praktis dapat diatur di seputar fase utama ini:

Siklus hidup dimulai dengan mengidentifikasi masalah bisnis yang harus diselesaikan oleh agen dan memutuskan apakah agen adalah pendekatan yang tepat. Beberapa masalah lebih baik dilayani dengan otomatisasi tradisional, pencarian, alur kerja berbasis aturan, atau prompt sederhana.

Selama perencanaan, tim menentukan tujuan agen, pengguna, pemilik bisnis, metrik keberhasilan, dan profil risiko. Mereka juga menentukan tingkat otonomi yang tepat. Misalnya, agen yang merangkum dokumen internal memerlukan kontrol lebih sedikit daripada agen yang memperbarui catatan pelanggan atau memicu alur kerja keuangan.

Aktivitas perencanaan umum meliputi:

• Mendefinisikan hasil bisnis
• Menetapkan KPI seperti akurasi, penyelesaian tugas, latensi, biaya, dan kepuasan pengguna
• Mengidentifikasi sumber data dan integrasi sistem
• Menetapkan batas otoritas dan titik persetujuan manusia
• Menilai persyaratan kepatuhan
• Memutuskan bagaimana agen akan dievaluasi sebelum rilis

Pada tahap ini, tim merancang dan mengonfigurasi komponen yang membentuk sistem agen. Hal ini mencakup model yang akan digunakan agen, prompt yang memandu perilakunya, alat yang dapat dipanggil, data yang dapat diambil, dan alur kerja yang dapat dijalankan.

Konfigurasi agen sering kali mencakup:

• Templat prompt dan instruksi sistem
• Pemilihan model dan pelacakan versi model
• Definisi alat dan skema API
• Kebijakan pengelolaan memori dan konteks
• Pembuatan dengan dukungan pengambilan data atau koneksi berbasis pengetahuan
• Kontrol akses dan konfigurasi identitas
• Instrumentasi pencatatan, pelacakan, dan telemetri
• Jalur eskalasi untuk peninjauan oleh manusia

Prinsip utama adalah bahwa prompt, alat, model, dan kebijakan harus diperlakukan sebagai elemen siklus hidup yang dikelola, bukan detail konfigurasi informal. Perubahan pada salah satu elemen ini dapat memengaruhi perilaku, sehingga mereka harus diberi versi, ditinjau, dan didokumentasikan.

Untuk penggunaan di perusahaan, agen hanya boleh diberikan akses ke alat dan akses data yang diperlukan untuk tujuan yang telah disetujui. Manajer manusia perlu menggunakan kontrol untuk agen mereka, seperti kontrol akses berbasis peran, tata kelola akun layanan, dan akses tepat pada waktunya, jika sesuai.

Menguji agen AI membutuhkan lebih dari sekadar memeriksa apakah perangkat lunak berfungsi. Tim juga perlu mengevaluasi apakah agen berperilaku seperti yang diharapkan di berbagai tugas, input, pengguna, dan kondisi sistem.

Tahap ini mungkin termasuk:

• Pengujian fungsional pada alat dan integrasi
• Evaluasi prompt dan respons
• Pengujian regresi
• Pengujian keamanan untuk injeksi prompt dan kebocoran data
• Pemeriksaan halusinasi dan perujukan
• Pengujian kepatuhan pada kebijakan
• Pengujian persetujuan dengan keterlibatan manusia
• Pengujian beban
• Pengujian A/B
• Perbandingan antara agen dan versi yang lebih baru
• Uji keamanan tim merah untuk contoh penggunaan berisiko tinggi

Setelah melewati pemeriksaan yang diperlukan, agen dapat diterapkan ke lingkungan terkontrol. Penerapan termasuk membuat agen tersedia bagi pengguna atau sistem, menyediakan lingkungan waktu proses, dan mengaktifkan identitas, izin, dan integrasi yang dibutuhkan untuk beroperasi.

Praktik umum termasuk rilis melalui saluran CI/CD, pemisahan lingkungan pengembangan, pengujian, dan produksi, penyematan versi untuk model dan prompt, peluncuran bertahap, pengendali fitur, rencana pemulihan versi, manajemen informasi sensitif, dan kontrol akses waktu proses. Beberapa agen mungkin juga memerlukan lingkungan sandbox, terutama jika mereka menjalankan kode, memproses data sensitif, atau menggunakan alat eksternal.

Penyediaan sangat penting karena agen dapat bertindak melalui API atau aplikasi perusahaan. Kredensial, akun layanan, dan izin harus dibatasi sesuai dengan peran yang disetujui bagi agen tersebut. Tindakan yang sensitif mungkin memerlukan persetujuan, batasan tingkat, atau tombol pemutus darurat.

Setelah penerapan, ALM dilanjutkan melalui observabilitas, evaluasi, dan peningkatan. Tim memantau kesehatan teknis dan kualitas perilaku, termasuk:

• Input, output, dan jejak percakapan
• Panggilan alat dan respons alat
• Latensi dan throughput
• Tingkat kesalahan dan jenis kegagalan
• Penggunaan dan biaya token
• Tingkat keberhasilan tugas
• Masukan pengguna
• Pelanggaran kebijakan
• Indikator halusinasi atau perujukan
• Tingkat eskalasi dan persetujuan
• Peristiwa keamanan dan pola akses anomali

Jika pemantauan menunjukkan kinerja yang menurun, perilaku tak terduga, atau perubahan kebutuhan bisnis, tim dapat menyempurnakan prompt, memperbarui model, menyesuaikan sumber pengambilan informasi, mengubah izin, atau memodifikasi alur kerja. Perubahan ini harus mengikuti kontrol siklus hidup yang sama dengan rilis asli: pengujian, evaluasi, persetujuan, dan dokumentasi.

Terakhir, agen mungkin perlu dihentikan. Proses penonaktifan harus mencakup menonaktifkan titik akhir, mencabut kredensial, menghapus akun layanan, menyimpan log yang diperlukan, mengarsipkan bukti, memberi tahu pengguna, dan memperbarui katalog.

Manajemen siklus hidup agen bergantung pada campuran kemampuan pengembangan, keamanan, pemantauan, dan tata kelola. Bersama-sama, semua alat ini membantu organisasi membangun agen, mengontrol apa yang dapat mereka akses, memahami bagaimana mereka berperilaku, dan mengelolanya dari waktu ke waktu.

Alat pengembangan membantu tim merancang bagaimana agen bernalar, merencanakan, dan menyelesaikan tugas. Mereka dapat mendukung templat prompt, memori, panggilan alat, orkestrasi alur kerja, dan langkah-langkah persetujuan manusia. Di lingkungan perusahaan, alat ini sering terhubung ke proses pengiriman perangkat lunak sehingga perubahan agen dapat ditinjau, diuji, dan dirilis melalui saluran CI/CD yang terkontrol.

Agen bergantung pada lebih dari sekadar kode. Perilaku mereka dapat berubah ketika prompt, versi model, skema alat, sumber data, atau konfigurasi berubah. Manajemen versi membantu melacak prompt, model, alat, sumber pengetahuan, kumpulan data evaluasi, dan riwayat rilis.

Agen sering terhubung ke sistem tiket, platform CRM, basis data, repositori dokumen, dan alat alur kerja. Semua integrasi ini harus memiliki skema, izin, dan jejak audit yang jelas. Standar seperti Model Context Protocol (MCP) dapat membantu membuat akses alat lebih konsisten dengan menentukan bagaimana agen menemukan dan memanggil alat, sumber daya, dan prompt. Gateway dapat memusatkan autentikasi, otorisasi, pengendalian arah, batas tingkat, persetujuan, pencatatan, dan pemadaman darurat.

Karena agen dapat bertindak di dalam sistem perusahaan, mereka memerlukan identitas dan izin terkelola. Kemampuan utama termasuk kontrol akses berbasis peran, izin hak istimewa minimal, akses tepat pada waktunya, manajemen informasi sensitif, tata kelola akun layanan, alur kerja persetujuan, dan tinjauan akses berkala. Tujuannya adalah untuk membantu memastikan bahwa setiap agen hanya dapat mengakses apa yang dibutuhkannya untuk tujuan yang disetujui.

Alat evaluasi mengukur apakah agen berperilaku sebagaimana dimaksud sebelum dan sesudah penerapan. Ini mungkin termasuk pengujian regresi, pengujian A/B, pengujian injeksi prompt, pemeriksaan halusinasi dan perujukan, pemeriksaan kepatuhan pada kebijakan, tinjauan manusia, dan uji keamanan tim merah. Pengujian harus mengevaluasi output akhir dan langkah perantara, seperti panggilan alat dan keputusan pengendalian arah.

Alat observabilitas menangkap input, output, jejak, panggilan alat, latensi, kesalahan, penggunaan token, biaya, pelanggaran kebijakan, eskalasi, dan peristiwa keamanan. Data ini mendukung pemecahan masalah, jejak audit, dan respons insiden. Kontrol operasional seperti peringatan, buku panduan, prosedur pemulihan, pemutus sirkuit, dan tombol pemutus membantu tim mengatasi masalah dan memulihkan layanan.

Alat tata kelola AI memelihara inventaris agen yang disetujui, pemilik, tingkat risiko, versi model, prompt, alat, izin, evaluasi, persetujuan, dan status penonaktifan. Pengatalogan menjadi sangat penting ketika organisasi beralih dari percobaan kecil ke armada agen yang besar.

Manajemen siklus hidup agen membantu organisasi mengelola agen AI dengan konsistensi, visibilitas, dan kontrol yang lebih tinggi. Manfaat utamanya mencakup:

• Peningkatan visibilitas: Inventaris agen menunjukkan agen mana yang ada, siapa yang memilikinya, apa yang mereka lakukan, sistem mana yang mereka akses, dan versi mana yang aktif.
• Keamanan yang lebih kuat: Kontrol akses, kontrol akses berbasis peran, hak istimewa minimal, dan akses tepat pada waktunya membantu mengurangi risiko dari akun layanan dengan izin berlebihan dan identitas nonmanusia yang tidak dikelola.
• Ketertelusuran yang lebih baik: Jejak audit dan catatan silsilah membantu tim memahami apa yang dilakukan agen, alat mana yang digunakan, dan perubahan pada berbagai versi.
• Rilis yang lebih andal: Pengujian regresi, gerbang evaluasi, dan kontrol saluran CI/CD mengurangi risiko bahwa perubahan prompt, model, data, atau alat akan menyebabkan perilaku tidak terduga.
• Respons insiden yang lebih cepat: Pemantauan, rencana pemulihan, tombol pemutus, dan buku panduan membantu tim merespons ketika agen gagal, menyimpang, atau berperilaku tak terduga.
• Penyelarasan bisnis yang lebih jelas: Metrik evaluasi dapat menghubungkan kinerja agen dengan hasil seperti tingkat resolusi, tingkat penahanan, waktu pemrosesan, kepuasan pelanggan, dan biaya per hasil.

Manajemen siklus hidup agen tidak menghilangkan risiko agen AI. Ini menyediakan struktur untuk mengelolanya. Tantangannya meliputi:

• Perilaku variabel: LLM dapat menghasilkan output yang berbeda untuk input serupa, membuat pengujian dan analisis akar masalah lebih sulit.
• Halusinasi: Agen mungkin menghasilkan jawaban yang tidak didukung atau menggunakan konteks yang salah. Pemeriksaan perujukan dan peninjauan oleh manusia dapat mengurangi risiko ini, namun tidak dapat menghilangkannya sepenuhnya.
• Permukaan serangan yang diperluas: Agen dengan akses alat dapat memengaruhi sistem nyata, menciptakan risiko seperti injeksi prompt, penyalahgunaan API, peracunan memori, peningkatan hak istimewa, dan tindakan yang tidak sah.
• Latensi dan biaya: Agen mungkin menggunakan beberapa panggilan model, langkah pengambilan informasi, dan pemanggilan alat yang meningkatkan waktu respons dan biaya operasi.
• Beban administrasi tata kelola: Katalog, persetujuan, evaluasi, jejak audit, dan riwayat versi memerlukan koordinasi berkelanjutan di antara tim.
• AI bayangan: Karyawan mungkin membuat atau menggunakan agen yang tidak disetujui di luar proses formal yang semakin menyulitkan penemuan dan kontrol.

Agen AI diterapkan di seluruh layanan pelanggan, dukungan TI, SDM, keuangan, hukum, kepatuhan, pengembangan perangkat lunak, operasi, dan manajemen pengetahuan. Manajemen siklus hidup agen paling relevan ketika agen ini melampaui Q & A sederhana untuk menggunakan alat, mengakses data yang diatur, atau mengambil tindakan dalam alur kerja bisnis.

Cara yang berguna untuk mengevaluasi contoh penggunaan ini adalah dengan bertanya: Apa yang mungkin diakses, diubah, atau dipicu agen? Semakin banyak agen berinteraksi dengan data sensitif, proses yang diatur, atau sistem produksi, semakin penting kontrol siklus hidup.

Untuk contoh penggunaan berisiko rendah, pemantauan dasar dan pembuatan versi mungkin sudah memadai. Untuk contoh penggunaan berisiko tinggi, organisasi sering membutuhkan KPI yang ditentukan, kontrol akses berbasis peran, jalur persetujuan manusia, ambang batas evaluasi, jejak audit, observabilitas, rencana respons insiden, dan proses penonaktifan.

Bagaimana hal ini berlangsung dalam praktiknya? Bayangkan sebuah perusahaan yang menerapkan agen AI untuk membantu manajer hubungan mempersiapkan pertemuan klien. Selama pengembangan, tim AI menentukan sumber data agen yang telah disetujui, izin akses, aturan eskalasi, dan metrik keberhasilan, seperti waktu yang dihemat, akurasi respons, dan kepuasan pengguna. Sebelum diluncurkan, agen diuji terhadap skenario klien sampel dan risiko kepatuhan pada agen ditinjau. Ini terhubung ke alat pemantauan yang melacak output, latensi, pola penggunaan, dan pengecualian.

Setelah penerapan, perusahaan memperlakukan agen sebagai aset digital yang dikelola, bukan proyek satu kali. Pemilik produk meninjau dasbor kinerja, tim kepatuhan mengaudit interaksi berisiko tinggi, dan ilmuwan data melatih ulang atau menyesuaikan agen ketika kebijakan, produk, atau kebutuhan pelanggan berubah. Saat pengguna melaporkan rekomendasi yang membingungkan, tim memperbarui prompt, sumber pengambilan informasi, dan batasan. Seiring waktu, perusahaan menambahkan kemampuan baru, menghentikan alur kerja yang tidak digunakan, dan mendokumentasikan setiap versi. Pendekatan siklus hidup ini membantu organisasi menskalakan AI agen sekaligus mempertahankan akuntabilitas, keamanan, kinerja, dan keselarasan bisnis.

Contoh hipotetis ini menunjukkan proses awal hingga akhir untuk manajemen siklus hidup agen. Beberapa contoh nyata dari dunia industri antara lain:

Agen SDM internal milik IBM, AskHR, menunjukkan bagaimana manajemen siklus hidup agen dapat mendukung otomatisasi skala perusahaan dengan jalur eskalasi manusia. Ditingkatkan dengan IBM® watsonx Orchestrate, AskHR mendukung lebih dari 80 tugas SDM dan menangani lebih dari 2,1 juta percakapan karyawan setiap tahun. Agen ini terhubung dengan berbagai sistem seperti Workday, SAP, dan Concur, sehingga karyawan dapat bertanya tentang slip gaji atau permintaan liburan, sementara manajer dapat memulai alur kerja seperti transfer atau pembaruan organisasi.

Dari perspektif ALM, kemampuan ini memerlukan batas otoritas, kontrol integrasi, dapat diaudit, dan logika pengendalian arah. AskHR telah mencapai tingkat penahanan 94% untuk pertanyaan umum, berkontribusi pada pengurangan 75% dalam tiket dukungan yang diajukan sejak 2016, dan membantu berkontribusi pada pengurangan sebesar 40% dalam biaya operasional SDM selama empat tahun.

Dalam bidang perawatan kesehatan, ALM membantu mengelola agen yang dapat berinteraksi dengan informasi kesehatan yang dilindungi dan alur kerja yang diatur. Satu perusahaan asuransi besar di AS menerapkan chatbot agen dan kemampuan bantuan suara untuk layanan anggota di lingkungan yang mematuhi HIPAA. Karena data pusat panggilan historis dibatasi, tim membuat atau memadukan data kebenaran dasar untuk mengevaluasi perilaku agen dengan aman.

Proses siklus hidup mencakup KPI untuk resolusi, penahanan, latensi, dan keamanan; prompt dengan versi dan integrasi; akses alat dengan hak istimewa minimal; evaluasi terstruktur; pemeriksaan kepatuhan; pengujian keamanan; tim merah; dan observabilitas terpadu. Pemantauan melacak metrik teknis—seperti latensi dan kesalahan—dan metrik bisnis—seperti penahanan, resolusi, dan kepuasan.

Dynamiq, IBM Business Partner, membangun agen hukum yang didukung AI menggunakan IBM watsonx.data, model dasar IBM Granite, dan IBM watsonx Orchestrate untuk membantu tim hukum mencari, membandingkan, dan menganalisis kontrak, laporan kepatuhan, dan dokumen peraturan. Agen tersebut mendukung pencarian kontrak berbasis semantik, analisis komparatif, dan penilaian kepatuhan pada tingkat klausul. Agen membantu tim menemukan bahasa yang relevan, menandai masalah peraturan, mendeteksi penyimpangan kebijakan, dan mengarahkan dokumen untuk persetujuan.

Dari perspektif ALM, contoh penggunaan memerlukan penyerapan data yang diatur, kontrol pengambilan informasi, integrasi sistem bisnis, jalur eskalasi untuk tinjauan hukum, dan penyelarasan antara model dan tugas. Dynamiq juga menggunakan model Granite yang lebih kecil untuk tugas kepatuhan rutin untuk membantu menyeimbangkan kinerja, latensi, dan biaya.