Apa itu manajemen agen AI?

Konsep ini telah menarik perhatian karena sistem kecerdasan buatan telah menjadi lebih otonom dan terintegrasi ke dalam operasi perusahaan. Sistem AI awal sering melakukan tugas-tugas sempit dengan pengawasan manusia langsung. Agen AI modern dapat menyelesaikan alur kerja multi-langkah, berinteraksi dengan sistem eksternal dan membuat keputusan dengan intervensi terbatas.

Ketika organisasi menerapkan agen dalam jumlah yang lebih besar di berbagai departemen dan platform, mereka semakin membutuhkan cara terpusat untuk mengelola keamanan agen dan kontrol operasional. Gartner memprediksi bahwa pada tahun 2028, 33% aplikasi perangkat lunak perusahaan akan menyertakan AI agen, naik dari angka sebelumnya yang kurang dari 1% pada tahun 2024.¹

Manajemen agen AI biasanya menggabungkan kontrol teknis dengan kebijakan operasional. Kontrol teknis mungkin termasuk alat pemantauan, sistem izin, dan log aktivitas. Kebijakan operasional sering kali mendefinisikan siapa yang dapat menerapkan agen, tugas apa yang dapat dilakukan oleh agen, dan bagaimana ulasan manusia seharusnya bekerja. Bersama-sama, kontrol ini membantu organisasi mengelola risiko sambil tetap memungkinkan agen untuk beroperasi secara efisien.

Organisasi sering mendekati manajemen agen AI sebagai lapisan antara model AI dan operasi bisnis. Lapisan manajemen ini dapat mengoordinasikan beberapa agen, merutekan tugas, dan melacak kinerja dari waktu ke waktu. Langkah ini juga dapat membantu organisasi menstandardisasi bagaimana agen mengakses sistem internal atau aplikasi eksternal.

Banyak organisasi sekarang menghubungkan lapisan ini ke gagasan yang lebih luas dari bidang kontrol agen, yang menyediakan pengawasan terpusat untuk orkestrasi agen, izin, manajemen identitas, dan operasi siklus hidup. Struktur ini mendukung penerapan agen penskalaan dengan visibilitas dan konsistensi operasional yang lebih besar.

Bidang ini juga mencerminkan perubahan yang lebih luas dalam cara bisnis memandang adopsi AI. Perangkat lunak tradisional biasanya mengikuti aturan tetap yang ditentukan pengembang sebelumnya. Agen AI dapat berperilaku kurang dapat diprediksi karena mereka merespons secara dinamis terhadap prompt, data, dan lingkungan yang berubah. Banyak dari sistem ini dibangun di atas model bahasa besar (LLM ) dan teknologi AI generatif yang dapat mengadaptasi respons pada saat dijalankan. Fleksibilitas itu menciptakan peluang baru, tetapi juga memperkenalkan tantangan tata kelola agen AI yang tidak dirancang untuk diatasi oleh banyak praktik manajemen TI yang ada.

Manajemen agen AI menjadi penting untuk menskalakan penerapan AI agen. Tanpa pengawasan terkoordinasi, penerapan dapat menjadi terfragmentasi, tidak konsisten dengan kebijakan tata kelola dan visibilitas terbatas ke dalam aktivitas sistem. Masalah ini terkadang disebut penyebaran agen AI, di mana sejumlah besar agen yang terputus menjadi sulit untuk dipantau, dipelihara, atau diatur secara efektif. Sebagai tanggapan, para vendor memperkenalkan platform khusus yang menghadirkan orkestrasi, tata kelola, dan observabilitas ke dalam lapisan manajemen terpadu.

Agen AI mengubah cara organisasi beroperasi. Pelanggan Salesforce melaporkan bahwa agen dan asisten AI memberikan ROI yang kuat di TI, penjualan, dan layanan pelanggan. ² Ketika agen mengambil tanggung jawab yang lebih luas, organisasi membutuhkan struktur yang lebih jelas untuk mengoordinasikan aktivitas mereka dan mengelola bagaimana mereka berinteraksi dengan karyawan dan sistem.

Langkah menuju AI agen juga mengubah cara bisnis berpikir tentang pengawasan operasional. Sistem perangkat lunak tradisional dapat diprediksi dan dicakup secara ketat. Agen AI beroperasi dengan lebih banyak fleksibilitas karena mereka dapat menafsirkan tujuan, membuat rekomendasi, dan berinteraksi dengan beberapa alat secara real time. Fleksibilitas ini meningkatkan efisiensi sambil memperkenalkan kompleksitas. Organisasi membutuhkan cara terpusat untuk memantau perilaku, mengelola izin, dan menjaga visibilitas di seluruh jaringan agen yang besar.

Semakin banyak bisnis yang bergerak ke arah sistem multi-agen. Departemen yang berbeda mungkin menerapkan agen khusus untuk keuangan, dukungan pelanggan, keamanan atau analisis data. Seiring waktu, sistem ini dapat menjadi terfragmentasi jika setiap tim mengelola agen secara independen. Lapisan manajemen membantu organisasi menciptakan model tata kelola yang konsisten, standar operasional bersama, dan pengawasan terpusat di seluruh departemen dan platform.

Lingkungan multi-agen mengarah pada tanggung jawab baru untuk tim TI, keamanan, kepatuhan, dan platform. Di beberapa organisasi, kelompok tata kelola AI berkembang untuk mencakup pengawasan orkestrasi agen, manajemen identitas, dan operasi siklus hidup. Seiring berkembangnya adopsi, manajemen agen AI menjadi bagian dari infrastruktur yang lebih luas yang mendukung operasi perusahaan dan inisiatif AI jangka panjang.

Pentingnya manajemen agen AI kemungkinan akan meningkat karena organisasi mengintegrasikan agen lebih dalam ke dalam proses bisnis inti. Manajemen agen AI akan membantu organisasi mempertahankan kontrol atas ekosistem agen yang semakin kompleks sambil mendukung upaya transformasi bisnis yang lebih luas.

Beberapa faktor mendorong adopsi manajemen agen AI:

Kekhawatiran tentang penerapan yang terfragmentasi : Tanpa pengawasan terpusat, organisasi dapat kesulitan dengan agen yang tidak terhubung, tata kelola yang tidak konsisten, dan akuntabilitas yang terbatas di seluruh tim.

Permintaan untuk visibilitas yang lebih besar: Bisnis semakin membutuhkan insight tentang bagaimana agen berperilaku, sistem mana yang mereka akses dan bagaimana keputusan dibuat pada waktu berjalan.

Perluasan lingkungan multi-agen: Banyak bisnis menerapkan agen khusus untuk fungsi atau departemen yang berbeda. Platform manajemen membantu mengoordinasikan agen ini dalam kerangka kerja bersama.

Kompleksitas operasional yang berkembang: Agen AI dapat berinteraksi dengan berbagai sistem, alat, dan alur kerja secara bersamaan. Organisasi membutuhkan koordinasi terpusat karena lingkungan ini menjadi lebih saling berhubungan.

Integrasi dengan sistem perusahaan: Agen AI menjadi lebih terhubung dengan platform cloud, antarmuka pemrograman aplikasi (API), dan aplikasi bisnis internal. Integrasi ini meningkatkan kebutuhan akan lapisan manajemen operasional.

Kebutuhan akan tata kelola terpusat: Organisasi menginginkan kebijakan yang lebih konsisten seputar izin, persetujuan, dan pengawasan operasional seiring dengan meluasnya penerapan agen.

Beralih dari eksperimen ke skala operasional: Banyak perusahaan bergerak melampaui pilot AI yang terisolasi dan membangun strategi jangka panjang untuk mengelola ekosistem agen. Meningkatnya ketersediaan alat AI, platform no-code, dan template yang dapat digunakan kembali juga membuat penerapan agen AI lebih mudah diakses di seluruh tim bisnis.

Contoh penggunaan manajemen AI bervariasi menurut industri dan ukuran bisnis. Sebagian besar organisasi mengadopsi manajemen agen AI ketika agen mulai berinteraksi dengan beberapa sistem, alur kerja, atau tim. Contoh penggunaan agen AI dunia nyata meliputi:

Agen AI semakin banyak digunakan dalam BPA untuk mengoordinasikan alur kerja di seluruh tim keuangan, pengadaan, dan operasi. Beberapa organisasi juga memperluas alur kerja ini ke lingkungan rantai pasokan di mana agen AI membantu melacak aktivitas inventaris dan menandai gangguan. Misalnya, agen AI mungkin memproses pengiriman biaya, mendeteksi aktivitas yang tidak biasa, dan mengarahkan permintaan pengeluaran bernilai tinggi untuk menerima tinjauan lebih lanjut.

Banyak bisnis menggunakan agen AI untuk menangani permintaan dukungan, rute tiket, dan mengambil informasi dari sistem internal. Manajemen agen AI membantu organisasi memantau bagaimana agen berinteraksi dengan pelanggan dan menerapkan aturan seputar persetujuan atau eskalasi. Sistem ini semakin banyak digunakan untuk meningkatkan pengalaman pelanggan digital sambil tetap mempertahankan pengawasan manusia untuk interaksi sensitif. Sebagai contoh, agen dukungan mungkin menangani pertanyaan penagihan rutin sendiri tetapi meneruskan masalah yang lebih sensitif kepada perwakilan manusia.

Organisasi sering menerapkan agen yang mencari dokumen internal, merangkum informasi, dan mendukung alur kerja riset karyawan. Manajemen agen AI membantu mengontrol akses ke informasi sensitif dan melacak bagaimana agen mengambil atau berbagi data. Misalnya, agen riset hukum dapat mengakses repositori dokumen yang disetujui sambil tetap dibatasi dari catatan SDM rahasia.

Agen AI dapat mengotomatiskan pemantauan infrastruktur, respons insiden, dan tugas pemeliharaan sistem. Di lingkungan ini, lapisan manajemen membantu organisasi melacak tindakan agen dan mempertahankan visibilitas operasional di seluruh platform cloud atau sistem internal. Misalnya, agen AI mungkin mengidentifikasi aktivitas server yang tidak biasa dan secara otomatis membuat tiket insiden sambil memberi tahu tim keamanan.

Beberapa organisasi menerapkan beberapa agen khusus yang berkolaborasi dalam alur kerja yang lebih besar. Manajemen agen AI membantu mengoordinasikan tanggung jawab antara agen ini sambil mempertahankan visibilitas ke dalam proses keseluruhan. Misalnya, satu agen dapat mengumpulkan data pelanggan, yang lain dapat menganalisis riwayat akun dan yang ketiga dapat menghasilkan rekomendasi untuk tim penjualan.

Industri seperti layanan kesehatan, jasa keuangan, dan asuransi sering membutuhkan tata kelola dan auditabilitas yang lebih kuat di sekitar sistem AI. Manajemen agen AI membantu organisasi mendokumentasikan aktivitas agen dan menerapkan kontrol operasional yang mendukung persyaratan kepatuhan. Misalnya, organisasi layanan kesehatan dapat menggunakan alat manajemen untuk melacak sistem mana yang diakses agen dukungan klinis selama alur kerja pasien.

Tim keamanan dapat menggunakan agen AI untuk menganalisis peringatan, menyelidiki anomali, atau membantu deteksi ancaman. Karena agen ini sering berinteraksi dengan sistem sensitif, organisasi biasanya menerapkan pemantauan dan kontrol tata kelola yang lebih ketat. Misalnya, agen keamanan mungkin mengumpulkan informasi dari beberapa alat pemantauan sebelum merekomendasikan respons untuk persetujuan manusia.

Tim pengembangan semakin menggunakan agen AI untuk membantu tugas pengodean, pengujian, dan dokumentasi. Platform manajemen membantu mengoordinasikan bagaimana agen ini mengakses repositori, berinteraksi dengan alat pengembangan, dan mengikuti kebijakan organisasi. Misalnya, organisasi mungkin mengizinkan agen pengodean untuk menyarankan perubahan sambil membatasi penerapan produksi langsung tanpa tinjauan manusia.

Manajemen agen AI lebih kompleks daripada operasi AI tradisional karena agen AI lebih dinamis daripada sistem AI sebelumnya. Sistem AI tradisional dirancang untuk berbagai tugas sempit seperti klasifikasi, prediksi atau pembuatan konten. Alur kerja di sekitar sistem tersebut seringkali sebagian besar tetap.

Agen AI beroperasi secara berbeda karena mereka dapat menafsirkan tujuan, menghasilkan keputusan, dan berinteraksi dengan alat eksternal selama eksekusi. Pergeseran itu menciptakan persyaratan operasional baru yang tidak dibangun untuk ditangani oleh praktik manajemen AI standar.

Beberapa perbedaan yang paling penting meliputi:

• Estruktur penerapan: Penerapan AI tradisional sering diisolasi ke aplikasi atau departemen tunggal. Agen AI semakin banyak diterapkan di lingkungan multi-agen yang saling berhubungan.
  
  
• Ruang lingkup tata kelola: Tata kelola AI konvensional terutama membahas risiko model dan penanganan data. Manajemen agen memperkenalkan lebih banyak kekhawatiran seputar otonomi dan penegakan kebijakan.
  
  
• Fokus manajemen: Operasi AI tradisional biasanya berfokus pada model dan saluran data. Manajemen agen AI berfokus pada koordinasi perilaku agen di seluruh alur kerja dan sistem yang terhubung.
  
  
• Persyaratan pemantauan: Pemantauan tradisional sering mengukur akurasi model atau waktu aktif. Manajemen agen AI juga membutuhkan visibilitas ke dalam tindakan, izin, dan jalur pengambilan keputusan.
  
  
• Fleksibilitas operasional: Sistem AI sebelumnya biasanya beroperasi dalam Boundary yang telah ditentukan. Agen AI dapat menyesuaikan tindakan mereka berdasarkan konteks atau perubahan input. Di banyak lingkungan, agen dirancang untuk kesadaran konteks yang lebih besar. Kemampuan ini memungkinkan mereka untuk merespons secara dinamis saat alur kerja dan pola aliran data berubah selama eksekusi.

Manajemen agen AI mencakup kemampuan operasional dan tata kelola yang digunakan organisasi untuk menerapkan, mengoordinasikan, dan mengawasi agen AI dalam skala besar. Meskipun platform mungkin berbeda dalam pendekatan mereka, sebagian besar strategi perusahaan berfokus pada serangkaian komponen inti yang serupa. Yaitu antara lain:

Kemampuan menentukan aturan dan batasan yang memandu perilaku agen. Kontrol ini dapat mencakup alur kerja persetujuan, kebijakan penggunaan, batasan operasional, dan persyaratan kepatuhan yang berlaku di seluruh organisasi.

Banyak organisasi menyertakan mekanisme peninjauan manusia dalam alur kerja agen, terutama untuk tugas berisiko tinggi atau yang penting bagi bisnis. Pengawasan manusia dapat melibatkan persetujuan, proses eskalasi atau intervensi manual ketika agen menghadapi ketidakpastian atau hasil yang tidak terduga.

Agen AI sering berinteraksi dengan sistem perusahaan, API, dan sumber data sensitif. Manajemen identitas dan akses membantu organisasi mengontrol akses agen, tindakan, dan manajemen izin dari waktu ke waktu.

Agen AI sering bergantung pada alat eksternal, perangkat lunak perusahaan, dan layanan cloud untuk menyelesaikan tugas. Manajemen integrasi membantu mengoordinasikan koneksi ini sambil mempertahankan konsistensi operasional di seluruh platform dan lingkungan. Banyak organisasi juga mengandalkan gateway AI, API management, dan kerangka kerja untuk mengelola interaksi antara agen AI dan penyedia eksternal.

Manajemen agen AI juga mencakup proses untuk menerapkan, memperbarui, menguji, dan pensiun agen AI. Manajemen siklus hidup membantu organisasi menjaga konsistensi di seluruh lingkungan sambil mendukung kontrol versi dan stabilitas operasional. Beberapa organisasi menyelaraskan kegiatan ini dengan praktik siklus hidup pengembangan agen (ADLC) yang lebih luas untuk mengelola sistem AI sepanjang siklus operasional mereka.

Observabilitas memberikan visibilitas tentang bagaimana agen berperilaku pada waktu berjalan. Organisasi menggunakan sistem pemantauan untuk melacak tindakan, meninjau jalur keputusan, mengidentifikasi kegagalan dan menganalisis cara agen berinteraksi dengan pengguna atau sistem yang terhubung. Dasbor operasional dan metrik kinerja membantu tim memantau aktivitas agen dari waktu ke waktu.

Orkestrasi mengoordinasikan bagaimana agen menjalankan tugas, berinteraksi dengan sistem dan berkolaborasi dengan agen lain. Di lingkungan multi-agen, lapisan orkestrasi dapat merutekan permintaan, menetapkan tanggung jawab, dan mengelola alur kerja di berbagai alat atau aplikasi.

Ketika organisasi menerapkan agen AI dalam jumlah yang lebih besar, banyak yang mengadopsi bidang kontrol untuk memberikan koordinasi terpusat dan pengawasan operasional. Bidang kontrol agen bertindak sebagai lapisan manajemen yang menghubungkan orkestrasi, tata kelola, dan pemantauan di seluruh ekosistem agen. Daripada mengatur setiap agen secara individual, organisasi bisa memanfaatkan bidang kontrol untuk memantau operasional agen di seluruh alur kerja dan sistem.

Bidang kontrol agen biasanya mendukung beberapa fungsi utama:

• Orkestrasi terpusat: Bidang kontrol mengoordinasikan cara agen menjalankan tugas, berbagi informasi, dan berinteraksi dengan sistem atau agen lain.
  
  
• Tata kelola dan penegakan kebijakan: Organisasi dapat menerapkan kebijakan operasional, pembatasan akses, dan persyaratan persetujuan di beberapa agen dari lapisan terpusat.
  
  
• Observabilitas dan pemantauan: Bidang kontrol memberikan visibilitas ke dalam waktu proses, interaksi sistem, dan aktivitas agen di seluruh lingkungan.
  
  
• Manajemen identitas dan izin: Banyak bidang kontrol yang membantu organisasi mengelola autentikasi, akses sistem, dan izin berbasis peran untuk agen.
  
  
• Koordinasi siklus hidup: Beberapa platform juga mendukung manajemen penerapan, pelacakan versi, dan pemeliharaan operasional di seluruh ekosistem agen.

Fokus yang berkembang pada bidang kontrol agen mencerminkan meningkatnya kompleksitas lingkungan AI perusahaan. Ketika organisasi bergerak menuju sistem multi-agen yang saling berhubungan, lapisan manajemen terpusat menjadi lebih penting untuk menjaga visibilitas, koordinasi, dan konsistensi operasional.

Manajemen agen AI membantu organisasi mengoordinasikan, mengatur, dan menskalakan agen AI secara lebih efektif di seluruh lingkungan perusahaan. Manfaat khusus meliputi:

• Koordinasi yang lebih baik di seluruh alur kerja: Kemampuan orkestrasi mendukung kolaborasi antara agen, sistem perusahaan, dan proses bisnis. Koordinasi ini dapat membantu merampingkan operasi, mengoptimalkan penggunaan sumber daya, dan menciptakan nilai bisnis yang lebih besar dari penerapan AI.
  
  
• Akuntabilitas yang lebih besar: Log audit, sistem persetujuan, dan pemantauan waktu proses memberikan catatan yang lebih jelas tentang bagaimana agen membuat keputusan dan melakukan tindakan.
  
  
• Peningkatan visibilitas operasional: Alat pemantauan dan observabilitas membantu organisasi melacak perilaku agen, interaksi sistem, dan aktivitas alur kerja di seluruh lingkungan.
  
  
• Penerapan yang lebih dapat diskalakan: Kerangka kerja manajemen terstandardisasi memudahkan organisasi untuk memperluas penggunaan agen di seluruh departemen tanpa menciptakan lingkungan yang terfragmentasi. Kerangka kerja ini juga membantu organisasi mengelola beban kerja agen yang terus meningkat sekaligus mendukung skalabilitas jangka panjang di seluruh operasi perusahaan.
  
  
• Mengurangi fragmentasi operasional: Lapisan manajemen terpadu bisa membantu organisasi menghindari penerapan yang terputus-putus dan praktik tata kelola yang tidak konsisten.
  
  
• Manajemen siklus hidup yang disederhanakan: Proses penerapan dan pemeliharaan terpusat membantu organisasi mengelola pembaruan, pengujian, dan kontrol versi dengan lebih efisien.
  
  
• Tata kelola yang lebih kuat: Kebijakan terpusat dan struktur pengawasan membantu organisasi menerapkan standar operasional yang konsisten di berbagai agen dan tim.

Meskipun manajemen agen AI menawarkan keuntungan operasional yang penting, organisasi juga menghadapi tantangan yang signifikan karena mereka menerapkan agen dalam skala besar. Banyak risiko berasal dari sifat dinamis dan otonom dari sistem AI agen.

• Penyebaran agen: Seiring semakin banyak tim yang mulai menerapkan agen secara independen, organisasi dapat dengan cepat kehilangan visibilitas tentang berapa banyak agen yang beroperasi di seluruh bisnis atau sistem apa yang dapat diakses oleh agen-agen tersebut. Banyak organisasi alamat tantangan ini dengan memperkenalkan lapisan orkestrasi terpusat dan standar tata kelola bersama yang menciptakan pandangan operasional yang lebih terpadu.
  
  
• Masalah kepatuhan dan akuntabilitas: Organisasi dapat menghadapi kesulitan mendokumentasikan bagaimana agen mencapai keputusan atau melakukan tindakan, terutama di industri yang diatur. Dokumentasi yang terbatas dan kemampuan audit yang lemah dapat menimbulkan tantangan bagi tim kepatuhan dan upaya pengawasan internal. Jejak audit, sistem pelaporan, dan kebijakan tata kelola terpusat dapat membantu mendukung akuntabilitas yang lebih kuat di seluruh operasi agen.
  
  
• Tata kelola yang tidak konsisten: Agen AI sering diterapkan pada kecepatan yang berbeda di seluruh unit bisnis yang berbeda. Tanpa pengawasan terpusat, tim dapat mengikuti proses persetujuan, praktik keamanan, atau kebijakan operasional yang berbeda. Ketidakkonsistenan ini dapat menciptakan kebingungan dan kekhawatiran kepatuhan. Kerangka kerja tata kelola yang terstandardisasi dapat membantu organisasi menerapkan kontrol yang lebih konsisten di seluruh penerapan.
  
  
• Observabilitas terbatas: Banyak organisasi masih kekurangan visibilitas yang jelas tentang bagaimana agen berperilaku pada waktu berjalan. Ketika agen berinteraksi dengan beberapa sistem atau membuat keputusan otonom, bisa menjadi sulit untuk melacak tindakan atau memahami mengapa hasil tertentu terjadi. Alat pemantauan waktu proses, pencatatan aktivitas, dan kemampuan audit menjadi semakin penting untuk meningkatkan transparansi operasional.
  
  
• Ketidakpastian operasional: Tidak seperti sistem perangkat lunak tradisional, agen AI merespons secara dinamis terhadap perubahan input, prompt, dan kondisi waktu proses. Fleksibilitas ini dapat meningkatkan kemampuan beradaptasi, tetapi juga membuat perilaku kurang dapat diprediksi dalam beberapa situasi. Banyak organisasi mengurangi risiko ini dengan memasukkan proses pengujian, mekanisme tinjauan manusia, dan pagar pembatas operasional ke dalam alur kerja agen.
  
  
• Risiko keamanan dan akses: Agen AI sering berinteraksi dengan sistem sensitif dan sumber data, yang dapat menciptakan tantangan baru seputar izin dan manajemen identitas. Organisasi semakin menggunakan kerangka kerja manajemen identitas, kontrol akses berbasis peran, dan alur kerja persetujuan untuk mengurangi risiko ini.
  
  
• Kompleksitas alur kerja: Lingkungan multi-agen dapat menjadi sulit untuk dikoordinasikan karena agen berinteraksi di seluruh platform, aplikasi, dan layanan eksternal. Penerapan yang sederhana dapat berkembang menjadi lingkungan yang sangat saling terhubung. Seiring meningkatnya kompleksitas, platform orkestrasi dan praktik integrasi standar dapat membantu organisasi mempertahankan koordinasi yang lebih konsisten. Seiring skala penerapan, organisasi mungkin juga memerlukan pengawasan yang kuat terhadap penggunaan infrastruktur dan penetapan harga model.