Apa itu agen AI?

Penyusun

Anna Gutowska

AI Engineer, Developer Advocate

IBM

Apa itu agen AI?

Agen kecerdasan buatan (AI) adalah sistem yang secara mandiri melaksanakan tugas-tugas dengan merancang alur kerja menggunakan alat-alat yang tersedia.

Agen AI dapat mencakup berbagai fungsi di luar pemrosesan bahasa alami termasuk pengambilan keputusan, pemecahan masalah, berinteraksi dengan lingkungan eksternal da melakukan tindakan.

Agen AI menyelesaikan tugas-tugas kompleks di seluruh aplikasi perusahaan, termasuk desain perangkat lunak, otomatisasi TI, pembuatan kode, dan bantuan percakapan. Agen AI menggunakan teknik pemrosesan bahasa alami tingkat lanjut dari model bahasa besar (LLM) untuk memahami dan merespons input pengguna selangkah demi selangkah dan menentukan kapan harus memanggil alat bantu eksternal.

Cara kerja agen AI

Inti agen AI adalah model bahasa besar(LLM). Karena alasan ini, agen AI sering disebut sebagai agen LLM. LLM tradisional, seperti model IBM® Granite, membuat tanggapan berdasarkan data yang digunakan untuk melatihnya dan dibatasi oleh keterbatasan pengetahuan dan pemikiran. Sebaliknya, teknologi agen menggunakan pemanggilan alat di backend untuk mendapatkan informasi terkini, mengoptimalkan alur kerja, dan membuat sub-tugas secara mandiri untuk mencapai tujuan yang kompleks.

Dalam proses ini, agen otonom belajar beradaptasi dengan harapan pengguna dari waktu ke waktu. Kemampuan agen untuk menyimpan interaksi masa lalu dalam memori dan merencanakan tindakan di masa depan mendorong pengalaman yang dipersonalisasi dan respons yang komprehensif.1 Pemanggilan alat ini dapat dilakukan tanpa campur tangan manusia dan memperluas kemungkinan untuk aplikasi dunia nyata dari sistem AI ini. Tiga tahap atau komponen agen ini menentukan bagaimana agen beroperasi:

Inisialisasi dan perencanaan tujuan

Meskipun agen AI otonom dalam proses pengambilan keputusan mereka, mereka memerlukan tujuan dan aturan yang telah ditentukan oleh manusia.2 Ada tiga pengaruh utama pada perilaku agen otonom :

  • Tim pengembang yang merancang dan melatih sistem AI agen
  • Tim yang menempatkan agen dan memberikan akses kepada pengguna.
  • Pengguna yang menyediakan agen AI dengan tujuan spesifik untuk dicapai dan menetapkan alat yang tersedia untuk digunakan.

Dengan mempertimbangkan tujuan pengguna dan alat bantu yang tersedia, agen AI selanjutnya melakukan dekomposisi tugas untuk meningkatkan kinerja.3 Pada dasarnya, agen membuat rencana tugas tertentu dan subtugas untuk mencapai tujuan yang kompleks.

Untuk tugas-tugas sederhana, perencanaan bukanlah langkah yang diperlukan. Sebaliknya, agen dapat secara berulang merefleksikan tanggapannya dan memperbaikinya tanpa merencanakan langkah selanjutnya.

Penalaran dengan alat yang tersedia

Agen AI mendasarkan tindakan pada informasi yang diterima. Namun, seringkali agen tidak memiliki pengetahuan penuh yang diperlukan untuk menangani setiap subtugas dalam tujuan yang kompleks. Untuk menjembatani kesenjangan ini, agen beralih ke alat yang tersedia seperti kumpulan data eksternal, pencarian web, API, dan bahkan agen lainnya.

Setelah informasi yang hilang dikumpulkan, agen memperbarui basis pengetahuannya dan terlibat dalam penalaran agen. Proses ini melibatkan penilaian ulang secara berkelanjutan terhadap rencana aksi dan melakukan koreksi diri, yang memungkinkan pengambilan keputusan yang lebih tepat dan adaptif.

Untuk membantu menggambarkan proses ini, bayangkan pengguna merencanakan liburan mereka. Pengguna menugaskan agen AI untuk memprediksi minggu mana dalam satu tahun ke depan yang kemungkinan memiliki cuaca terbaik untuk perjalanan berselancar ke Yunani. 

Karena model LLM yang menjadi inti agen tidak spesialis dalam pola cuaca, model tersebut tidak dapat sepenuhnya mengandalkan pengetahuan internalnya. Oleh karena itu, agen mengumpulkan informasi dari basis data eksternal yang berisi laporan cuaca harian Yunani selama beberapa tahun terakhir.

Meskipun telah mendapatkan informasi baru ini, agen masih belum dapat menentukan kondisi cuaca yang optimal untuk berselancar, sehingga subtugas berikutnya dibuat. Untuk subtugas ini, agen berkomunikasi dengan agen eksternal yang berspesialisasi dalam berselancar. Katakanlah dengan melakukan hal tersebut, agen mengetahui bahwa ombak yang tinggi dan cuaca cerah dengan sedikit atau tanpa hujan akan memberikan kondisi berselancar terbaik.

Agen sekarang dapat menggabungkan informasi yang telah dipelajari dari alatnya untuk mengidentifikasi pola. Alat ini dapat memprediksi minggu mana pada tahun depan di Yunani yang kemungkinan akan mengalami pasang, cuaca cerah, dan kemungkinan hujan yang rendah. Temuan ini kemudian disajikan kepada pengguna. Pembagian informasi di antara alat ini yang membuat agen AI dapat digunakan untuk tujuan yang lebih umum daripada model AI tradisional.3

Pembelajaran dan refleksi

Agen AI menggunakan mekanisme masukan, seperti agen AI lain dan human-in-the-loop (HITL), untuk meningkatkan keakuratan respons. Mari kembali ke contoh selancar kita sebelumnya untuk menyoroti proses ini. Setelah agen membentuk responsnya terhadap pengguna, agen menyimpan informasi yang dipelajari bersama dengan masukan pengguna untuk meningkatkan kinerja dan menyesuaikan dengan preferensi pengguna untuk tujuan di masa mendatang.

Jika agen lain digunakan untuk mencapai tujuan, masukan mereka mungkin juga akan digunakan. Masukan multi-agen dapat sangat berguna dalam meminimalkan waktu yang dihabiskan pengguna manusia untuk memberikan arahan. Namun, pengguna juga dapat memberikan masukan selama tindakan agen dan alasan internal untuk menyelaraskan hasil dengan tujuan yang diinginkan.2

Mekanisme umpan balik meningkatkan penalaran dan akurasi agen AI, yang biasa disebut sebagai penyempurnaan berulang.3 Untuk menghindari mengulangi kesalahan yang sama, agen AI juga dapat menyimpan data tentang solusi untuk hambatan sebelumnya di basis pengetahuan.

Berita teknologi terbaru, didukung oleh insight dari pakar

Ikuti perkembangan tren industri yang paling penting—dan menarik—di bidang AI, otomatisasi, data, dan lainnya dengan buletin Think. Lihat Pernyataan Privasi IBM.

Terima kasih! Anda telah berlangganan.

Langganan Anda akan disediakan dalam bahasa Inggris. Anda akan menemukan tautan berhenti berlangganan di setiap buletin. Anda dapat mengelola langganan atau berhenti berlangganan di sini. Lihat Pernyataan Privasi IBM kami untuk informasi lebih lanjut.

Chatbot AI agen versus non-agen

Chatbot AI menggunakan teknik AI percakapan seperti pemrosesan bahasa alami (NLP) untuk memahami pertanyaan pengguna dan mengotomatiskan jawabannya. Chatbot ini adalah suatu modalitas, sementara agensi adalah kerangka kerja teknologi.

Chatbot AI non-agen adalah chatbot yang tidak memiliki alat, memori, dan penalaran yang tersedia. Chatbot ini hanya dapat mencapai tujuan jangka pendek dan tidak dapat membuat perencanaan ke depan. Seperti yang kita ketahui, chatbot non-agen memerlukan input pengguna yang terus-menerus untuk dapat memberikan respons.

Chatbot non-agen dapat menghasilkan respons terhadap pertanyaan umum yang kemungkinan besar sesuai dengan harapan pengguna, tetapi berkinerja buruk pada pertanyaan yang unik bagi pengguna dan data. Karena tidak memiliki memori, chatbot ini tidak dapat belajar dari kesalahan jika respons yang dihasilkan tidak memuaskan.

Sebaliknya, chatbot AI agen belajar beradaptasi dengan ekspektasi pengguna dari waktu ke waktu, yang memberikan pengalaman yang lebih personal dan respons yang komprehensif. Mereka dapat menyelesaikan tugas-tugas kompleks dengan membuat subtugas tanpa campur tangan manusia dan mempertimbangkan rencana yang berbeda. Rencana ini juga dapat diperbaiki sendiri dan diperbarui bila diperlukan. Chatbot AI agen, berbeda dengan chatbot non-agen, mengevaluasi alat-alat yang mereka miliki dan menggunakan sumber daya yang tersedia untuk melengkapi informasi.

Akademi AI

Menjadi pakar AI

Raih pengetahuan demi memprioritaskan investasi AI yang mendorong pertumbuhan bisnis. Mulai dengan Akademi AI gratis kami hari ini dan pimpin masa depan AI di organisasi Anda.

Paradigma penalaran

Tidak ada satu pun arsitektur standar untuk membangun agen AI. Ada beberapa paradigma untuk memecahkan masalah dengan beberapa langkah.

ReAct (Reasoning and Action atau Penalaran dan Tindakan)

Dengan paradigma ReAct, kita dapat menginstruksikan agen untuk "berpikir" dan merencanakan setelah setiap tindakan yang diambil dan dengan setiap respons alat untuk memutuskan alat mana yang akan digunakan selanjutnya. Siklus Berpikir-Bertindak-Amati ini digunakan untuk memecahkan masalah selangkah demi selangkah dan secara berulang meningkatkan respons.

Melalui struktur prompt, agen dapat diperintah untuk melakukan penalaran secara perlahan dan menampilkan setiap "pemikiran".4 Penalaran verbal agen memberikan insight tentang bagaimana tanggapan dirumuskan. Dalam kerangka kerja ini, agen terus memperbarui konteks mereka dengan alasan baru. Pendekatan ini dapat diartikan sebagai bentuk dorongan Chain-of-Thought.

ReWOO (Reasoning WithOut Observation atau Penalaran Tanpa Pengamatan)

Metode ReWoO, tidak seperti ReAct, menghilangkan ketergantungan pada output alat untuk perencanaan tindakan. Sebaliknya, agen membuat rencana terlebih dahulu. Penggunaan alat yang berlebihan dapat dihindari dengan mengantisipasi alat mana yang akan digunakan setelah menerima prompt awal dari pengguna. Pendekatan ini dianjurkan dari perspektif berorientasi pada manusia karena pengguna dapat memverifikasi rencana sebelum dieksekusi.

Alur kerja ReWOO terdiri dari tiga modul. Dalam modul perencanaan, agen mengantisipasi langkah selanjutnya berdasarkan prompt dari pengguna. Tahap berikutnya memerlukan pengumpulan output yang dihasilkan dengan memanggil alat ini. Terakhir, agen memasangkan rencana awal dengan output alat untuk merumuskan respons. Perencanaan yang matang ini dapat secara signifikan mengurangi penggunaan token dan kompleksitas komputasi, serta dampak dari kegagalan alat perantara.5

Jenis agen AI

Agen AI dapat dikembangkan agar memiliki berbagai tingkat kemampuan. Agen sederhana mungkin lebih disukai untuk tujuan yang jelas dan sederhana guna membatasi kompleksitas komputasi yang tidak perlu. Dalam urutan paling sederhana hingga paling canggih, ada 5 jenis agen:

1. Agen refleks sederhana

Agen refleks sederhana adalah bentuk agen paling sederhana yang mendasarkan tindakan pada persepsi. Agen ini tidak menyimpan memori apa pun, juga tidak berinteraksi dengan agen lain jika ada informasi yang tidak tersedia. Agen-agen ini berfungsi pada seperangkat hal yang disebut refleks atau aturan. Perilaku ini berarti bahwa agen telah diprogram sebelumnya untuk melakukan tindakan yang sesuai dengan kondisi tertentu yang terpenuhi.

Jika agen menghadapi situasi yang tidak dipersiapkan, agen tidak dapat merespons dengan tepat. Agen hanya efektif dalam lingkungan yang dapat diamati sepenuhnya dan memberikan akses ke semua informasi yang diperlukan.6

Contoh: Saat pukul 8 malam, sistem pemanas diaktifkan—misalnya, termostat yang mengaktifkan sistem pemanas pada waktu yang telah ditentukan setiap malam.

2. Agen refleks berbasis model

Agen refleks berbasis model menggunakan persepsi dan memori mereka saat ini untuk mempertahankan model internal dunia. Saat agen terus menerima informasi baru, model diperbarui. Tindakan agen bergantung pada model, refleks, ajaran sebelumnya, dan kondisi saat ini.

Agen ini, tidak seperti agen refleks sederhana, dapat menyimpan informasi dalam memori dan dapat beroperasi di lingkungan yang sebagian dapat diamati dan berubah. Namun, agen ini masih dibatasi oleh seperangkat aturan.6

Contoh: Robot penyedot debu. Saat membersihkan ruangan yang kotor, ia merasakan rintangan seperti furnitur dan menyesuaikan di sekitarnya. Robot juga menyimpan model area yang telah dibersihkan agar tidak terjebak dalam lingkaran pembersihan berulang.

3. Agen berbasis tujuan

Agen berbasis tujuan memiliki model internal dunia dan juga tujuan atau serangkaian tujuan. Agen ini mencari urutan tindakan yang mencapai tujuan mereka dan merencanakan tindakan ini sebelum menindaklanjutinya. Pencarian dan perencanaan ini meningkatkan efektivitasnya jika dibandingkan dengan agen refleks yang sederhana dan berbasis model.7

Contoh: Sistem navigasi yang merekomendasikan rute tercepat ke tempat tujuan Anda. Model mempertimbangkan berbagai rute yang mencapai tujuan Anda, atau dengan kata lain, tujuan Anda. Dalam contoh ini, aturan kondisi-tindakan agen menyatakan bahwa jika rute yang lebih cepat ditemukan, agen akan merekomendasikan rute tersebut.

4. Agen berbasis utilitas

Agen berbasis utilitas memilih urutan tindakan yang mencapai tujuan dan juga memaksimalkan utilitas atau hadiah. Utilitas dihitung melalui fungsi utilitas. Fungsi ini memberikan nilai utilitas, sebuah metrik yang mengukur kegunaan suatu tindakan atau seberapa besar hal itu akan membuat agen “bahagia”, untuk setiap skenario berdasarkan seperangkat kriteria tetap.

Kriteria dapat mencakup beberapa faktor, seperti kemajuan menuju tujuan, persyaratan waktu, atau kompleksitas komputasi. Agen selanjutnya memilih tindakan yang memaksimalkan utilitas yang diharapkan. Oleh karena itu, agen-agen ini berguna dalam kasus di mana beberapa skenario berhasil mencapai tujuan yang diinginkan dan skenario yang paling optimal harus dipilih.7

Contoh: Sistem navigasi yang merekomendasikan rute ke tempat tujuan Anda yang mengoptimalkan efisiensi bahan bakar dan meminimalkan waktu yang dihabiskan dalam lalu lintas dan biaya tol. Agen ini mengukur utilitas melalui serangkaian kriteria ini untuk memilih rute yang paling menguntungkan.

5. Agen pembelajaran

Agen pembelajaran memiliki kemampuan yang sama dengan jenis agen lain tetapi memiliki kemampuan belajar yang unik. Pengalaman baru ditambahkan ke basis pengetahuan awal, yang terjadi secara mandiri. Pembelajaran ini meningkatkan kemampuan agen untuk beroperasi di lingkungan yang tidak dikenal. Agen pembelajaran dapat bersifat utilitas atau berbasis tujuan dalam proses penalarannya dan terdiri dari empat unsur utama:7

  • Pembelajaran: Proses ini meningkatkan pengetahuan agen dengan belajar dari lingkungan melalui prinsip dan sensor yang dimiliki.
  • Kritik: Komponen ini memberikan masukan kepada agen mengenai apakah kualitas tanggapannya memenuhi standar kinerja.
  • Kinerja: Elemen ini bertanggung jawab untuk memilih tindakan setelah pembelajaran.
  • Generator masalah: Modul ini menghasilkan berbagai usulan tindakan yang dapat diambil.

Contoh: Rekomendasi yang dipersonalisasi di situs e-commerce. Agen-agen ini melacak aktivitas dan preferensi pengguna dalam memori mereka. Informasi ini digunakan untuk merekomendasikan produk dan layanan tertentu kepada pengguna. Siklus berulang setiap kali rekomendasi baru dibuat. Aktivitas pengguna terus disimpan untuk tujuan pembelajaran. Dengan demikian, agen meningkatkan akurasinya dari waktu ke waktu.

Contoh penggunaan agen AI

Pengalaman pelanggan

Agen AI dapat diintegrasikan ke dalam situs web dan aplikasi untuk meningkatkan pengalaman pelanggan dengan berfungsi sebagai asisten virtual, memberikan dukungan kesehatan mental, menyimulasikan wawancara, dan tugas-tugas terkait lainnya.Ada banyak templat no-code untuk implementasi pengguna, yang mempermudah proses pembuatan agen AI.

Pelayanan Kesehatan

Agen AI dapat digunakan untuk berbagai aplikasi perawatan kesehatan di dunia nyata. Sistem multiagen dapat berguna untuk pemecahan masalah dalam lingkungan seperti itu. Mulai dari perencanaan perawatan untuk pasien di unit gawat darurat hingga mengelola proses obat, sistem ini menghemat waktu dan tenaga para profesional medis untuk tugas-tugas yang lebih mendesak.9

Tanggap darurat

Jika terjadi bencana alam, agen AI dapat menggunakan algoritma pembelajaran mendalam untuk mengambil informasi pengguna di situs media sosial yang membutuhkan penyelamatan. Lokasi pengguna ini dapat dipetakan untuk membantu layanan penyelamatan dalam menyelamatkan lebih banyak orang dalam waktu yang lebih singkat. Oleh karena itu, agen AI dapat memberikan manfaat yang besar bagi kehidupan manusia, baik dalam tugas-tugas rutin yang monoton maupun dalam situasi yang mengancam nyawa.10

Keuangan dan rantai pasokan

Agen dapat dirancang untuk menganalisis data keuangan real-time, mengantisipasi tren pasar masa depan dan mengoptimalkan manajemen rantai pasokan. Penyesuaian agen AI otonom memberi kami output yang dipersonalisasi untuk data unik kami. Saat bekerja dengan data keuangan, penting untuk menerapkan langkah-langkah keamanan untuk privasi data.

Manfaat agen AI

Otomatisasi tugas

Dengan semakin majunya AI generatif dan machine learning, minat dalam pengoptimalan alur kerja melalui AI, atau otomatisasi cerdas pun semakin meningkat. Agen AI adalah alat AI yang dapat mengotomatiskan tugas-tugas rumit yang sebelumnya memerlukan sumber daya manusia. Karena pergeseran ini, berbagai tujuan kini dapat dicapai dengan murah, cepat, dan dalam skala besar. Nantinya, kemajuan ini berarti agen manusia tidak perlu memberikan arahan kepada  asisten AI  untuk membuat dan menavigasi tugasnya.

Kinerja yang lebih baik

Kerangka kerja multiagen cenderung mengungguli agen tunggal.11 Karena semakin banyak rencana tindakan yang tersedia untuk agen, maka semakin banyak pembelajaran dan refleksi yang terjadi.

Agen AI yang menggabungkan pengetahuan dan masukan dari agen AI lain yang berspesialisasi dalam bidang terkait dapat berguna untuk sintesis informasi. Kolaborasi backend agen AI dan kemampuan untuk mengisi kesenjangan informasi ini merupakan keunikan dari kerangka kerja agen, menjadikannya alat yang kuat dan kemajuan yang berarti dalam kecerdasan buatan.

Kualitas tanggapan

Agen AI memberikan respons yang lebih komprehensif, akurat, dan dipersonalisasi untuk pengguna daripada model AI tradisional. Kemampuan beradaptasi ini penting bagi kami sebagai pengguna karena respons berkualitas tinggi umumnya menghasilkan pengalaman pelanggan yang lebih baik. Seperti yang telah dijelaskan sebelumnya, kemampuan ini dimungkinkan melalui pertukaran informasi dengan agen lain, melalui alat-alat, dan pembaruan aliran memori. Perilaku ini muncul dengan sendirinya dan tidak diprogram sebelumnya.12

Risiko dan batasan

Dependensi multiagen

Tugas-tugas tertentu yang kompleks memerlukan pengetahuan dari beberapa agen AI. Orkestrasi kerangka kerja multiagen ini memiliki risiko malafungsi. Sistem multiagen yang dibangun di atas model dasar yang sama mungkin memiliki kelemahan yang sama. Kelemahan seperti itu dapat menyebabkan kegagalan seluruh sistem dan meliputi semua agen yang terlibat atau menimbulkan kerentanan terhadap serangan yang merugikan.13 Hal ini menyoroti pentingnya tata kelola data dalam membangun model dasar dan proses pelatihan dan pengujian yang menyeluruh.

Siklus masukan tanpa akhir

Kenyamanan penalaran mandiri bagi pengguna manusia yang menggunakan agen AI juga memiliki risiko. Agen yang tidak mampu membuat rencana komprehensif atau merefleksikan temuan, mungkin akan terus-menerus menggunakan alat yang sama, menyebabkan lingkaran masukan yang tak berujung. Untuk mencegah redundansi ini, beberapa tingkat pemantauan manusia secara real-time dapat digunakan.13

Kompleksitas komputasi

Membangun agen AI dari awal memakan waktu dan juga bisa sangat mahal secara komputasi. Sumber daya yang dibutuhkan untuk melatih agen berkinerja tinggi bisa sangat banyak. Selain itu, tergantung pada tingkat kesulitan tugas, agen dapat membutuhkan beberapa hari untuk menyelesaikan tugas.12

Privasi data

Jika salah dikelola, integrasi agen AI dengan proses bisnis dan sistem manajemen pelanggan dapat menimbulkan beberapa masalah keamanan yang serius. Misalnya, bayangkan agen AI memimpin proses pengembangan perangkat lunak, membawa kopilot pengodean ke tingkat berikutnya, atau menentukan harga untuk klien—tanpa pengawasan manusia atau pagar pembatas. Hasil skenario semacam itu mungkin merugikan karena perilaku AI agen yang bersifat eksperimental dan seringkali tidak dapat diprediksi.

Oleh karena itu, sangat penting bagi penyedia AI seperti IBM, Microsoft dan OpenAI untuk tetap proaktif. Mereka harus menerapkan protokol keamanan yang komprehensif untuk memastikan bahwa data karyawan dan pelanggan yang sensitif disimpan dengan aman. Praktik penerapan yang bertanggung jawab adalah kunci untuk meminimalkan risiko dan mempertahankan kepercayaan terhadap teknologi yang berkembang dengan cepat ini.

Praktik terbaik

Log aktivitas

Untuk mengatasi masalah ketergantungan multiagen, pengembang dapat memberikan akses ke log tindakan agen kepada pengguna.14 Tindakan dapat termasuk penggunaan alat eksternal dan mendeskripsikan agen eksternal yang digunakan untuk mencapai tujuan. Transparansi ini memberikan insight kepada pengguna tentang proses pengambilan keputusan yang berulang, memberikan kesempatan untuk menemukan kesalahan dan membangun kepercayaan.

Interupsi

Dianjurkan untuk mencegah agen AI otonom berjalan untuk jangka waktu yang terlalu lama. Khususnya, dalam kasus lingkaran masukan tak terbatas yang tidak diinginkan, perubahan akses ke alat tertentu, atau malafungsi karena kekurangan desain. Salah satu cara untuk mencapai tujuan ini adalah dengan menerapkan kemampuan interupsi.

Menjaga kendali atas keputusan ini melibatkan pemberian opsi kepada pengguna manusia untuk menghentikan dengan tuntas urutan tindakan atau seluruh operasi. Memilih apakah dan kapan harus menghentikan agen AI memerlukan pertimbangan karena beberapa penghentian dapat menyebabkan lebih banyak kerugian daripada keuntungan. Misalnya, mungkin lebih aman jika agen yang rusak masih diizinkan untuk terus membantu dalam keadaan darurat yang mengancam jiwa daripada sepenuhnya dimatikan.5

Pengidentifikasi agen unik

Untuk mengurangi risiko sistem agen yang digunakan untuk tujuan jahat, pengenal unik dapat diimplementasikan. Jika identifikasi ini diwajibkan agar agen dapat mengakses sistem eksternal, melacak asal usul pengembang, pelaksana penerapan, dan pengguna agen akan menjadi lebih mudah.

Pendekatan ini menambahkan lapisan akuntabilitas yang penting. Ketertelusuran membantu mengidentifikasi pihak yang bertanggung jawab ketika agen menyebabkan penggunaan berbahaya atau kerusakan yang tidak diinginkan. Pada akhirnya, perlindungan semacam ini akan mendorong lingkungan operasional yang lebih aman bagi agen AI.

Pengawasan manusia

Untuk membantu dalam proses pembelajaran agen AI, terutama pada tahap awal di lingkungan baru, akan sangat membantu jika sesekali diberikan pengawasan manusia. Jadi, berdasarkan panduan ini, agen AI dapat membandingkan kinerjanya dengan standar yang diharapkan dan melakukan penyesuaian. Bentuk masukan ini sangat membantu dalam meningkatkan kemampuan adaptasi agen terhadap preferensi pengguna.5

Selain langkah pengamanan ini, praktik terbaik adalah mengharuskan persetujuan manusia sebelum agen AI mengambil tindakan yang berdampak besar. Misalnya, tindakan mulai dari pengiriman email massal hingga perdagangan keuangan harus memerlukan konfirmasi manusia.7 Beberapa tingkat pemantauan manusia direkomendasikan untuk domain berisiko tinggi tersebut.

Solusi terkait
Agen AI untuk bisnis

Bangun, terapkan, dan kelola asisten dan agen AI yang kuat yang mengotomatiskan alur kerja dan proses dengan AI generatif.

    Menjelajahi watsonx Orchestrate
    Solusi agen AI IBM

    Bangun masa depan bisnis Anda dengan solusi AI yang dapat Anda percaya.

    Jelajahi solusi agen AI
    Layanan AI IBM Consulting

    Layanan IBM Consulting AI membantu merancang ulang cara kerja bisnis dengan AI untuk transformasi.

    Jelajahi layanan kecerdasan buatan
    Ambil langkah selanjutnya

    Baik Anda memilih untuk menyesuaikan aplikasi dan keterampilan yang dibangun sebelumnya atau membangun dan menerapkan layanan agen khusus menggunakan studio AI, platform IBM watsonx siap membantu Anda.

    Menjelajahi watsonx Orchestrate Jelajahi watsonx.ai
    Catatan kaki

    1 Andrew Zhao, Daniel Huang, Quentin Xu, Matthieu Lin, Yong-Jin Liu and Gao Huang, "Expel: LLM agents are experiential learners," Proceedings of the AAAI conference on artificial intelligence, Vol. 38, No. 17, pp. 19632-19642, 2024, https://ojs.aaai.org/index.php/AAAI/article/view/29936\
    2 Yonadov Shavit, Sandhini Agarwal, Miles Brundage, Steven Adler, Cullen O’Keefe, Rosie Campbell, Teddy Lee, Pamela Mishkin, Tyna Eloundou, Alan Hickey, Katarina Slama, Lama Ahmad, Paul McMillan, Alex Beutel, Alexandre Passos and David G. Robinson, “Practices for governing agentic AI Systems,” OpenAI, 2023, https://arxiv.org/pdf/2401.13138v3
    3 Tula Masterman, Sandi Besen, Mason Sawtell and Alex Chao, “The landscape of emerging AI agent architectures for reasoning, planning and tool calling: A Survey” arXiv preprint, 2024, https://arxiv.org/abs/2404.11584
    4 Gautier Dagan, Frank Keller and Alex Lascarides, "Dynamic planning with an LLM," arXiv preprint, 2023 https://arxiv.org/abs/2308.06391
    5 Binfeng Xu, Zhiyuan Peng, Bowen Lei, Subhabrata Mukherjee, Yuchen Liu and Dongkuan Xu, "ReWOO: Decoupling reasoning from observations for efficient augmented language models," arXiv preprint, 2023 https://arxiv.org/abs/2305.18323
    6 Sebastian Schmid, Daniel Schraudner and Andreas Harth, "Performance comparison of simple reflex agents using stigmergy with model-based agents in self-organizing transportation." IEEE International conference on autonomic computing and self-organizing systems companion, pp. 93–98, 2021, https://ieeexplore.ieee.org/document/9599196
    7 Veselka Sasheva Petrova-Dimitrova, “Classifications of intelligence agents and their applications,” Fundamental sciences and applications, Vol. 28, No. 1, 2022.
    8 Lei Wang, Chen Ma, Xueyang Feng, Zeyu Zhang, Hao Yang, Jingsen Zhang, Zhiyuan Chen, Jiakai Tang, Xu Chen, Yankai Lin, Wayne Xin Zhao, Zhewei Wei and Jirong Wen, “A survey on large language model based autonomous agents,” Frontiers of computer science, Vol. 18, No. 6, 2024, https://link.springer.com/article/10.1007/s11704-024-40231-1
    9 Jaya R. Haleema, Haleema, N. C. S. N. Narayana, “Enhancing a traditional health care system of an organization for better service with agent technology by ensuring confidentiality of patients’ medical information,” Cybernetics and information technologies, Vol. 12, No. 3, pp.140-156, 2013, https://sciendo.com/article/10.2478/cait-2013-0031
    10 Jingwei Huang, Wael Khallouli, Ghaith Rabadi and Mamadou Seck, “Intelligent agent for hurricane emergency identification and text information extraction from streaming social media big data,” International journal of critical infrastructures, Vol. 19, No. 2, pp. 124–139, 2023, https://arxiv.org/abs/2106.07114
    11 Junyou Li, Qin Zhang, Yangbin Yu, Qiang Fu and Deheng Ye. "More agents is all you need." arXiv preprint, 2024, https://arxiv.org/abs/2402.05120
    12 Joon Sung Park, Joseph O'Brien, Carrie Jun Cai, Meredith Ringel Morris, Percy Liang and Michael S. Bernstein, "Generative agents: Interactive simulacra of human behavior," Proceedings of the 36th annual ACM symposium on user interface software and technology, pp. 1–22, 2023, https://dl.acm.org/doi/10.1145/3586183.3606763
    13 Alan Chan, Carson Ezell, Max Kaufmann, Kevin Wei, Lewis Hammond, Herbie Bradley, Emma Bluemke, Nitarshan Rajkumar, David Krueger, Noam Kolt, Lennart Heim and Markus Anderljung, “Visibility into AI agents,” The 2024 ACM Conference on fairness, accountability and transparency, pp. 958–973, 2024, https://arxiv.org/abs/2401.13138
    14 Devjeet Roy, Xuchao Zhang, Rashi Bhave, Chetan Bansal, Pedro Las-Casas, Rodrigo Fonseca and Saravan Rajmohan, "Exploring LLM-based agents for root cause analysis," arXiv preprint, 2024, https://arxiv.org/abs/2403.04123