Sistem AI agen memiliki potensi besar bagi perusahaan. Otonomi AI agen adalah manfaat utama, tetapi sifat otonom ini dapat membawa konsekuensi serius jika sistem agensi keluar jalur. Risiko AI yang umum berlaku, tetapi dapat menjadi lebih besar dalam sistem agen.
Banyak sistem AI agen menggunakan pembelajaran penguatan, yang melibatkan pemaksimalan fungsi imbalan. Jika sistem imbalan dirancang dengan buruk, AI mungkin mengeksploitasi celah untuk mencapai “skor tinggi” dengan cara yang tidak diinginkan.
Pertimbangkan beberapa contoh:
Agen yang ditugasi untuk memaksimalkan interaksi media sosial malah memprioritaskan konten sensasional atau menyesatkan, sehingga tidak sengaja menyebarkan informasi yang salah.
Robot gudang yang dioptimalkan untuk kecepatan malah merusak produk agar dapat bergerak lebih cepat.
AI perdagangan finansial yang dimaksudkan untuk memaksimalkan keuntungan malah terlibat dalam praktik perdagangan yang berisiko atau tidak etis, sehingga memicu ketidakstabilan pasar.
AI moderasi konten yang dirancang untuk mengurangi ucapan berbahaya menyensor diskusi yang sah.
Beberapa sistem AI agen dapat menjadi penguat diri, meningkatkan perilaku ke arah yang tidak diinginkan. Masalah ini terjadi ketika AI mengoptimalkan terlalu agresif untuk metrik tertentu tanpa perlindungan. Dan karena sistem agen sering kali terdiri dari beberapa agen otonom yang bekerja bersama, ada peluang untuk gagal. Kemacetan lalu lintas, hambatan, konflik sumber daya—semua kesalahan ini berpotensi berdegradasi. Penting bagi model untuk memiliki tujuan yang jelas dan dapat diukur, dengan loop umpan balik yang ada sehingga model dapat bergerak lebih dekat dengan tujuan organisasi dari waktu ke waktu.