Sistem AI generatif menghadirkan sejumlah tantangan keamanan yang unik. Di samping tantangan khas untuk mengamankan akses ke model AI generatif, organisasi harus menyeimbangkan kekuatan kreatif model bahasa besar (LLM) dan teknologi generatif lainnya dengan risiko bahwa model akan menghasilkan output yang salah atau tidak diinginkan, mengungkapkan informasi sensitif atau pribadi, atau menjalankan tindakan yang tidak diinginkan atau salah/tidak diizinkan/ilegal.
Proyek Keamanan Aplikasi Web Terbuka, OWASP, telah menerbitkan versi 1 dari 10 risiko dan kerentanan teratas untuk LLM dan aplikasi AI generatif. Diagram di bawah ini menggambarkan kerentanan ini dalam konteks arsitektur AI agen.
- Injeksi Prompt terjadi ketika penyerang dapat memasukkan konten berbahaya ke dalam prompt LLM. Konten ini bisa berupa prompt yang disematkan dalam prompt yang lebih besar, hyperlink ke konten yang akan dibaca oleh LLM (mis. “Baca dan parsing teks di URL berikut..”), atau metode lainnya. Injeksi prompt dapat memungkinkan penyerang memanipulasi model untuk mengabaikan instruksi dan/atau menghasilkan output yang tidak diinginkan atau salah.
- Penanganan Output Tidak Aman terjadi ketika output dari LLM tidak divalidasi secara memadai terhadap potensi niat jahat. Contoh kerentanan ini adalah ketika LLM diminta menghasilkan kode JavaScript yang langsung diteruskan ke browser pengguna untuk dieksekusi, atau eksekusi langsung skrip shell atau kode ‘sistem‘ lainnya yang dihasilkan oleh LLM.
- Peracunan Data Pelatihan terjadi ketika penyerang mampu memodifikasi atau memanipulasi pelatihan model dan/atau data konfigurasi untuk memperkenalkan kerentanan ke dalam model. Misalnya, penyerang dapat mengubah deskripsi proses bisnis sehingga memungkinkan transfer uang tanpa batas ke individu tertentu; atau pesaing dapat memodifikasi data penyelarasan sehingga model merekomendasikan produk mereka alih-alih produk perusahaan.
- Model Denial-of-Service terjadi ketika penyerang mampu memanipulasi model untuk mengkonsumsi sejumlah besar sumber daya, sehingga mengakibatkan kinerja yang buruk atau model tidak tersedia bagi pengguna lain. Contoh serangan denial-of-service pada model meliputi pengiriman berulang prompt yang tepat di bawah ukuran jendela konteks model sehingga menghabiskan memori dalam jumlah besar, serta pengiriman prompt yang membuat model memperluas dan memproses jendela konteks secara rekursif (loop tanpa akhir).
- Kerentanan Rantai Pasokan adalah kerentanan umum yang terkait dengan penggunaan perangkat lunak pihak ketiga yang mungkin memiliki celah tidak diketahui yang dapat dieksploitasi oleh penyerang, serta kerentanan yang muncul dari model yang menggunakan data tidak diverifikasi dan/atau bersumber dari kerumunan dalam proses pelatihan mereka.
- Pengungkapan Informasi Sensitif terjadi ketika model mengungkapkan informasi sensitif atau pribadi. Hal ini bisa terjadi sebagai akibat serangan injeksi prompt yang berhasil, melalui penanganan output sistem perusahaan yang tidak aman, atau melalui prompt jahat yang memanipulasi model untuk menghasilkan output sensitif, mis. nomor kartu kredit yang valid.
- Desain Plugin Tidak Aman terjadi ketika alat yang dipanggil langsung oleh model tidak dirancang secara aman; mis. alat yang berjalan dengan hak administratif, atau alat yang memungkinkan prompt melalui output mereka.
- Agensi yang berlebihan terjadi ketika model atau agen otonom memiliki kemampuan untuk melakukan tindakan merusak atau tidak sah sebagai respons terhadap output yang tidak terduga atau ambigu dari LLM.
- Ketergantungan berlebihan terjadi ketika output model tidak diverifikasi untuk kebenaran terhadap sumber faktual atau kontrol prosedural. Contoh paling umum adalah ketika model berhalusinasi dan output yang salah diterima sebagai fakta, misalnya chatbot memberikan jawaban yang keliru kepada pelanggan tentang kebijakan pengembalian toko. Ketergantungan berlebihan juga dapat terjadi pada kode atau gambar yang dihasilkan model.
- Pencurian Model terjadi ketika penyerang mampu mengkompromikan, mencuri secara fisik, atau menyalin model, bobot, dan/atau parameternya. Setelah memperoleh model, penyerang dapat memanfaatkan kekayaan intelektual yang berharga di dalam model, atau membuat duplikat model untuk penggunaan sendiri.
Gambar di bawah ini menambahkan arsitektur untuk menunjukkan penempatan komponen keamanan yang bertujuan melindungi atau mengurangi kerentanan pada OWASP Top 10.
Komponen Identitas dan Manajemen Akses (IAM) ditambahkan untuk menyediakan identitas dan peran pengguna yang kuat, serta mengurangi risiko pencurian model dengan mengendalikan akses ke fungsionalitas aplikasi dan API yang dapat menyebabkan pencurian atau pengungkapan model.
Kontrol akses dan identifikasi agen (Kontrol Akses Agen), yang fungsinya mirip dengan pengguna istimewa, ditambahkan untuk menyesuaikan hak akses agen dengan identitas dan peran pengguna; serta mencegah tindakan agen yang berlebihan atau abnormal akibat halusinasi, prompt yang kurang tepat, atau ambigu.
Komponen pemantauan AI generatif (Pemantauan Gen AI) ditambahkan di seluruh arsitektur untuk melindungi dari injeksi prompt yang cepat, penanganan output yang tidak aman, pengungkapan data sensitif, dan ketergantungan berlebihan. Kombinasi Pemantauan Gen AI dan Pemantauan Kebocoran Data tradisional digunakan untuk melindungi dari serangan berbasis prompt/respons, misalnya prompt yang diinjeksi ke dalam hasil SQL query, serta pengungkapan informasi sensitif yang mungkin muncul dalam hasil panggilan API, basis data kueri, dan sejenisnya.
Serangan keracunan data pelatihan dimitigasi melalui penambahan Manajemen Konfigurasi dan alat pemantauan, serta Kontrol Versi terstruktur dan proses rilis yang diterapkan pada pelatihan model, penyelarasan, dan data konfigurasi.
Terakhir, komponen Pemantauan Perilaku Terintegrasi dan korelasi peristiwa ditambahkan untuk mengidentifikasi potensi kerentanan dan serangan dari log setiap komponen. Komponen Pemberitahuan dan Peringatan ditambahkan untuk memberi tahu operator sistem tentang potensi masalah, sementara komponen Orkestrasi Respons ditambahkan untuk mengotomatiskan dan/atau mengoordinasikan respons sistem maupun manual terhadap masalah yang teridentifikasi.