IBM meningkatkan kemampuan watsonx.governance dengan Mesin Evaluasi Risiko Model baru
Kami dengan senang mengumumkan Mesin Evaluasi Risiko Model, alat baru di watsonx.governance yang dapat mengukur risiko model dasar dengan menghitung metrik yang terkait dengan dimensi risiko dari Atlas Risiko AI. Sebagai bagian dari proses penerimaan model yang komprehensif, ini memungkinkan perbandingan metrik risiko di berbagai model dasar, membantu Anda mengidentifikasi model dasar yang paling sesuai untuk diterapkan dalam organisasi Anda, sesuai dengan toleransi risiko spesifik organisasi Anda.
Ketika perusahaan terus menskalakan penerapan AI generatif, semakin penting bagi mereka untuk mengembangkan pemahaman yang lebih baik tentang risiko yang terkait dengan model dasar yang mendasarinya, termasuk injeksi prompt, output yang merusak, jailbreaking, dan halusinasi.
Organisasi memiliki banyak pilihan dalam memilih model AI generatif mana yang akan digunakan di perusahaan mereka. Membuat keputusan yang tepat sangat penting untuk menghindari situasi ketika model generatif berkinerja buruk (misalnya chatbot "nakal" yang melayani pelanggan memberikan panduan yang salah atau berbahaya). Situasi ini dapat memiliki dampak reputasi sangat besar yang sulit dipulihkan organisasi. Oleh karena itu, memiliki data risiko kuantitatif yang objektif untuk mencegah situasi seperti ini harus menjadi bagian dari proses penerimaan model organisasi.
Proses penerimaan untuk model AI generatif memiliki 3 tahap:
- Memahami risiko umum AI generatif.
- Mengidentifikasi risiko yang berlaku pada model AI tertentu (atau contoh penggunaan).
- Mengevaluasi risiko yang teridentifikasi.
Mencantumkan pustaka risiko adalah langkah pertama untuk memahami risiko apa saja yang mungkin dapat diterapkan. Atlas Risiko AI dari IBM adalah sumber daya yang bagus untuk memahami risiko yang terkait dengan penggunaan AI generatif dan model machine learning. Risiko ini juga terintegrasi langsung ke dalam Konsol Tata Kelola watsonx.governance dan langsung tersedia. Pustaka risiko juga dapat dilengkapi dengan inventaris risiko organisasi, jika diinginkan. Risiko dapat dihubungkan dengan Contoh Penggunaan AI dan Model menggunakan penilaian identifikasi risiko langsung (contoh penggunaan AI, Pencantuman Model, dan kombinasi Contoh Penggunaan + Model).
Memahami risiko yang mungkin terjadi adalah langkah pertama yang baik, namun yang tidak kalah penting adalah memiliki metode yang efektif untuk mengidentifikasi, mengukur, dan memangkas semua risiko tersebut.
watsonx.governance dikirimkan dengan 3 penilaian identifikasi risiko:
- Mengidentifikasi risiko contoh penggunaan AI: digunakan untuk mengidentifikasi risiko yang spesifik untuk contoh penggunaan yang diusulkan dan tidak spesifik model. Misalnya, injeksi prompt, informasi IP dalam prompt, dan mengekspos informasi pribadi.
- Identifikasi risiko penerimaan model AI: digunakan untuk mengidentifikasi risiko yang spesifik pada model yang sedang dinilai. Misalnya, bias data, asal data yang tidak pasti, kurangnya transparansi data pelatihan, dan identifikasi ulang.
- Mengidentifikasi risiko contoh penggunaan + model: digunakan untuk mengidentifikasi serangkaian risiko tambahan yang dapat muncul dari kombinasi tertentu dari contoh penggunaan dan model. Misalnya, pembatasan hak penggunaan model, halusinasi, dan output yang tidak dapat dijelaskan.
Penilaian ini digunakan untuk menentukan risiko mana dari Atlas Risiko yang dapat diterapkan pada model dan/atau contoh penggunaan yang sedang dicantumkan. Di Konsol Tata Kelola watsonx.governance terdapat alur kerja untuk pencantuman model dasar yang mencakup penilaian kuesioner identifikasi risiko yang disebutkan di atas.
Setelah diidentifikasi, semua risiko yang berlaku harus diperiksa secara terpisah menggunakan Penilaian Mandiri Risiko dan Kontrol (RCSA) untuk menentukan risiko yang melekat dan residual. Hal ini akan menghasilkan profil risiko untuk model yang dapat menginformasikan jenis penggunaan mana yang dapat disetujui oleh organisasi untuk model tersebut, seperti RAG, klasifikasi, atau perangkuman.
Untuk memberikan informasi yang lebih baik bagi proses RCSA, beberapa evaluasi kuantitatif dapat dilakukan untuk mendapatkan pemahaman yang lebih dalam tentang risiko model tertentu dan bagaimana perbandingannya dengan model yang serupa. Perusahaan juga diberdayakan untuk mengevaluasi risiko dari model apa pun yang mereka kembangkan atau tingkatkan (misalnya melalui penyempurnaan).
Mesin Evaluasi Risiko Model, yang sekarang menjadi bagian dari watsonx.governance, membantu dengan penilaian risiko kuantitatif model dasar. Alat ini menghitung metrik yang terkait dengan serangkaian dimensi risiko Atlas Risiko AI yang telah ditentukan. Dengan menghitung metrik ini untuk berbagai pilihan model dasar, perusahaan diberdayakan untuk memilih model yang memenuhi tujuan bisnis mereka sekaligus selaras dengan selera risiko mereka.
Mesin Evaluasi Risiko Model mendukung evaluasi model bahasa besar dari IBM watsonx.ai serta model bahasa besar eksternal apa pun. Hasil mesin evaluasi yang telah selesai dapat disimpan ke Konsol Tata Kelola watsonx.governance atau diekspor sebagai laporan PDF.
Mesin Evaluasi Risiko Model membantu menyelesaikan tugas-tugas berikut:
- Menghitung metrik menggunakan watsonx.ai sebagai mesin inferensi
- Menghitung metrik risiko untuk model dasar di watsonx.ai
- Menghitung metrik risiko untuk model dasar eksternal
- Menyimpan metrik yang dihitung di Konsol Tata Kelola (OpenPages)
- Mengambil metrik yang dihitung dari Konsol Tata Kelola (OpenPages)
- Menambahkan risiko dan kumpulan data Anda sendiri
- Membuat laporan PDF tentang metrik yang dihitung
- Menerapkan fungsi penilaian Anda sendiri untuk model apa pun yang melakukan evaluasi (misalnya, fungsi deterministik atau LLM sebagai evaluator)
- Menampilkan metrik di sel notebook dalam format tabel atau bagan
Setelah mengalir kembali ke Konsol Tata Kelola, semua data ini dapat digunakan untuk menginformasikan langkah penilaian risiko dari alur kerja penerimaan model dasar yang dijelaskan di atas.
Pengguna watsonx.governance dapat mengakses Mesin Evaluasi Risiko Model dengan menjalankan perintah berikut:
Notebook sampel kami berisi instruksi yang dapat Anda coba. Halaman dokumentasi Mesin Evaluasi Risiko Model juga berisi informasi lebih lanjut.
Jika Anda menginginkan organisasi Anda untuk mengidentifikasi, mengukur, dan mengurangi risiko AI generatif secara efektif, solusi tata kelola AI menyeluruh seperti watsonx.governance sangat penting. Cobalah sendiri atau siapkan waktu bagi kami untuk berdiskusi dengan pakar IBM hari ini.