IBM meningkatkan kemampuan watsonx.governance dengan Mesin Evaluasi Risiko Model baru

Kami dengan bangga mengumumkan Mesin Evaluasi Risiko Model, sebuah alat baru di watsonx.governance yang dapat mengukur risiko model dasar dengan menghitung metrik yang terkait dengan dimensi risiko dari AI Risk Atlas. Sebagai bagian dari proses penerimaan model yang komprehensif, alat ini memungkinkan perbandingan metrik risiko di berbagai model dasar, membantu Anda mengidentifikasi model dasar yang paling sesuai untuk penerapan di lingkungan organisasi Anda, sejalan dengan toleransi risiko spesifik organisasi Anda.

Ketika perusahaan terus menskalakan penerapan AI generatif, semakin penting bagi mereka untuk mengembangkan pemahaman yang lebih baik tentang risiko yang terkait dengan model dasar yang mendasarinya, termasuk prompt, output buruk, jailbreaking, dan halusinasi.

Organisasi memiliki banyak pilihan dalam memilih model AI generatif mana yang akan digunakan di perusahaan mereka. Membuat keputusan yang tepat sangat penting untuk menghindari situasi ketika model generatif berkinerja buruk (misalnya chatbot "buruk" yang menghadapi pelanggan memberikan panduan yang salah atau berbahaya). Situasi ini dapat memiliki dampak reputasi sangat besar yang sulit dipulihkan oleh organisasi. Oleh karena itu, memiliki data risiko kuantitatif yang objektif untuk mencegah situasi seperti ini harus menjadi bagian dari proses orientasi model organisasi.

Proses orientasi untuk model AI generatif memiliki 3 tahap:

1. Pahami risiko umum AI generatif.
2. Identifikasi risiko yang berlaku pada model AI tertentu (atau contoh penggunaan).
3. Evaluasi risiko yang teridentifikasi.

Mencantumkan pustaka risiko adalah langkah pertama untuk memahami risiko apa saja yang mungkin dapat diterapkan. AI Risk Atlas dari IBM adalah sumber daya yang bagus untuk memahami risiko yang terkait dengan penggunaan AI generatif dan model machine learning. Risiko ini juga terintegrasi langsung ke dalam Konsol Tata Kelola watsonx.governance, dan langsung tersedia. Pustaka risiko juga dapat dilengkapi dengan inventaris risiko organisasi jika diinginkan. Risiko dapat dihubungkan dengan Contoh Penggunaan AI dan Model menggunakan penilaian identifikasi risiko langsung (Contoh Penggunaan AI, Pencantuman Model, dan kombinasi Contoh Penggunaan + Model).

Memahami risiko yang mungkin terjadi merupakan langkah awal yang baik, namun yang tidak kalah penting adalah memiliki metode yang efektif untuk mengidentifikasi, mengukur, dan memitigasi semua risiko ini.

watsonx.governance dikirimkan dengan 3 penilaian identifikasi risiko:

• Identifikasi risiko contoh penggunaan AI: digunakan untuk mengidentifikasi risiko yang spesifik untuk contoh penggunaan yang diusulkan dan tidak spesifik untuk model. Misalnya, injeksi prompt, informasi IP dalam prompt, dan mengekspos informasi pribadi.
• Identifikasi risiko orientasi model AI: digunakan untuk mengidentifikasi risiko yang spesifik untuk model yang sedang dinilai. Misalnya, bias data, sumber data yang tidak pasti, kurangnya transparansi data pelatihan, dan identifikasi ulang.
• Identifikasi contoh penggunaan + risiko model: digunakan untuk mengidentifikasi serangkaian risiko tambahan yang dapat muncul dari kombinasi spesifik antara contoh penggunaan dan model. Misalnya, pembatasan hak penggunaan model, halusinasi, dan output yang tidak dapat dijelaskan.

Penilaian ini digunakan dalam menentukan risiko mana dari Atlas Risiko yang berlaku untuk model dan/atau contoh penggunaan yang sedang digunakan. Di watsonx.governance Governance Console, terdapat alur kerja untuk pencantuman model dasar yang mencakup penilaian kuesioner identifikasi risiko yang disebutkan di atas.

Setelah diidentifikasi, risiko yang berlaku harus diperiksa secara terpisah menggunakan Penilaian Mandiri Risiko dan Kontrol (RCSA) untuk menentukan risiko yang melekat dan risiko residual. Hal ini akan menghasilkan profil risiko untuk model yang dapat menginformasikan jenis penggunaan mana yang akan disetujui oleh organisasi untuk model tersebut, seperti RAG, klasifikasi, atau rangkuman.

Untuk menginformasikan proses RCSA dengan lebih baik, beberapa evaluasi kuantitatif dapat dilakukan untuk mendapatkan pemahaman yang lebih dalam tentang risiko model tertentu dan bagaimana hal itu dibandingkan dengan model serupa. Perusahaan juga diberdayakan untuk mengevaluasi risiko model apa pun yang mereka kembangkan atau tingkatkan (misalnya melalui penyempurnaan).

Mesin Evaluasi Risiko Model, yang sekarang menjadi bagian dari watsonx.governance, membantu penilaian risiko kuantitatif dari model yayasan. Mesin ini menghitung metrik yang terkait dengan serangkaian dimensi risiko yang ditentukan dari AI Risk Atlas. Dengan menghitung metrik ini untuk berbagai pilihan model dasar, perusahaan dapat memilih model yang memenuhi tujuan bisnis mereka sekaligus menyelaraskan dengan selera risiko mereka.

Mesin Evaluasi Risiko Model mendukung evaluasi model bahasa besar dari IBM watsonx.ai serta model bahasa besar eksternal. Hasil yang telah selesai dari mesin evaluasi dapat disimpan ke Konsol Tata Kelola watsonx.governance atau diekspor sebagai laporan PDF.

Mesin Evaluasi Risiko Model membantu menyelesaikan tugas-tugas berikut:

• Menghitung metrik menggunakan watsonx.ai sebagai mesin inferensi
• Menghitung metrik risiko untuk model dasar di watsonx.ai
• Menghitung metrik risiko untuk model dasar eksternal
• Menyimpan metrik yang dihitung di Governance Console (OpenPages)
• Mengambil metrik yang dihitung dari Governance Console (OpenPages)
• Menambahkan risiko dan kumpulan data Anda sendiri
• Membuat laporan PDF tentang metrik yang dihitung
• Menerapkan fungsi penilaian Anda sendiri untuk model apa pun yang melakukan evaluasi (misalnya, fungsi deterministik atau LLM-as-a-judge)
• Menampilkan metrik di sel notebook dalam format tabel atau bagan

Setelah semua data ini mengalir kembali ke Konsol Tata Kelola, data tersebut dapat digunakan untuk menginformasikan langkah penilaian risiko dari alur kerja pencantuman model dasar yang dijelaskan di atas.

Pengguna watsonx.governance dapat mengakses Mesin Evaluasi Risiko Model dengan menjalankan perintah berikut:

Sampel notebook kami berisi instruksi yang dapat Anda gunakan untuk mencobanya sendiri. Halaman dokumentasi Mesin Evaluasi Risiko Model juga berisi informasi lebih lanjut.

Jika Anda ingin organisasi Anda mengidentifikasi, mengukur, dan mengurangi risiko AI generatif secara efektif, solusi tata kelola AI menyeluruh seperti watsonx.governance sangat penting. Cobalah sendiri atau luangkan agar kita dapat berdiskusi dengan pakar IBM hari ini. 

Coba watsonx.governance sekarang

Pelajari tentang Layanan Tata Kelola AI IBM