Apa yang dimaksud dengan manajemen risiko AI?

Manajemen risiko AI adalah proses mengidentifikasi, mengurangi, dan menangani risiko potensial yang terkait dengan teknologi AI secara sistematis. Ini melibatkan kombinasi alat, praktik, dan prinsip, dengan penekanan khusus pada penerapan kerangka kerja manajemen risiko AI formal.

Secara umum, tujuan manajemen risiko AI adalah untuk meminimalkan potensi dampak negatif AI sekaligus memaksimalkan manfaatnya.

Manajemen risiko AI adalah bagian dari bidang tata kelola AI yang lebih luas. Tata kelola AI mengacu pada pagar pembatas yang memastikan bahwa alat dan sistem AI tetap aman dan etis dan tetap seperti itu.

Tata kelola AI adalah disiplin yang komprehensif, sedangkan manajemen risiko AI adalah proses dalam disiplin itu. Manajemen risiko AI berfokus secara khusus pada mengidentifikasi dan mengatasi kerentanan dan ancaman untuk menjaga sistem AI aman dari bahaya. Tata kelola AI menetapkan kerangka kerja, aturan, dan standar yang mengarahkan penelitian, pengembangan, dan penerapan AI untuk memastikan keamanan, keadilan, dan penghormatan terhadap hak asasi manusia.

Dalam beberapa tahun terakhir, penggunaan sistem AI telah melonjak di seluruh industri. McKinsey melaporkan (tautan berada di luar ibm.com) bahwa 72% organisasi sekarang menggunakan beberapa bentuk kecerdasan buatan (AI), naik 17% dari tahun 2023.

Sementara organisasi mengejar manfaat AI—seperti inovasi, efisiensi, dan peningkatan produktivitas—mereka tidak selalu mengatasi potensi risikonya, seperti masalah privasi, ancaman keamanan, serta masalah etika dan hukum.

Para pemimpin sangat menyadari tantangan ini. Sebuah studi IBM Institute for Business Value (IBM IBV) baru-baru ini (tautan berada di luar ibm.com) menemukan bahwa 96% pemimpin percaya bahwa mengadopsi AI generatif membuat pelanggaran keamanan lebih mungkin. Pada saat yang sama, IBM IBV juga menemukan bahwa hanya 24% dari proyek AI generatif saat ini yang diamankan.

Manajemen risiko AI dapat membantu menutup celah ini dan memberdayakan organisasi untuk memanfaatkan potensi penuh sistem AI tanpa mengorbankan keamanan atau etika AI.

Seperti jenis risiko keamanan lainnya, risiko AI dapat dipahami sebagai ukuran seberapa besar kemungkinan potensi ancaman terkait AI memengaruhi organisasi dan seberapa besar kerusakan yang akan ditimbulkan oleh ancaman tersebut.

Sementara setiap model AI dan contoh penggunaan berbeda, risiko AI umumnya jatuh ke dalam empat bucket:

• Risiko data
• Risiko model
• Risiko operasional
• Risiko etika dan hukum

Jika tidak dikelola dengan benar, risiko ini dapat mengekspos sistem AI dan organisasi pada kerugian yang signifikan, termasuk kerugian finansial, kerusakan reputasi, hukuman peraturan, erosi kepercayaan publik, dan pelanggaran data.

Sistem AI bergantung pada kumpulan data yang mungkin rentan terhadap gangguan, pelanggaran, bias, atau serangan siber. Organisasi dapat mengurangi risiko ini dengan melindungi integritas, keamanan, dan ketersediaan data di seluruh siklus hidup AI, dari pengembangan hingga pelatihan dan penerapan.

 Risiko data umumnya termasuk:

• Keamanan data: Keamanan data adalah salah satu tantangan terbesar dan paling kritis yang dihadapi sistem AI. Pelaku ancaman dapat menyebabkan masalah serius bagi organisasi dengan membobol kumpulan data yang mendukung teknologi AI, termasuk akses yang tidak sah, kehilangan data, dan kerahasiaan yang terganggu.

• Privasi data: Sistem AI sering menangani data pribadi yang sensitif, yang dapat rentan terhadap pelanggaran privasi, yang mengarah pada masalah peraturan dan hukum bagi organisasi.

• Integritas data: Model AI hanya dapat diandalkan seperti data pelatihan mereka. Data yang terdistorsi atau bias dapat menyebabkan hasil positif palsu, output yang tidak akurat, atau pengambilan keputusan yang buruk.

Pelaku ancaman dapat menargetkan model AI untuk pencurian, rekayasa balik, atau manipulasi yang tidak sah. Penyerang dapat membahayakan integritas model dengan merusak arsitektur, bobot, atau parameternya, komponen inti yang menentukan perilaku dan kinerja model AI.

Beberapa risiko model yang paling umum meliputi:

• Serangan adversial: Serangan ini memanipulasi data input untuk menipu sistem AI menjadi salah dalam memprediksi atau mengklasifikasi. Misalnya, penyerang dapat membuat contoh-contoh berlawanan yang mereka berikan kepada algoritme AI untuk secara sengaja mengganggu pengambilan keputusan atau menghasilkan bias.

• Injeksi prompt: Serangan ini menargetkan model bahasa besar (LLM). Peretas menyamarkan input berbahaya sebagai prompt yang sah, memanipulasi sistem AI generatif agar membocorkan data sensitif, menyebarkan informasi yang salah atau lebih buruk. Injeksi prompt paling dasar dapat membuat chatbot AI seperti ChatGPT mengabaikan pembatas sistem dan berkata sesuatu yang seharusnya tidak boleh dikatakan.

• Kemampuan interpretasi model: Model AI yang kompleks sering kali sulit untuk diinterpretasikan, sehingga menyulitkan pengguna untuk memahami bagaimana model tersebut mengambil keputusan. Kurangnya transparansi ini pada akhirnya dapat menghambat deteksi bias dan akuntabilitas serta mengikis kepercayaan terhadap sistem AI dan penyedia layanannya.

• Serangan rantai pasokan: Serangan rantai pasokan terjadi ketika pelaku ancaman menargetkan sistem AI di tingkat rantai pasokan, termasuk pada tahap pengembangan, penerapan, atau pemeliharaan. Misalnya, penyerang dapat mengeksploitasi kerentanan pada komponen pihak ketiga yang digunakan dalam pengembangan AI, yang mengarah pada pelanggaran data atau akses tidak sah.

Meskipun model AI dapat tampak seperti sihir, mereka pada dasarnya adalah produk dari kode canggih dan algoritma machine learning. Seperti semua teknologi, mereka rentan terhadap risiko operasional. Jika tidak ditangani, risiko ini dapat menyebabkan kegagalan sistem dan kerentanan keamanan yang dapat dimanfaatkan oleh pelaku ancaman. 

Beberapa risiko operasional yang paling umum meliputi:

• Penyimpangan atau peluruhan: Model AI dapat mengalami penyimpangan model, suatu proses di mana perubahan dalam data atau hubungan antara titik data dapat menyebabkan penurunan kinerja. Misalnya, model deteksi penipuan mungkin menjadi kurang akurat seiring berjalannya waktu dan membiarkan transaksi penipuan lolos.

• Masalah keberlanjutan: Sistem AI adalah teknologi baru dan kompleks yang membutuhkan penskalaan dan dukungan yang tepat. Mengabaikan keberlanjutan dapat menyebabkan tantangan dalam memelihara dan memperbarui sistem ini, menyebabkan kinerja yang tidak konsisten dan meningkatkan biaya operasional dan konsumsi energi.

• Tantangan integrasi: Mengintegrasikan sistem AI dengan infrastruktur TI yang ada dapat menjadi kompleks dan intensif sumber daya. Organisasi sering menghadapi masalah dengan kompatibilitas, silo data dan interoperabilitas sistem. Memperkenalkan sistem AI juga dapat menciptakan kerentanan baru dengan memperluas permukaan serangan untuk ancaman siber. 

• Kurangnya akuntabilitas: Karena sistem AI merupakan teknologi yang relatif baru, banyak organisasi yang tidak memiliki struktur tata kelola perusahaan yang tepat. Hasilnya adalah bahwa sistem AI sering kekurangan pengawasan. McKinsey menemukan (tautan berada di luar ibm.com) bahwa hanya 18 persen organisasi yang memiliki dewan atau dewan dengan wewenang untuk membuat keputusan tentang tata kelola AI yang bertanggung jawab.

Jika organisasi tidak memprioritaskan keamanan dan etika saat mengembangkan dan menerapkan sistem AI, mereka berisiko melakukan pelanggaran privasi dan menghasilkan hasil yang bias. Misalnya, data pelatihan yang bias yang digunakan untuk keputusan perekrutan dapat memperkuat stereotip gender atau ras dan menciptakan model AI yang lebih menyukai kelompok demografis tertentu daripada yang lain.

 Risiko etika dan hukum umum meliputi:

• Kurangnya transparansi: Organisasi yang gagal bersikap transparan dan akuntabel dengan sistem AI mereka berisiko kehilangan kepercayaan publik.

• Kegagalan untuk mematuhi persyaratan peraturan: Ketidakpatuhan terhadap peraturan pemerintah seperti GDPR atau pedoman khusus sektor dapat mengakibatkan denda dan hukuman hukum yang berat.

• Bias algoritmik: Algoritma AI dapat mewarisi bias dari data pelatihan, yang menyebabkan hasil yang berpotensi diskriminatif seperti keputusan perekrutan yang bias dan akses yang tidak setara ke layanan keuangan.

• Dilema etika: Keputusan AI dapat menimbulkan masalah etika yang berkaitan dengan privasi, otonomi, dan hak asasi manusia. Salah menangani dilema ini dapat merusak reputasi organisasi dan mengikis kepercayaan publik.

• Kurangnya penjelasan: Penjelasan dalam AI mengacu pada kemampuan untuk memahami dan membenarkan keputusan yang dibuat oleh sistem AI. Kurangnya penjelasan dapat merusak kepercayaan dan menyebabkan pemeriksaan hukum serta kerusakan reputasi. Misalnya, CEO suatu organisasi yang tidak mengetahui dari mana LLM mereka memperoleh data pelatihannya dapat mengakibatkan liputan berita yang buruk atau penyelidikan regulasi.

Banyak organisasi mengatasi risiko AI dengan mengadopsi kerangka kerja manajemen risiko AI, yang merupakan seperangkat pedoman dan praktik untuk mengelola risiko di seluruh siklus hidup AI.

Seseorang juga dapat menganggap pedoman ini sebagai pedoman yang menguraikan kebijakan, prosedur, peran, dan tanggung jawab terkait penggunaan AI oleh organisasi. Kerangka kerja manajemen risiko AI membantu organisasi mengembangkan, menerapkan, dan memelihara sistem AI dengan cara meminimalkan risiko, menjunjung tinggi standar etika, dan mencapai kepatuhan terhadap peraturan yang berlaku.

Beberapa kerangka kerja manajemen risiko AI yang paling umum digunakan meliputi:

• Kerangka Kerja Manajemen Risiko AI NIST
• Undang-Undang AI UE
• Standar ISO/IEC
• Perintah eksekutif AS tentang AI

Pada Januari 2023, Institut Standar dan Teknologi Nasional (NIST) menerbitkan AI Risk Management Framework (AI RMF) (tautan berada di luar ibm.com) untuk memberikan pendekatan terstruktur dalam mengelola risiko AI. NIST AI RMF telah menjadi tolok ukur untuk manajemen risiko AI.

Tujuan utama AI RMF adalah untuk membantu organisasi merancang, mengembangkan, menerapkan, dan menggunakan sistem AI dengan cara yang secara efektif mengelola risiko dan mempromosikan praktik AI yang dapat dipercaya dan bertanggung jawab.

Dikembangkan melalui kerja sama dengan sektor publik dan swasta, AI RMF sepenuhnya bersifat sukarela dan dapat diterapkan di semua perusahaan, industri, atau geografi.

Kerangka kerja dibagi menjadi dua bagian. Bagian 1 menawarkan gambaran umum tentang risiko dan karakteristik sistem AI yang dapat dipercaya. Bagian 2, AI RMF Core, menguraikan empat fungsi untuk membantu organisasi mengatasi risiko sistem AI:

• Mengatur: Menciptakan budaya organisasi manajemen risiko AI
• Memetakan: Membingkai risiko AI dalam konteks bisnis tertentu
• Mengukur: Menganalisis dan menilai risiko AI
• Mengelola: Mengatasi risiko yang dipetakan dan diukur

Undang-Undang Kecerdasan Buatan Uni Eropa (Undang-Undang AI UE) adalah undang-undang yang mengatur pengembangan dan penggunaan kecerdasan buatan di Uni Eropa (UE). Undang-undang ini mengambil pendekatan berbasis risiko terhadap regulasi, menerapkan aturan yang berbeda untuk sistem AI sesuai dengan ancaman yang mereka timbulkan terhadap kesehatan, keselamatan, dan hak-hak asasi manusia. Undang-undang ini juga menciptakan aturan untuk merancang, melatih, dan menerapkan model kecerdasan buatan umum, seperti model dasar yang mendukung ChatGPT dan Google Gemini.

Organisasi Internasional untuk Standardisasi (ISO) dan Komisi Elektroteknik Internasional (IEC) telah mengembangkan standar (tautan berada di luar ibm.com) yang membahas berbagai aspek manajemen risiko AI.

Standar ISO/IEC menekankan pentingnya transparansi, akuntabilitas, dan pertimbangan etika dalam manajemen risiko AI. Mereka juga memberikan panduan yang dapat ditindaklanjuti untuk mengelola risiko AI di seluruh siklus hidup AI, mulai dari desain dan pengembangan hingga penerapan dan pengoperasian.

Pada akhir tahun 2023, pemerintahan Biden mengeluarkan perintah eksekutif (tautan berada di luar ibm.com) untuk memastikan keselamatan dan keamanan AI. Meskipun secara teknis bukan merupakan kerangka kerja manajemen risiko, arahan komprehensif ini memberikan panduan untuk menetapkan standar baru untuk mengelola risiko teknologi AI.

Perintah eksekutif ini menyoroti beberapa masalah utama, termasuk promosi AI yang dapat dipercaya yang transparan, dapat dijelaskan, dan dapat dipertanggungjawabkan. Dalam banyak hal, perintah eksekutif tersebut membantu memberikan preseden bagi sektor swasta, yang menandakan pentingnya praktik manajemen risiko AI yang komprehensif.

Sementara proses manajemen risiko AI tentu bervariasi dari satu organisasi ke organisasi lainnya, praktik manajemen risiko AI dapat memberikan beberapa manfaat inti umum ketika diterapkan dengan sukses.

Manajemen risiko AI dapat meningkatkan postur keamanan siber organisasi dan penggunaan keamanan AI.

Dengan melakukan penilaian dan audit risiko secara teratur, organisasi dapat mengidentifikasi potensi risiko dan kerentanan di seluruh siklus hidup AI.

Setelah penilaian ini, mereka dapat menerapkan strategi mitigasi untuk mengurangi atau menghilangkan risiko yang teridentifikasi. Proses ini mungkin melibatkan langkah-langkah teknis, seperti meningkatkan keamanan data dan meningkatkan ketahanan model. Proses ini mungkin juga melibatkan penyesuaian organisasi, seperti mengembangkan pedoman etika dan memperkuat kontrol akses.

Mengambil pendekatan yang lebih proaktif terhadap deteksi dan respons ancaman ini dapat membantu organisasi memitigasi risiko sebelum meningkat, mengurangi kemungkinan pelanggaran data dan potensi dampak serangan siber.

Manajemen risiko AI juga dapat membantu meningkatkan pengambilan keputusan organisasi secara keseluruhan.

Dengan menggunakan gabungan analisis kualitatif dan kuantitatif, termasuk metode statistik dan pendapat pakar, organisasi dapat memperoleh pemahaman yang jelas tentang potensi risiko mereka. Tampilan gambaran lengkap ini membantu organisasi memprioritaskan ancaman berisiko tinggi dan membuat keputusan yang lebih tepat seputar penerapan AI, menyeimbangkan keinginan untuk berinovasi dengan kebutuhan akan mitigasi risiko.

Fokus global yang meningkat pada perlindungan data sensitif telah mendorong terciptanya persyaratan peraturan utama dan standar industri, termasuk Peraturan Perlindungan Data Umum (GDPR), California Consumer Privacy Act, dan Undang-Undang AI UE.

Ketidakpatuhan terhadap undang-undang ini dapat mengakibatkan denda yang besar dan hukuman hukum yang signifikan. Manajemen risiko AI dapat membantu organisasi mencapai kepatuhan dan tetap memiliki reputasi yang baik, terutama karena peraturan seputar AI berkembang hampir secepat teknologi itu sendiri.

Manajemen risiko AI membantu organisasi meminimalkan gangguan dan memastikan keberlangsungan bisnis dengan memungkinkan mereka mengatasi potensi risiko dengan sistem AI secara real time. Manajemen risiko AI juga dapat mendorong akuntabilitas yang lebih besar dan keberlanjutan jangka panjang dengan memungkinkan organisasi untuk menetapkan praktik dan metodologi manajemen yang jelas untuk penggunaan AI. 

Manajemen risiko AI mendorong pendekatan yang lebih etis terhadap sistem AI dengan memprioritaskan kepercayaan dan transparansi.

Sebagian besar proses manajemen risiko AI melibatkan berbagai pemangku kepentingan, termasuk eksekutif, pengembang AI, ilmuwan data, pengguna, pembuat kebijakan, dan bahkan ahli etika. Pendekatan inklusif ini membantu memastikan bahwa sistem AI dikembangkan dan digunakan secara bertanggung jawab, dengan mempertimbangkan setiap pemangku kepentingan. 

Dengan melakukan pengujian dan proses pemantauan secara teratur, organisasi dapat melacak kinerja sistem AI dengan lebih baik dan mendeteksi ancaman yang muncul lebih cepat. Pemantauan ini membantu organisasi mempertahankan kepatuhan terhadap peraturan yang berkelanjutan dan memulihkan risiko AI lebih awal, sehingga mengurangi potensi dampak ancaman. 

Untuk semua potensi mereka dalam merampingkan dan mengoptimalkan cara kerja, teknologi AI bukannya tanpa risiko. Hampir setiap bagian TI bisnis dapat menjadi senjata di tangan yang salah.

Organisasi tidak perlu menghindari AI generatif. Mereka hanya perlu memperlakukannya seperti alat teknologi lainnya. Itu berarti memahami risiko dan mengambil langkah proaktif untuk meminimalkan kemungkinan serangan yang berhasil.

Dengan IBM watsonx.governance, organisasi dapat dengan mudah mengarahkan, mengelola, dan memantau aktivitas AI dalam satu platform terintegrasi. IBM watsonx.governance dapat mengatur model AI generatif dari vendor mana pun, mengevaluasi kesehatan dan akurasi model, serta mengotomatiskan alur kerja kepatuhan utama.