Apa itu AI TRiSM?

AI TriSM, atau kecerdasan buatan (AI) kepercayaan, risiko dan manajemen keamanan (AI TriSM), “memastikan tata kelola model AI, kepercayaan, keadilan, keandalan, ketahanan, kemanjuran, dan perlindungan data. Ini mencakup solusi dan teknik untuk interpretabilitas dan penjelasan model, perlindungan data AI, operasi model, dan ketahanan terhadap serangan adversarial.”¹
 

 Sistem ini dikembangkan oleh perusahaan riset dan konsultan Gartner®, dan "memberikan solusi proaktif untuk mengidentifikasi dan mengurangi risiko ini, memastikan keandalan, kepercayaan, dan keamanan."²

Sementara banyak kerangka kerja terpisah berfokus secara khusus pada kepercayaan AI, risiko AI atau keamanan AI, mereka sulit untuk diintegrasikan dan disinkronkan, menurut para peneliti. Kurangnya koordinasi ini dapat mengakibatkan manajemen AI yang terfragmentasi. Hal ini juga dapat menyebabkan kesenjangan pengetahuan tentang risiko dan konsekuensi keamanan yang berasal dari implementasi AI dan praktik AI.

Namun, kerangka kerja AI TRiSM menyediakan pendekatan terpadu. Ini menyatukan bagian-bagian penting dari kerangka kerja yang berbeda untuk manajemen teknologi AI yang lebih komprehensif.

Pendukung AI TRiSM menganggap kerangka kerja tersebut penting untuk mengurangi risiko dan ancaman siber yang terkait dengan kemajuan dan peningkatan penggunaan AI generatif (gen AI), seperti model bahasa besar (LLM). Penggunaan AI generatif dapat meningkatkan permukaan serangan organisasi, memungkinkan serangan siber yang lebih canggih oleh peretas, dan menimbulkan pertimbangan etika baru. Manfaat penerapan AI TRiSM di bidang seperti perawatan kesehatan dan keuangan meliputi mitigasi risiko, peningkatan langkah-langkah untuk pemantauan model, dan perlindungan terhadap serangan adversarial dan akses tidak sah.³

Menurut Gartner, “Kepercayaan AI, manajemen risiko dan keamanan (AI TriSM) memastikan:

• Pemerintahan
• Dapat dipercaya
• Keadilan
• Keandalan
• ^{Perlindungan data dalam penerapan AI” 4}

Tata kelola AI mengacu pada proses, standar, dan pagar pembatas yang membantu memastikan sistem dan alat AI aman dan etis. Tata kelola AI yang efektif mencakup manajemen risiko—dengan mekanisme untuk mengatasi potensi bias, pelanggaran privasi data, dan masalah lainnya—sambil membangun kepercayaan dan mendukung inovasi.

Hal ini melibatkan pemantauan dan evaluasi sistem AI secara terus menerus untuk memastikan bahwa sistem tersebut mematuhi norma-norma etika dan peraturan hukum yang telah ditetapkan. Tata kelola AI mencakup tata kelola data, sebuah disiplin manajemen data yang dirancang untuk mempertahankan data yang aman dan berkualitas tinggi yang mudah diakses untuk penemuan data dan inisiatif intelijen bisnis.

Organisasi dan kerangka kerja yang berbeda menekankan berbagai prinsip dan tujuan panduan untuk menentukan kepercayaan sistem AI. Prinsip-prinsip yang sering dikutip dari AI yang dapat dipercaya meliputi akuntabilitas, dapat dijelaskan, dan dapat ditafsirkan.

Ketika pengguna model AI dan pemangku kepentingan lainnya mengalami kesulitan memahami bagaimana model berfungsi, itu dapat menghambat kepercayaan mereka pada sistem AI. Proses dan metodologi yang tepat dapat membantu pengguna untuk memahami dan mempercayai proses pengambilan keputusan dan output dari model machine learning.

Keadilan sering melibatkan mitigasi atau penghapusan bias dalam model AI dan data AI selama siklus pengembangan AI. Model AI menyerap bias masyarakat yang dapat disematkan dalam data pelatihan mereka. Pengumpulan data bias yang mencerminkan ketidaksetaraan sosial dapat mengakibatkan kerugian bagi kelompok-kelompok yang terpinggirkan secara historis dalam penilaian kredit, perekrutan, dan bidang lainnya.

Mengidentifikasi dan mengatasi bias dalam AI membutuhkan kemampuan untuk mengarahkan, mengelola, dan memantau aktivitas AI organisasi. Hal ini dapat dicapai melalui tata kelola AI—khususnya, pembuatan kebijakan dan praktik untuk memandu pengembangan AI yang bertanggung jawab dan penggunaan teknologi AI.

Keandalan secara umum mengacu pada kemampuan sesuatu untuk berfungsi seperti yang diantisipasi atau diperlukan untuk periode tertentu dalam kondisi tertentu. Sehubungan dengan sistem AI, memenuhi harapan kinerja termasuk memberikan output yang benar untuk periode yang dapat diperpanjang selama masa pakai sistem.⁵

Perlindungan data adalah praktik menjaga data sensitif dari kehilangan dan korupsi. Perlindungan data dimaksudkan untuk menjaga ketersediaan data, memastikan pengguna dapat mengakses data untuk operasi bisnis, bahkan jika data rusak atau hilang dalam pelanggaran data atau serangan malware.

Perlindungan data mencakup keamanan data (perlindungan informasi digital dari akses tidak sah, kerusakan, atau pencurian) dan privasi data (prinsip bahwa seseorang harus memiliki kendali atas data pribadi mereka). Perlindungan data adalah kunci untuk mematuhi rezim peraturan utama, seperti Peraturan Perlindungan Data Umum Eropa (GDPR).

Baik teknologi tradisional maupun solusi khusus AI yang lebih baru mendukung AI TriSM. Yang pertama mencakup alat untuk menyediakan manajemen identitas dan akses (IAM) dan solusi untuk manajemen postur keamanan data.

Teknologi khusus AI untuk AI TRiSM bervariasi menurut penyedia. Beberapa fokus pada fungsi tertentu, seperti keamanan atau kepatuhan. Yang lainnya menawarkan produk yang lebih komprehensif dengan serangkaian kemampuan untuk tata kelola AI dan inspeksi waktu proses AI dan penegakan:

Perangkat lunak tata kelola AI dapat memberdayakan perusahaan untuk secara otomatis mencatat dan memantau informasi model, termasuk aktivitas pengembangan AI, untuk mendukung audit; melakukan penilaian risiko model; mengevaluasi kinerja model dan mencegah pembuatan konten berbahaya; dan mengelola kepatuhan terhadap peraturan. Sementara beberapa alat tata kelola terbatas pada model AI yang dibuat sendiri untuk organisasi, yang lain dapat diterapkan pada model yang dibuat pada platform pihak ketiga, seperti Amazon Bedrock dan Microsoft Azure.

Menurut webinar Gartner, fungsi pemeriksaan dan penegakan waktu proses AI mencakup model AI, aplikasi AI, dan agen AI. Model AI, aplikasi AI, dan agen AI memberikan “kepatuhan dengan kontrol internal dan eksternal” dan aplikasi AI menyediakan “kontrol akses berbasis konteks & klasifikasi data kontekstual dinamis.”⁶

Terdapat beberapa contoh penggunaan untuk mengimplementasikan AI TRiSM dalam penerapan dan pengelolaan AI perusahaan. Yaitu antara lain:

Para profesional medis semakin banyak menggunakan alat yang didukung AI untuk berbagai tujuan, mulai dari otomatisasi perangkat medis hingga menganalisis gambar. Program AI TRiSM dapat membantu melindungi data layanan kesehatan yang digunakan dalam sistem ini dari pelanggaran data. Langkah-langkah seperti kontrol akses, misalnya, dapat mengurangi potensi risiko akses yang tidak sah.

Ketika kumpulan data yang berisi bias demografis digunakan untuk melatih algoritma AI, hasilnya bisa bias. Ini telah menjadi masalah yang diketahui di industri keuangan, memengaruhi persetujuan pinjaman, biaya suku bunga, dan banyak lagi. Di Denmark, Asosiasi Bisnis Denmark menerapkan praktik AI TriSM dengan melakukan tes keadilan untuk memvalidasi prediksi model AI yang mengawasi transaksi keuangan, meningkatkan kepercayaan pelanggan.⁷

Selain memastikan keadilan yang lebih besar dalam transaksi keuangan, langkah-langkah AI TriSM dapat membantu melindungi sistem deteksi penipuan lembaga keuangan dari serangan permusuhan.⁸ Solusi AI ini juga membantu bank mematuhi persyaratan hukum tentang perlindungan konsumen dan menjaga informasi sensitif.