Apa itu AI TRiSM?

AI TriSM, atau kecerdasan buatan (AI) kepercayaan, risiko dan manajemen keamanan (AI TriSM), “memastikan tata kelola model AI, kepercayaan, keadilan, keandalan, ketahanan, kemanjuran, dan perlindungan data. Ini mencakup solusi dan teknik untuk interpretabilitas dan penjelasan model, perlindungan data AI, operasi model, dan ketahanan terhadap serangan adversarial.”¹
 

 Sistem ini dikembangkan oleh perusahaan riset dan konsultan Gartner, dan "memberikan solusi proaktif untuk mengidentifikasi dan mengurangi risiko ini, memastikan keandalan, kepercayaan, dan keamanan."²

Sementara banyak kerangka kerja terpisah berfokus secara khusus pada kepercayaan AI, risiko AI atau keamanan AI, mereka sulit untuk diintegrasikan dan disinkronkan, menurut para peneliti. Kurangnya koordinasi ini dapat mengakibatkan manajemen AI yang terfragmentasi. Hal ini juga dapat menyebabkan kesenjangan pengetahuan tentang risiko dan konsekuensi keamanan yang berasal dari implementasi AI dan praktik AI.

Namun, kerangka kerja AI TRiSM menyediakan pendekatan terpadu. Ini menyatukan bagian-bagian penting dari kerangka kerja yang berbeda untuk manajemen teknologi AI yang lebih komprehensif.

Pendukung AI TRiSM menganggap kerangka kerja tersebut penting untuk mengurangi risiko dan ancaman siber yang terkait dengan kemajuan dan peningkatan penggunaan AI generatif (gen AI), seperti model bahasa besar (LLM). Penggunaan AI generatif dapat meningkatkan permukaan serangan organisasi, memungkinkan serangan siber yang lebih canggih oleh peretas, dan menimbulkan pertimbangan etika baru. Manfaat penerapan AI TRiSM di bidang seperti perawatan kesehatan dan keuangan meliputi mitigasi risiko, peningkatan langkah-langkah untuk pemantauan model, dan perlindungan terhadap serangan adversarial dan akses tidak sah.³

Menurut Gartner, “Kepercayaan AI, manajemen risiko dan keamanan (AI TriSM) memastikan:

• Pemerintahan
• Dapat dipercaya
• Keadilan
• Keandalan
• ^{Perlindungan data dalam penerapan AI” 4}

Tata kelola AI mengacu pada proses, standar, dan pagar pembatas yang membantu memastikan sistem dan alat AI aman dan etis. Tata kelola AI yang efektif mencakup manajemen risiko—dengan mekanisme untuk mengatasi potensi bias, pelanggaran privasi data, dan masalah lainnya—sambil membangun kepercayaan dan mendukung inovasi.

Hal ini melibatkan pemantauan dan evaluasi sistem AI secara terus menerus untuk memastikan bahwa sistem tersebut mematuhi norma-norma etika dan peraturan hukum yang telah ditetapkan. Tata kelola AI mencakup tata kelola data, sebuah disiplin manajemen data yang dirancang untuk mempertahankan data yang aman dan berkualitas tinggi yang mudah diakses untuk penemuan data dan inisiatif intelijen bisnis.

Organisasi dan kerangka kerja yang berbeda menekankan berbagai prinsip dan tujuan panduan untuk menentukan kepercayaan sistem AI. Prinsip-prinsip yang sering dikutip dari AI yang dapat dipercaya meliputi akuntabilitas, dapat dijelaskan, dan dapat ditafsirkan.

Ketika pengguna model AI dan pemangku kepentingan lainnya mengalami kesulitan memahami bagaimana model berfungsi, itu dapat menghambat kepercayaan mereka pada sistem AI. Proses dan metodologi yang tepat dapat membantu pengguna untuk memahami dan mempercayai proses pengambilan keputusan dan output dari model machine learning.

Keadilan sering melibatkan mitigasi atau penghapusan bias dalam model AI dan data AI selama siklus pengembangan AI. Model AI menyerap bias masyarakat yang dapat disematkan dalam data pelatihan mereka. Pengumpulan data bias yang mencerminkan ketidaksetaraan sosial dapat mengakibatkan kerugian bagi kelompok-kelompok yang terpinggirkan secara historis dalam penilaian kredit, perekrutan, dan bidang lainnya.

Mengidentifikasi dan mengatasi bias dalam AI membutuhkan kemampuan untuk mengarahkan, mengelola, dan memantau aktivitas AI organisasi. Hal ini dapat dicapai melalui tata kelola AI—khususnya, pembuatan kebijakan dan praktik untuk memandu pengembangan AI yang bertanggung jawab dan penggunaan teknologi AI.

Keandalan secara umum mengacu pada kemampuan sesuatu untuk berfungsi seperti yang diantisipasi atau diperlukan untuk periode tertentu dalam kondisi tertentu. Sehubungan dengan sistem AI, memenuhi harapan kinerja termasuk memberikan output yang benar untuk periode yang dapat diperpanjang selama masa pakai sistem.⁵

Perlindungan data adalah praktik menjaga data sensitif dari kehilangan dan korupsi. Perlindungan data dimaksudkan untuk menjaga ketersediaan data, memastikan pengguna dapat mengakses data untuk operasi bisnis, bahkan jika data rusak atau hilang dalam pelanggaran data atau serangan malware.

Perlindungan data mencakup keamanan data (perlindungan informasi digital dari akses tidak sah, kerusakan, atau pencurian) dan privasi data (prinsip bahwa seseorang harus memiliki kendali atas data pribadi mereka). Perlindungan data adalah kunci untuk mematuhi rezim peraturan utama, seperti Peraturan Perlindungan Data Umum Eropa (GDPR).

Baik teknologi tradisional maupun solusi khusus AI yang lebih baru mendukung AI TriSM. Yang pertama mencakup alat untuk menyediakan manajemen identitas dan akses (IAM) dan solusi untuk manajemen postur keamanan data.

Teknologi khusus AI untuk AI TRiSM bervariasi menurut penyedia. Beberapa fokus pada fungsi tertentu, seperti keamanan atau kepatuhan. Lainnya menawarkan produk yang lebih komprehensif dengan berbagai kemampuan, termasuk:

• tata kelola AI

• Perlindungan dan klasifikasi data AI

• Inspeksi dan penegakan waktu proses AI (lihat informasi tambahan di bagian berikut)

Menurut panduan tambahan Gartner yang dirilis pada Februari 2025, solusi TriSM juga harus mencakup:⁷

Inventaris entitas AI yang digunakan di organisasi, termasuk model, agen, dan aplikasi dalam berbagai konfigurasi, cakupannya meliputi AI tertanam pada aplikasi pihak ketiga siap pakai, AI yang disediakan sendiri (bring-your-own AI), generasi dengan dukungan pengambilan data (RAG), hingga model yang dikembangkan sendiri

Data yang digunakan untuk melatih atau menyempurnakan model AI, menyediakan konteks bagi kueri pengguna dalam sistem RAG, atau menjadi masukan bagi sistem agen AI.

Jaminan dan evaluasi berkelanjutan terhadap kinerja, keandalan, keamanan, serta keselamatan AI berdasarkan ekspektasi dan metrik yang dijadikan tolok ukur. Jaminan dan evaluasi dilakukan sebelum penerapan maupun setelah penerapan secara terpisah (out of band).

Diterapkan pada model, aplikasi, dan interaksi agen untuk memastikan setiap transaksi selaras dengan kebijakan tata kelola organisasi.Pemeriksaan kepatuhan Koneksi, proses, komunikasi, input, dan output yang relevan diperiksa guna mendeteksi pelanggaran kebijakan maupun penyimpangan dari perilaku yang diharapkan. Anomali diidentifikasi dan selanjutnya diblokir, diperbaiki secara otomatis, atau diteruskan kepada personel maupun sistem respons insiden untuk investigasi, triase, penanganan, dan remediasi yang sesuai.

Terdapat beberapa contoh penggunaan untuk mengimplementasikan AI TRiSM dalam penerapan dan pengelolaan AI perusahaan. Yaitu antara lain:

Para profesional medis semakin banyak menggunakan alat yang didukung AI untuk berbagai tujuan, mulai dari otomatisasi perangkat medis hingga menganalisis gambar. Program AI TRiSM dapat membantu melindungi data layanan kesehatan yang digunakan dalam sistem ini dari pelanggaran data. Langkah-langkah seperti kontrol akses, misalnya, dapat mengurangi potensi risiko akses yang tidak sah.

Ketika kumpulan data yang mengandung bias demografis digunakan untuk melatih algoritma AI, hasil yang dihasilkan juga dapat mengandung bias. Hal ini telah lama menjadi tantangan di industri keuangan, yang memengaruhi persetujuan pinjaman, penetapan suku bunga, dan berbagai proses lainnya. Di Denmark, Asosiasi Bisnis Denmark menerapkan praktik AI TRiSM dengan melakukan pengujian keadilan (fairness testing) untuk memvalidasi prediksi model AI yang mengawasi transaksi keuangan, sehingga meningkatkan kepercayaan pelanggan.⁸

Selain membantu menciptakan transaksi keuangan yang lebih adil, langkah-langkah AI TRiSM juga dapat melindungi sistem deteksi penipuan lembaga keuangan dari serangan adversarial.⁹ Solusi AI ini juga membantu bank memenuhi persyaratan hukum terkait perlindungan konsumen dan pengamanan informasi sensitif.

Baca laporan lengkapnya di sini.