Apa itu audit AI?

Audit AI adalah pemeriksaan terstruktur berbasis bukti tentang bagaimana sistem kecerdasan buatan (AI) dirancang, dilatih, dan digunakan.

Audit AI dapat dianggap sebagai “pemeriksaan kesehatan” komprehensif untuk sistem AI. Sementara audit tradisional berfokus pada laporan keuangan atau kontrol TI, audit AI menggali dasar-dasar dari seluruh siklus hidup AI. Ini termasuk pengumpulan dan kualitas data, arsitektur model dan keterangan, serta proses pengambilan keputusan setelah sistem berjalan.

Proses audit ini mengevaluasi apakah penggunaan AI oleh organisasi selaras dengan kerangka tata kelola, kerangka kerja manajemen risiko, dan standar etika. Pertanyaan yang diajukan antara lain:

• Apakah data pribadi dan data pelatihan dikumpulkan secara sah dan disimpan dengan aman ?
• Apakah algoritma tersebut menimbulkan bias atau menciptakan kerentanan baru?
• Apakah kontrol akses dan metrik tersedia untuk mengurangi risiko dari waktu ke waktu?

Audit AI memberikan gambaran yang jelas tentang cara kerja internal suatu sistem AI, sehingga membangun kepercayaan. Bagi para pemangku kepentingan dan regulator, hal ini memberikan bukti nyata bahwa teknologi baru ini digunakan secara bertanggung jawab.

Sistem AI setiap hari memengaruhi keputusan yang berdampak besar, seperti menyetujui kredit pemilikan rumah, menentukan prioritas penanganan pasien, dan memoderasi konten media sosial. Meskipun sistem ini menghadirkan kecepatan dan otomatisasi, sistem AI juga dapat menimbulkan berbagai potensi risiko. Model yang memiliki kelemahan dapat memperkuat bias, postur keamanan yang lemah dapat memicu pelanggaran data, dan pengambilan keputusan yang didasarkan pada informasi yang keliru dapat mengikis kepercayaan para pemangku kepentingan.

Regulator pun mulai merespons. Undang-Undang Kecerdasan Buatan Uni Eropa (UU AI Uni Eropa) menetapkan beberapa tingkat risiko—risiko terbatas dan minimal, risiko tinggi, serta risiko yang tidak dapat diterima—serta mewajibkan penerapan standar audit yang ketat.

Demikian pula, Kerangka Kerja Manajemen Risiko AI dari National Institute for Standards and Technology (NIST) menetapkan ekspektasi terkait transparansi AI dan akuntabilitas. Auditor internal dan tim keamanan informasi diharapkan mampu menunjukkan kepatuhan sekaligus membuktikan bahwa sistem AI yang mereka gunakan dapat dipercaya, mulai dari tahap perancangan hingga penerapan.

Oleh karena itu, audit AI merupakan alat yang bersifat defensif sekaligus strategis. Audit AI membantu organisasi mengidentifikasi kerentanan sebelum berkembang menjadi masalah yang lebih besar, sekaligus memperkuat praktik dan inisiatif tata kelola data. Selain itu, melalui dokumentasi yang jelas dan alur kerja yang konsisten serta dapat diulang, audit AI membantu organisasi memenuhi persyaratan kepatuhan regulasi sekaligus membangun kepercayaan pelanggan dan investor.

Audit AI komprehensif memeriksa tiga area yang saling bergantung, masing-masing dengan serangkaian tes dan metriknya sendiri:

• Data
• Model
• Penerapan

Auditor menilai bagaimana data dikumpulkan, diberi label, dan dikelola. Mereka meninjau akurasi dan kualitas kumpulan data dan menguji bias tersembunyi atau data “usang” yang dapat mengubah output. Kontrol privasi dan perlindungan data sangat penting: data pribadi harus memenuhi Peraturan Perlindungan Data Umum (GDPR) atau standar yang sebanding, sementara metadata harus dapat dilacak di seluruh siklus hidup AI.

Pemeriksaan umum termasuk penilaian kualitas data dan ulasan penilaian yang memastikan periode penyimpanan, kontrol akses, dan izin didokumentasikan dan diberlakukan.

Auditor kemudian menyelidiki algoritma itu sendiri. Pertanyaan-pertanyaan kunci meliputi: Teknik machine learning apa yang digunakan? Seberapa bisa dijelaskan logika keputusannya? Apakah metrik dan ambang batas telah ditetapkan untuk memantau drift atau perilaku yang tidak terduga?

Auditor sering melakukan analisis tingkat kesalahan pada berbagai kelompok demografis, menerapkan uji tekanan, atau melakukan red teaming untuk mengungkap potensi kerentanan. Pengujian keandalan juga dapat membantu mengidentifikasi potensi dampak sebelum sistem diterapkan.

Terakhir, auditor memeriksa lingkungan operasional. Mereka memverifikasi bahwa struktur tata kelola dan alur kerja pemantauan tetap diterapkan setelah sistem diluncurkan.

Evaluasi yang umum dilakukan mencakup penilaian kesesuaian untuk memenuhi persyaratan regulasi (misalnya UU AI Uni Eropa), pemantauan kinerja secara real-time dan berkelanjutan, serta simulasi respons insiden untuk membantu memastikan organisasi mampu mendeteksi dan mengendalikan ancaman yang muncul. Auditor juga dapat memastikan bahwa output menjalani proses interaksi manusia apabila diperlukan.

Semakin banyak undang-undang dan standar di seluruh dunia membentuk audit AI. Beberapa UU sudah berlaku, sementara banyak lainnya bergerak cepat menuju implementasi. Peraturan penting meliputi:

• UU Kecerdasan Buatan Uni Eropa: Di Uni Eropa, UU AI Uni Eropa telah berlaku sejak Agustus 2024 dan mengklasifikasikan sistem AI berdasarkan tingkat risiko, memerlukan dokumentasi ekstensif, pengujian, dan pengawasan manusia untuk aplikasi berisiko tinggi.

• Kerangka Kerja Manajemen Risiko AI: Dikembangkan oleh NIST pada tahun 2023, kerangka kerja sukarela ini memandu organisasi dalam mengidentifikasi, menilai, dan mengelola risiko AI di seluruh siklus hidup. Sementara perintah eksekutif yang mengarahkan lembaga federal untuk melembagakan kerangka kerja telah dibatalkan, standar itu sendiri terus berfungsi sebagai panduan.

• Arahan tentang Pengambilan Keputusan Otomatis: Arahan federal Kanada, efektif sejak 2020, memaksa departemen untuk menyelesaikan Penilaian Dampak Algoritmik dan melaporkan secara publik hasil untuk sistem AI berdampak tinggi.

• Model Kerangka Tata Kelola AI: Pertama kali dirilis pada tahun 2019 dan diperbarui pada tahun 2024, kerangka kerja Singapura memberikan panduan terperinci tentang transparansi, keterlibatan pemangku kepentingan, dan pengawasan manusia. Ini digunakan oleh banyak organisasi sektor swasta.

• Pedoman Tata Kelola AI: Diperbarui pada tahun 2023, pedoman Jepang menyerukan penilaian risiko, penjelasan, dan audit pihak ketiga independen, menekankan akuntabilitas di seluruh siklus hidup AI.

• Prinsip AI: Diadopsi oleh lebih dari 40 negara anggota Organisasi untuk Kerjasama Ekonomi dan Pembangunan (OECD) sejak 2019, prinsip-prinsip yang tidak mengikat ini mendorong penegakan keadilan, transparansi, dan keamanan yang kuat. Prinsip-prinsip ini berfungsi sebagai titik referensi global untuk peraturan nasional yang muncul.

Beberapa kerangka kerja nasional juga muncul dari negara-negara termasuk Brasil, Uni Emirat Arab, dan Korea Selatan. Inisiatif-inisiatif ini memajukan rancangan undang-undang tata kelola AI dan menerbitkan pedoman terperinci yang menekankan penggunaan etis , perlindungan privasi, dan akuntabilitas pemangku kepentingan.

Peraturan di tingkat industri menambah lapisan akuntabilitas lainnya. Di AS, organisasi perawatan kesehatan harus mematuhi Undang-Undang Portabilitas dan Akuntabilitas Asuransi Kesehatan (HIPAA), termasuk Peraturan Privasi dan Keamanannya, yang memerlukan perlindungan ketat untuk setiap data pasien yang digunakan dalam sistem AI.

Lembaga keuangan mengikuti standar manajemen model-risiko seperti panduan SR 11-7 Federal Reserve dan persyaratan validasi model Office of the Comptroller of the Currency, yang keduanya mengamanatkan pengujian independen dan pemantauan berkelanjutan model AI.

Kerangka kerja menerjemahkan persyaratan peraturan ke dalam standar audit praktis. Organisasi sering memadukan elemen dari beberapa kerangka kerja untuk menciptakan pendekatan audit yang disesuaikan dengan industri dan lingkungan peraturan mereka.

Kerangka kerja umum meliputi:

• COBIT: Kerangka kerja Control Objectives for Information and Related Technologies (COBIT) menyediakan pendekatan berorientasi kontrol yang mengintegrasikan audit AI ke dalam tata kelola TI perusahaan dan program keamanan informasi. Teknologi ini membantu memastikan pengawasan yang konsisten di seluruh departemen.

• COSO ERM: Komite Organisasi Sponsor dari Kerangka Kerja Manajemen Risiko Perusahaan Treadway Commission (COSO ERM) membantu organisasi menanamkan risiko AI dalam strategi manajemen risiko yang lebih luas dan pengawasan tingkat dewan—menghubungkan teknologi yang muncul dengan tujuan perusahaan.

• Kerangka Kerja Akuntabilitas AI GAO: Kerangka Kerja Akuntabilitas AI Kantor Akuntabilitas Pemerintah AS (GAO) menawarkan panduan untuk mengevaluasi tata kelola, kualitas data, dan kinerja, sehingga berguna untuk audit sektor publik dan swasta.

• Kerangka Kerja Audit AI IIA: Kerangka Kerja Audit Kecerdasan Buatan Institute of Internal Auditors (IIA) menyesuaikan standar audit tradisional dengan karakteristik unik sistem AI, menekankan standar etika dan transparansi dalam pengambilan keputusan.

• Kerangka Kerja Tata Kelola AI Model PDPC: Kerangka Kerja Tata Kelola Kecerdasan Buatan Model Komisi Perlindungan Data Pribadi Singapura (PDPC) memberikan panduan terperinci tentang keterlibatan pemangku kepentingan dan penanganan data yang bertanggung jawab bagi organisasi yang beroperasi di berbagai yurisdiksi.

Audit AI yang efektif menggabungkan praktik terbaik dengan peta jalan langkah demi langkah yang disiplin. Meskipun ada banyak sekali strategi untuk mengaudit AI, satu pendekatan dapat mengikuti langkah-langkah ini: 

Buat struktur tata kelola yang mendefinisikan peran untuk tim audit, auditor internal, ilmuwan data, dan pemangku kepentingan bisnis. Libatkan fungsi audit internal segera setelah proyek AI diusulkan, sehingga penilaian risiko dan langkah-langkah tata kelola data dibangun sejak awal.

Katalog setiap model AI yang digunakan atau sedang dikembangkan, termasuk model AI generatif, chatbot, dan alat otomatisasi. Dokumentasikan sumber data pelatihan dan metrik kualitas data untuk menciptakan fondasi untuk penilaian risiko dan pemantauan masa depan.

Melakukan penilaian risiko formal yang mempertimbangkan potensi bahaya seperti bias, pelanggaran data, atau penyalahgunaan data pribadi. Validasi metode pengumpulan data, verifikasi perlindungan privasi, dan pastikan kumpulan data memenuhi standar peraturan untuk metrik seperti retensi dan akurasi.

Pilih kerangka kerja audit yang selaras dengan industri dan lingkungan peraturan Anda. Misalnya, beberapa organisasi memadukan fokus kontrol COBIT dengan pandangan risiko perusahaan COSO, kemudian menambahkan elemen GAO atau IIA untuk akuntabilitas dan PDPC untuk transparansi pemangku kepentingan. Gunakan alat audit yang mendukung pengujian keterjelasan, audit algoritmik, dan metrik real-time.

Kembangkan templat untuk pengumpulan bukti, kontrol akses, dan pelaporan. Tentukan metrik untuk kinerja model dan strategi mitigasi. Pastikan alur kerja audit mencakup pos pemeriksaan untuk penandatanganan audit internal dan ulasan pemangku kepentingan.

Melakukan audit, mendokumentasikan temuan dan berbagi hasil dengan eksekutif dan regulator sesuai kebutuhan. Membangun pemantauan berkelanjutan untuk melacak kualitas data dan risiko operasional. Metrik dan dasbor dapat memberi tim audit visibilitas real-time ke dalam kerentanan dan memungkinkan mitigasi yang cepat.

Disiplin audit berkembang seiring dengan teknologi AI. Ke depannya, organisasi dapat mengharapkan perkembangan berikut:

Terlepas dari bagaimana masa depan berlangsung, audit bukan lagi latihan kepatuhan satu kali. Ini menjadi proses cerdas yang berkelanjutan yang dapat membantu perusahaan menerapkan teknologi AI dengan aman dan percaya diri.