Beranda Think Topik Transparansi AI Apa itu transparansi AI?
Jelajahi solusi transparansi AI IBM Mendaftar untuk buletin Think
Ilustrasi dengan kolase piktogram awan, diagram lingkaran, piktogram grafik

Diterbitkan: 6 September 2024
Kontributor: Alexandra Jonker, Alice Gomstyn, Amanda McGrath

Apa itu transparansi AI?

Transparansi AI membantu orang mengakses informasi untuk lebih memahami bagaimana sistem kecerdasan buatan (AI) dibuat dan bagaimana AI membuat keputusan.

Para peneliti terkadang menggambarkan kecerdasan buatan sebagai "kotak hitam", karena masih sulit untuk menjelaskan, mengelola, dan mengatur hasil AI karena kompleksitas teknologi yang makin meningkat. Transparansi AI membantu membuka kotak hitam ini untuk lebih memahami hasil AI dan bagaimana model membuat keputusan.

Makin banyak industri berisiko tinggi (termasuk keuangan, perawatan kesehatan, sumber daya manusia (SDM), dan penegakan hukum) mengandalkan model AI untuk pengambilan keputusan. Meningkatkan pemahaman orang tentang bagaimana model-model ini dilatih dan menentukan hasil akan membangun kepercayaan dalam keputusan AI dan organisasi yang menggunakannya.

Pembuat AI dapat mencapai AI yang transparan dan dapat dipercaya melalui pengungkapan. Mereka dapat mendokumentasikan dan berbagi logika dan penalaran algoritma AI yang mendasarinya, input data yang digunakan untuk melatih model, metode yang digunakan untuk evaluasi dan validasi model, dan banyak lagi. Hal ini memungkinkan para pemangku kepentingan untuk menilai akurasi prediksi model terhadap kewajaran, penyimpangan, dan bias.

Tingkat transparansi yang tinggi sangat penting untuk AI yang bertanggung jawab. AI yang bertanggung jawab adalah seperangkat prinsip yang membantu memandu desain, pengembangan, penerapan, dan penggunaan AI. AI yang bertanggung jawab mempertimbangkan dampak sosial yang lebih luas dari sistem AI dan langkah-langkah yang diperlukan untuk menyelaraskan teknologi ini dengan nilai-nilai pemangku kepentingan, standar hukum, dan pertimbangan etika.

Tata kelola AI untuk perusahaan
Mengapa transparansi AI penting?

Aplikasi AI seperti AI generatif chatbot, agen virtual , dan mesin rekomendasi kini digunakan oleh puluhan juta orang di seluruh dunia setiap hari. Transparansi mengenai cara kerja alat-alat AI ini kemungkinan tidak menjadi perhatian untuk tingkat pengambilan keputusan berisiko rendah ini: jika modelnya terbukti tidak akurat atau bias, pengguna mungkin hanya akan kehilangan waktu atau pendapatan.

Namun, lebih banyak sektor yang mengadopsi aplikasi AI untuk memberikan informasi dalam pengambilan keputusan berisiko tinggi. Misalnya, AI sekarang membantu bisnis dan pengguna membuat pilihan investasi, diagnosis medis, keputusan perekrutan, hukuman pidana, dan banyak lagi. Dalam kasus ini, konsekuensi potensial dari output AI yang bias atau tidak akurat jauh lebih berbahaya. Orang dapat kehilangan tabungan seumur hidup, peluang karier, atau bertahun-tahun hidup mereka.

Agar para pemangku kepentingan percaya bahwa AI membuat keputusan yang efektif dan adil atas nama mereka, mereka membutuhkan visibilitas tentang bagaimana model beroperasi, logika algoritma, dan bagaimana model tersebut dievaluasi untuk keakuratan dan keadilan. Mereka juga perlu tahu lebih banyak tentang data yang digunakan untuk melatih dan menyempurnakan model, termasuk sumber data dan cara data diproses, diberi bobot, dan diberi label.

Selain membangun kepercayaan, transparansi AI mendorong berbagi pengetahuan dan kolaborasi di seluruh ekosistem AI, yang berkontribusi pada kemajuan dalam pengembangan AI. Dengan bersikap transparan secara default, organisasi dapat lebih fokus menggunakan teknologi AI untuk mencapai tujuan bisnis—dan tidak perlu khawatir tentang keandalan AI.

Peraturan dan kerangka kerja transparansi AI

Jaringan persyaratan peraturan seputar penggunaan AI terus berkembang. Proses model yang transparan sangat penting untuk mematuhi peraturan ini dan untuk mengatasi permintaan dari validator model, auditor, dan regulator. Undang-Undang AI UE dianggap sebagai kerangka kerja peraturan komprehensif pertama di dunia untuk AI.

Undang-Undang AI UE


Undang-Undang Kecerdasan Buatan Uni Eropa (UE) mengambil pendekatan berbasis risiko terhadap regulasi, yang menerapkan aturan yang berbeda pada AI sesuai dengan risiko yang ditimbulkannya. Undang-undang ini melarang beberapa penggunaan AI secara langsung dan menerapkan tata kelola yang ketat, manajemen risiko, dan persyaratan transparansi untuk orang lain. Ada kewajiban transparansi tambahan untuk jenis AI tertentu. Sebagai contoh:

  • Sistem AI yang dimaksudkan untuk berinteraksi langsung dengan individu harus dirancang untuk memberi tahu pengguna bahwa mereka berinteraksi dengan sistem AI, kecuali jika hal ini sudah jelas bagi individu tersebut dari konteksnya. Chatbot, misalnya, harus dirancang untuk memberi tahu pengguna bahwa itu adalah chatbot.

  • Sistem AI yang menghasilkan teks, gambar, atau konten tertentu lainnya harus menggunakan format yang dapat dibaca mesin untuk menandai output sebagai hasil atau manipulasi AI. Ini termasuk, misalnya, AI yang menghasilkan deepfake—gambar atau video yang diubah untuk menunjukkan bahwa seseorang melakukan atau mengatakan sesuatu yang tidak mereka lakukan atau katakan.

Penerapan Peraturan Perlindungan Data Umum (GDPR ) Uni Eropa mendorong negara-negara lain mengadopsi peraturan privasi data pribadi. Dengan cara yang sama, para pakar memperkirakan Undang-Undang AI UE akan memacu pengembangan standar tata kelola dan etika AI di seluruh dunia.

Kerangka kerja panduan untuk transparansi AI



Sebagian besar negara dan wilayah belum memberlakukan undang-undang atau peraturan yang komprehensif mengenai penggunaan AI; namun, ada beberapa kerangka kerja yang luas yang tersedia. Meskipun tidak selalu dapat ditegakkan, kerangka kerja tersebut ada untuk memandu regulasi masa depan dan pengembangan serta penggunaan AI yang bertanggung jawab. Contoh-contoh penting meliputi:

  • Perintah Eksekutif Gedung Putih tentang Pengembangan dan Penggunaan Kecerdasan Buatan yang Aman, Terlindungi, dan Dapat Dipercaya: Dirilis pada 30 Oktober 2023, perintah tersebut membahas transparansi di beberapa bagian. Bagian 8 secara khusus membahas perlindungan konsumen, pasien, penumpang, dan pelajar. Hal ini mendorong badan-badan regulasi independen untuk mempertimbangkan penggunaan kewenangan mereka untuk melindungi konsumen Amerika dari risiko AI, termasuk “menekankan atau mengklarifikasi persyaratan dan harapan yang terkait dengan transparansi model AI dan kemampuan entitas yang diatur untuk menjelaskan penggunaan model AI mereka.”1

  • Cetak Biru untuk Rancangan Undang-Undang AI: Cetak Biru ini merupakan seperangkat lima prinsip dan praktik terkait untuk membantu memandu desain, penggunaan, dan penerapan sistem AI. Prinsip keempat, "Pemberitahuan dan Penjelasan," secara langsung membahas transparansi: "Para perancang, pengembang, dan pengguna sistem otomatis harus menyediakan dokumentasi dalam bahasa sederhana yang dapat diakses secara umum, termasuk deskripsi yang jelas mengenai fungsi sistem secara keseluruhan dan peran yang dimainkan oleh sistem otomatis, pemberitahuan bahwa sistem tersebut sedang digunakan, individu atau organisasi yang bertanggung jawab atas sistem tersebut, dan penjelasan mengenai hasil yang jelas, tepat waktu, dan dapat diakses."2

  • Kerangka Kerja Kebijakan Komprehensif Proses AI Hiroshima: Diluncurkan pada tahun 2023 setelah pengembangan pada KTT G7 Hiroshima, Proses AI Hiroshima adalah seperangkat prinsip panduan untuk pengembangan sistem AI canggih di seluruh dunia yang mempromosikan AI yang aman, terlindungi, dan dapat dipercaya. Kerangka kerja ini meminta organisasi untuk mematuhi 11 prinsip, beberapa di antaranya mendorong "menerbitkan laporan transparansi" dan "berbagi informasi secara bertanggung jawab. "3
Keterjelasan AI vs. interpretabilitas AI vs. transparansi AI

Transparansi AI terkait erat dengan konsep keterjelasan AI dan interpretabilitas AI. Konsep-konsep ini memberikan insight yang membantu mengatasi masalah "kotak hitam" yang sudah berlangsung lama—isu praktis dan etis bahwa sistem AI sangat canggih sehingga tidak mungkin ditafsirkan oleh manusia. Namun, keduanya memiliki definisi dan contoh penggunaan yang berbeda:

  • Keterjelasan AI: Bagaimana model sampai pada hasil itu ?

  • Interpretabilitas AI: Bagaimana model membuat keputusan?

  • Transparansi AI: Bagaimana model dibuat, data apa yang melatihnya dan bagaimana model membuat keputusan?

Keterjelasan AI: Bagaimana model sampai pada hasil tersebut?


Keterjelasan AI, atau AI yang dapat dijelaskan (explainable AI, XAI), adalah seperangkat proses dan metode yang memungkinkan pengguna manusia memahami dan mempercayai hasil dan output yang dibuat oleh model machine learning. Keterjelasan model melihat bagaimana sistem AI mencapai hasil tertentu dan membantu mengkarakterisasi transparansi model.

Pelajari selengkapnya tentang AI yang Dapat Dijelaskan

Interpretabilitas AI: Bagaimana model membuat keputusan?


Interpretabilitas AI mengacu pada proses AI secara keseluruhan yang dapat dimengerti oleh manusia. Interpretabilitas AI memberikan informasi yang berarti tentang logika yang mendasari, signifikansi, dan konsekuensi yang diantisipasi dari sistem AI. Ini adalah tingkat keberhasilan output AI yang dapat diprediksi oleh manusia, sementara keterjelasan berada lebih jauh lagi dan melihat bagaimana model AI sampai pada hasil tersebut.

Pelajari lebih lanjut tentang interpretabilitas AI

Transparansi AI: Bagaimana model dibuat, data apa yang melatihnya dan bagaimana model membuat keputusan?


Transparansi AI lebih dari sekadar menjelaskan proses pengambilan keputusan AI. Hal ini mencakup faktor-faktor yang terkait dengan pengembangan sistem AI dan penerapannya, seperti data pelatihan AI dan siapa yang memiliki akses ke data tersebut.

Cara memberikan transparansi AI

Meskipun cara memberikan transparansi AI dapat berbeda berdasarkan contoh penggunaan, organisasi, dan industri, ada beberapa strategi yang perlu diingat oleh bisnis saat mereka membangun sistem AI. Pada tingkat yang lebih tinggi, strategi ini termasuk memiliki prinsip-prinsip yang jelas untuk kepercayaan dan transparansi, dengan mempraktikkan prinsip-prinsip tersebut dan menanamkannya ke dalam seluruh siklus hidup AI.

Strategi yang lebih spesifik untuk transparansi AI adalah pengungkapan menyeluruh di setiap tahap siklus hidup AI. Untuk memberikan pengungkapan, organisasi perlu menentukan informasi apa yang akan dibagikan dan cara membagikannya.

Informasi yang dibutuhkan dalam dokumentasi transparansi AI



Contoh kasus penggunaan, industri, audiens, dan faktor lainnya akan membantu menentukan informasi apa yang perlu diungkapkan. Sebagai contoh, penggunaan AI yang berisiko tinggi (seperti evaluasi hipotek) kemungkinan akan membutuhkan pengungkapan yang lebih komprehensif daripada aplikasi dengan risiko rendah (seperti klasifikasi audio untuk asisten virtual). 

Pengungkapan mungkin mencakup semua atau beberapa informasi berikut tentang model:

  • Nama model
  • Tujuan
  • Tingkat risiko
  • Kebijakan model
  • Pembuatan model
  • Domain yang dituju
  • Data pelatihan
  • Akurasi pelatihan dan pengujian
  • Bias
  • Metrik ketahanan terhadap pihak jahat
  • Metrik keadilan
  • Metrik keterjelasan
  • Informasi kontak

Setiap peran dalam siklus hidup AI dapat menyumbangkan informasi, mendistribusikan akuntabilitas di seluruh ekosistem, bukan hanya pada satu individu. Ada platform perangkat lunak dan alat yang tersedia yang dapat membantu mengotomatiskan pengumpulan informasi dan aktivitas tata kelola AI lainnya.

Cara berbagi informasi transparansi AI



Organisasi dapat menyajikan informasi untuk transparansi AI dalam berbagai format, seperti dokumen cetak atau video. Format tergantung pada audiens dan contoh penggunaan. Apakah informasi ditujukan untuk konsumen, dan karena itu perlu mudah dipahami? Atau apakah itu ditujukan untuk ilmuwan data atau regulator, dan karena itu membutuhkan detail teknis tingkat tinggi?

Format mungkin termasuk: 

  • Dokumen aktif dengan model yang mengikuti pernyataan kesesuaian pemasok (SDoC), yang merupakan dokumen yang digunakan di banyak industri untuk menunjukkan bahwa suatu produk sesuai dengan standar atau peraturan teknis tertentu

  • Halaman kebijakan resmi di situs web perusahaan yang memperinci cara organisasi menerapkan inisiatif AI yang transparan ke dalam tindakan

  • Sumber daya pendidikan seperti dokumen dan video untuk membantu pengguna memahami bagaimana AI digunakan dalam produk dan layanan, dan bagaimana hal itu memengaruhi pengalaman pelanggan

  • Diskusi dengan publik mengenai sudut pandang etika AI organisasi melalui kegiatan hubungan masyarakat, acara, media sosial, dan komunikasi resmi lainnya.  

  • Makalah penelitian, kumpulan data, dan komunikasi berbasis data lainnya untuk menawarkan insight tentang penggunaan, pengembangan, dan manfaat AI dalam industri atau contoh penggunaan organisasi.
Tantangan transparansi AI

Praktik AI yang transparan memiliki banyak manfaat, tetapi juga menimbulkan masalah keamanan dan privasi. Misalnya, makin banyak informasi yang diberikan tentang cara kerja internal suatu proyek AI, makin mudah bagi peretas untuk menemukan dan mengeksploitasi kerentanan. OpenAI membahas tantangan ini dalam Laporan Teknis GPT-4, dengan menyatakan:

"Mengingat lanskap persaingan dan implikasi keselamatan dari model skala besar seperti GPT-4, laporan ini tidak memuat detail lebih lanjut tentang arsitektur (termasuk ukuran model), perangkat keras, komputasi pelatihan, konstruksi kumpulan data, metode pelatihan, atau yang serupa. "4

Kutipan tersebut juga mengungkapkan tantangan transparansi AI lainnya: keseimbangan antara transparansi dan melindungi kekayaan intelektual. Rintangan lain mungkin termasuk menjelaskan dengan gamblang program yang rumit dan kompleks serta algoritma machine learning (seperti neural networks) kepada mereka yang bukan ahli dan kurangnya standar transparansi secara global untuk AI.

Solusi terkait
IBM watsonx.governance™

Arahkan, kelola, dan pantau aktivitas kecerdasan buatan (AI) organisasi Anda.

Jelajahi IBM watsonx.governance

Layanan konsultasi kecerdasan buatan (AI)

Tim global kami yang beragam dan terdiri dari lebih dari 20.000 pakar AI dapat membantu Anda dengan cepat dan percaya diri merancang dan menskalakan solusi dan otomatisasi AI canggih di seluruh bisnis Anda.

Jelajahi layanan konsultasi AI
Sumber daya AI yang dapat dipercaya

IBM Research sedang mengembangkan alat untuk membuat AI lebih mudah dijelaskan, adil, tangguh, privat, dan transparan.

Program kepatuhan IBM Cloud

Mengelola kepatuhan terhadap peraturan dan persyaratan tata kelola internal bersama layanan IBM Cloud.

Pengantar Lembar Fakta AI

Lembar fakta adalah kumpulan informasi yang relevan (fakta) tentang pembuatan dan penerapan model atau layanan AI.

Apa itu Undang-Undang AI UE?

Undang-Undang AI Uni Eropa adalah undang-undang yang mengatur pengembangan dan/atau penggunaan kecerdasan buatan di UE.

Bias algoritma

Bias algoritmik terjadi ketika kesalahan sistematis dalam algoritma machine learning memberikan hasil yang tidak adil atau diskriminatif.

Apa itu AI yang bertanggung jawab?

AI yang bertanggung jawab adalah seperangkat prinsip yang membantu memandu desain, pengembangan, penerapan, dan penggunaan AI.

Ambil langkah selanjutnya

Mempercepat alur kerja AI yang bertanggung jawab, transparan, dan dapat dijelaskan di seluruh siklus hidup untuk model machine learning dan generatif. Mengarahkan, mengelola, dan memantau aktivitas AI organisasi Anda untuk mengelola peraturan AI yang berkembang dengan lebih baik serta mendeteksi dan memitigasi risiko.

Jelajahi watsonx.governance Pesan demo langsung
Catatan kaki

Semua tautan berada di luar ibm.com

1. Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence,” The White House, 30 Oktober 2023.

2. Notice and Explanation,” The White House.

3. Hiroshima Process International Guiding Principles for Organizations Developing Advanced AI System,” Ministry of Foreign Affairs of Japan, 2023.

4. GPT-4 Technical Report,” arXiv, 15 Maret 2023.