Apa itu AI kotak hitam?

Pertimbangkan model kotak hitam yang mengevaluasi resume pelamar kerja. Pengguna dapat melihat input—resume yang mereka masukkan ke dalam model AI. Dan pengguna dapat melihat output—penilaian yang diberikan oleh model untuk resume tersebut. Tetapi pengguna tidak tahu persis bagaimana model ini sampai pada kesimpulannya—faktor-faktor yang dipertimbangkan, bagaimana model ini menimbang faktor-faktor tersebut, dan sebagainya. 

Banyak model machine learning tercanggih yang tersedia saat ini, termasuk model bahasa besar seperti ChatGPT dari OpenAI dan Llama dari Meta, adalah AI kotak hitam. Model kecerdasan buatan ini dilatih menggunakan kumpulan data yang sangat besar melalui proses pembelajaran mendalam yang kompleks, dan bahkan penciptanya sendiri tidak sepenuhnya memahami cara kerjanya. 

Kotak hitam yang kompleks ini dapat memberikan hasil yang mengesankan, tetapi kurangnya transparansi terkadang membuat outputnya sulit untuk dipercaya. Pengguna tidak dapat dengan mudah memvalidasi output model jika mereka tidak tahu apa cara kerjanya yang sesungguhnya. Selain itu, ketidakjelasan model kotak hitam dapat menyembunyikan kerentanan keamanan siber, bias, pelanggaran privasi, dan masalah lainnya. 

Untuk mengatasi tantangan ini, peneliti AI bekerja untuk mengembangkan alat AI yang dapat dijelaskan yang menyeimbangkan kinerja model canggih dengan kebutuhan transparansi dalam hasil AI. 

Model AI kotak hitam muncul karena salah satu dari dua alasan: Entah pengembang mereka membuatnya menjadi kotak hitam dengan sengaja, atau model tersebut menjadi kotak hitam sebagai efek samping dari pelatihan. 

Beberapa pengembang dan pemrogram AI mengaburkan cara kerja alat AI sebelum merilisnya ke publik. Taktik ini sering dimaksudkan untuk melindungi kekayaan intelektual. Pembuat sistem tahu persis cara kerjanya, tetapi mereka merahasiakan kode sumber dan proses pengambilan keputusan. Banyak algoritma AI tradisional berbasis aturan adalah kotak hitam karena alasan ini.

Namun, banyak teknologi AI paling canggih, termasuk alat AI generatif, merupakan “kotak hitam organik.” Pencipta alat-alat ini tidak sengaja mengaburkan operasi model tersebut. Sebaliknya, sistem pembelajaran mendalam yang mendukung model-model ini begitu kompleks sehingga bahkan penciptanya sendiri tidak mengerti persis apa yang terjadi di dalamnya.

Algoritma pembelajaran mendalam adalah jenis algoritma machine learning yang menggunakan jaringan neural berlapis-lapis. Model machine learning tradisional mungkin menggunakan jaringan dengan satu atau dua lapisan, sedangkan model pembelajaran mendalam dapat memiliki ratusan atau bahkan ribuan lapisan. Setiap lapisan berisi beberapa neuron, yang merupakan kumpulan kode yang dirancang untuk meniru fungsi otak manusia.

Jaringan neural dapat mengkonsumsi dan menganalisis kumpulan big data mentah dan tidak terstruktur dengan sedikit intervensi manusia. Jaringan tersebut dapat mengambil data dalam jumlah yang sangat besar, mengidentifikasi pola, belajar dari pola-pola ini, dan menggunakan apa yang dipelajarinya untuk menghasilkan output baru, seperti gambar, video, dan teks. 

Kapasitas untuk pembelajaran berskala besar tanpa pengawasan ini memungkinkan sistem AI untuk melakukan hal-hal seperti pemrosesan bahasa tingkat lanjut, pembuatan konten orisinal, dan kemampuan lain yang tampaknya mendekati kecerdasan manusia.

Namun, jaringan neural yang dalam ini pada dasarnya tidak jelas. Pengguna—termasuk pengembang AI—dapat melihat apa yang terjadi pada lapisan input dan output, juga disebut “lapisan yang terlihat.” Mereka dapat melihat data yang masuk dan prediksi, klasifikasi, atau konten lain yang dihasilkan. Tetapi mereka tidak tahu apa yang terjadi di semua lapisan jaringan di dalamnya, yang disebut “lapisan tersembunyi.”

Pengembang AI secara luas mengetahui bagaimana data berpindah melalui setiap lapisan jaringan, dan mereka memiliki pemahaman umum tentang apa yang dilakukan model dengan data yang diserap. Tetapi mereka tidak mengetahui setiap detailnya. Misalnya, mereka mungkin tidak tahu apa artinya ketika kombinasi neuron tertentu diaktifkan, atau bagaimana persisnya model menemukan dan menggabungkan penyematan vektor untuk merespons prompt. 

Bahkan model AI sumber terbuka yang membagikan kode dasarnya pada akhirnya adalah kotak hitam, karena pengguna masih tidak dapat menafsirkan apa yang terjadi dalam setiap lapisan model saat aktif.

Model AI dan ML paling canggih yang tersedia saat ini sangat kuat, tetapi kekuatan ini harus dibayar dengan kemampuan untuk diinterpretasikan yang lebih rendah. 

Model AI generatif mengandalkan jaringan neural untuk merespons perintah bahasa alami, memecahkan masalah baru, dan membuat konten asli, tetapi sulit untuk menafsirkan apa yang terjadi di dalam jaringan neural tersebut. Model AI berbasis aturan yang lebih sederhana lebih mudah dijelaskan, tetapi umumnya tidak sekuat atau sefleksibel model AI generatif.

Jadi organisasi tidak dapat memecahkan masalah kotak hitam hanya dengan menggunakan alat AI tradisional yang lebih dapat dijelaskan. Model AI tradisional dapat melakukan banyak fungsi, tetapi ada beberapa hal yang hanya dapat dilakukan oleh model AI tingkat lanjut.

Meskipun mungkin ada alasan praktis untuk menggunakan model machine learning kotak hitam, kurangnya transparansi dapat menjadi hambatan untuk mendapatkan manfaat penuh dari model-model canggih ini.  

Secara khusus, AI kotak hitam menimbulkan tantangan seperti:

Pengguna tidak tahu bagaimana model kotak hitam membuat keputusan yang dibuatnya—faktor-faktor yang dipertimbangkan dan korelasi yang ditariknya. Meskipun output model tampak akurat, validasi bisa jadi sulit dilakukan tanpa pemahaman yang jelas tentang proses yang menghasilkan output tersebut. 

Tanpa sepengetahuan penggunanya, model kotak hitam dapat mencapai kesimpulan yang tepat dengan alasan yang salah. Fenomena ini kadang-kadang disebut "Efek Clever Hans," yang diambil dari nama seekor kuda yang konon dapat menghitung dan melakukan aritmetika sederhana dengan mengentak-entakkan kakinya. Sebenarnya, Hans menangkap isyarat halus dari bahasa tubuh pemiliknya untuk mengetahui kapan saatnya berhenti menginjak.

Efek Clever Hans dapat memiliki konsekuensi serius ketika model diterapkan pada bidang-bidang seperti perawatan kesehatan. Misalnya, model AI yang dilatih untuk mendiagnosis COVID-19 berdasarkan pemindaian paru dengan sinar-X telah diketahui mencapai tingkat akurasi tinggi dengan data pelatihan, tetapi kinerjanya kurang memadai di dunia nyata. 

Kesenjangan kinerja ini sering muncul karena model belajar mengidentifikasi COVID berdasarkan faktor-faktor yang tidak relevan. Satu model eksperimental "mendiagnosis" COVID berdasarkan keberadaan anotasi pada sinar-X, bukan pada sinar-X itu sendiri. Hal ini terjadi karena rontgen positif COVID lebih mungkin untuk dianotasi dalam data pelatihan model, karena dokter menyoroti fitur-fitur yang relevan untuk dokter lain.¹

Jika model kotak hitam membuat keputusan yang salah atau secara konsisten menghasilkan output yang tidak akurat atau berbahaya, mungkin sulit untuk menyesuaikan model untuk memperbaiki perilaku ini. Tanpa mengetahui dengan tepat apa yang terjadi di dalam model, pengguna tidak dapat menentukan dengan tepat di mana kesalahan itu terjadi.

Masalah ini menimbulkan tantangan signifikan di bidang kendaraan otonom, di mana pengembang melatih sistem AI yang canggih untuk membuat keputusan real-time saat mengemudi. Jika kendaraan otonom membuat keputusan yang salah, konsekuensinya bisa berakibat fatal. Tetapi karena model di balik kendaraan ini sangat kompleks, memahami mengapa model tersebut membuat keputusan yang buruk dan bagaimana cara memperbaikinya, bisa jadi sulit. 

Untuk mengatasi masalah ini, banyak pengembang kendaraan otonom melengkapi AI mereka dengan sistem yang lebih mudah dijelaskan, seperti sensor radar dan lidar. Meskipun sistem ini tidak menjelaskan AI itu sendiri, sistem tersebut memberi pengembang insight tentang lingkungan dan situasi yang tampaknya menyebabkan model AI membuat keputusan yang buruk.²

Karena organisasi tidak dapat melihat semua yang terjadi dalam model kotak hitam, mereka mungkin melewatkan kerentanan yang bersembunyi di dalamnya. Model AI generatif juga rentan terhadap serangan injeksi prompt dan pencemaran data yang cepat, yang secara diam-diam dapat mengubah perilaku model tanpa diketahui pengguna. Jika pengguna tidak dapat melihat ke dalam proses model, mereka tidak akan tahu kapan proses tersebut telah diubah.

Model kotak hitam mungkin rentan terhadap bias. Alat AI apa pun dapat mereproduksi bias manusia jika bias tersebut ada dalam data atau desain pelatihannya. Dengan model kotak hitam, sangat sulit untuk menentukan keberadaan bias atau penyebabnya.

Bias dapat menyebabkan hasil yang kurang optimal, sepenuhnya berbahaya, dan ilegal. Misalnya, model AI yang dilatih untuk menyaring pelamar kerja dapat belajar menyisihkan pelamar wanita berbakat jika data pelatihan cenderung berpihak pada laki-laki. 

Beberapa sistem peradilan pidana menggunakan model AI canggih untuk menilai risiko seseorang melakukan pelanggaran kembali. Model-model ini sering kali merupakan kotak hitam, setidaknya bagi publik, yang mungkin tidak mengetahui secara pasti faktor apa saja yang dipertimbangkan oleh model tersebut. Jika algoritma tidak transparan, akan sulit untuk mempercayai prediksinya atau mengajukan banding jika prediksinya salah.³

Peraturan tertentu, seperti Undang-Undang AI Uni Eropa dan California Consumer Privacy Act (CCPA), menetapkan aturan tentang bagaimana organisasi dapat menggunakan data pribadi sensitif dalam alat pengambilan keputusan yang didukung oleh AI. Dengan model kotak hitam, mungkin sulit bagi organisasi untuk mengetahui apakah organisasi tersebut patuh atau untuk membuktikan kepatuhan jika terjadi audit.

AI kotak putih, juga disebut AI yang dapat dijelaskan (XAI) atau AI kotak kaca, adalah kebalikan dari AI kotak hitam. Ini adalah sistem AI dengan cara kerja yang transparan. Pengguna memahami bagaimana AI mengambil data, memprosesnya, dan mencapai kesimpulan. 

Model AI kotak putih memudahkan untuk mempercayai dan memvalidasi hasil, serta menyesuaikan model untuk memperbaiki kesalahan dan menyesuaikan kinerja. Tetapi tidak mudah untuk mengubah setiap AI menjadi kotak putih. 

Model AI tradisional sering dapat dibuat transparan dengan membagikan kode sumber. Tetapi model machine learning yang canggih mengembangkan parameter mereka sendiri melalui algoritma pembelajaran mendalam. Hanya memiliki akses ke arsitektur model-model ini tidak selalu sepenuhnya menjelaskan apa yang dilakukan model tersebut.

Konon, ada upaya yang sedang dilakukan untuk membuat model AI canggih lebih dapat dijelaskan. Misalnya, para peneliti di Anthropic menerapkan autoencoder—sejenis jaringan neural—ke LLM Claude 3 Sonnet perusahaan untuk memahami kombinasi neuron yang sesuai dengan konsep tertentu. Sejauh ini, para peneliti telah mengidentifikasi kombinasi yang menandakan hal-hal seperti Jembatan Golden Gate dan bidang ilmu saraf.⁴ 

Model o1 terbaru dari OpenAI berbagi informasi tentang langkah-langkah yang diambil untuk mencapai output, yang dapat membantu menggambarkan bagaimana OpenAI menghasilkan jawabannya. Namun, ini bukan pandangan langsung ke dalam model, tetapi penjelasan yang dihasilkan model tentang aktivitasnya sendiri. Sebagian besar operasi model—termasuk rantai pikiran mentah—tetap tersembunyi.⁵

Peneliti lain telah mengembangkan teknik untuk membantu menjelaskan bagaimana model menghasilkan kesimpulan spesifik. Misalnya, penjelasan agnostik-model lokal yang dapat ditafsirkan (LIME) adalah proses yang menggunakan model machine learning terpisah untuk menganalisis hubungan antara input dan output dari kotak hitam, dengan tujuan mengidentifikasi fitur yang mungkin mempengaruhi output model. 

Teknik yang berfokus pada kesimpulan ini sering dirancang untuk bekerja pada model dengan input dan output yang terstruktur dengan jelas. Misalnya, LIME dapat membantu menjelaskan prediksi dan klasifikasi, tetapi kurang menjelaskan sistem AI terbuka dengan jaringan neural yang dalam.

Organisasi dapat memilih model transparan jika memungkinkan, tetapi beberapa alur kerja memerlukan alat AI kotak hitam yang canggih. Konon, ada cara untuk membuat model kotak hitam lebih dapat dipercaya dan mengurangi beberapa risikonya.