Apa itu bias algoritmik?

Sistemkecerdasan buatan (AI) menggunakan algoritma untuk menemukan pola dan insight dalam data, atau untuk memprediksi nilai output dari serangkaian variabel input tertentu. Algoritma yang bias dapat memengaruhi insight dan output ini dengan cara yang menyebabkan keputusan atau tindakan berbahaya, mempromosikan atau melanggengkan diskriminasi dan ketidaksetaraan, dan mengikis kepercayaan pada AI dan institusi yang menggunakan AI. Dampak-dampak ini dapat menimbulkan risiko hukum dan keuangan bagi bisnis. Misalnya, sesuai Undang-Undang AI UE, ketidakpatuhan terhadap praktik AI yang dilarang dapat mengakibatkan denda hingga EUR 35.000.000 atau 7% dari omset tahunan di seluruh dunia, mana yang lebih tinggi.

Bias algoritmik sangat mengkhawatirkan jika ditemukan dalam sistem AI yang mendukung keputusan yang mengubah hidup di berbagai bidang seperti perawatan kesehatan, penegakan hukum, dan sumber daya manusia. Bias dapat masuk ke dalam algoritma dengan berbagai cara, seperti data input pelatihan, keputusan pemrograman yang subjektif, atau interpretasi hasil yang menyimpang atau terbatas.

Mengurangi bias algoritmik dimulai dengan menerapkan prinsip-prinsip tata kelola AI, termasuk transparansi dan keterjelasan, di seluruh siklus hidup AI.

Bias algoritmik tidak disebabkan oleh algoritma itu sendiri, tetapi oleh cara tim ilmu data mengumpulkan dan mengkodekan data pelatihan. Penyebab yang lebih spesifik meliputi:

• Bias dalam data pelatihan
• Bias dalam desain algoritma
• Bias dalam data proxy
• Bias dalam evaluasi

Data yang cacat dicirikan sebagai data yang tidak representatif, kurang informasi, bias secara historis, atau data "buruk". Ini mengarah pada algoritma yang menghasilkan hasil yang tidak adil dan memperkuat bias dalam data. Sistem AI yang menggunakan hasil yang bias sebagai data input untuk pengambilan keputusan menciptakan siklus masukan berulang yang juga dapat memperkuat bias dari waktu ke waktu. Siklus ini, di mana algoritma terus belajar dan menyebarkan pola bias yang sama, menyebabkan hasil yang makin menyimpang.

Bias juga dapat muncul selama fase pelatihan jika data salah dikategorikan atau dinilai. Terkadang, algoritma dapat "belajar" dari korelasi data daripada sebab akibat, karena algoritma tidak memiliki kemampuan untuk memahami perbedaannya. Ketika hal ini terjadi, output dari algoritma dapat menjadi bias karena model gagal mempertimbangkan faktor lain dalam data yang mungkin lebih penting.

Contoh bias korelasi yang sering dikutip adalah model hipotetis yang menentukan hubungan sebab-akibat antara peningkatan serangan hiu dan penjualan es krim yang lebih tinggi. Pada kenyataannya, kedua situasi cenderung terjadi selama musim panas dan hanya memiliki hubungan korelasi.

Desain algoritma juga dapat menyebabkan bias. Kesalahan pemrograman, seperti faktor pembobotan yang tidak adil oleh perancang AI dalam proses pengambilan keputusan, tanpa disadari dapat berpindah ke dalam sistem. Pembobotan sering kali merupakan teknik untuk menghindari bias, karena melibatkan penyesuaian pada data sehingga lebih mencerminkan populasi yang sebenarnya. Namun, langkah ini mungkin memerlukan asumsi dari desainer, yang dapat menyebabkan ketidakakuratan dan menimbulkan bias. Pengembang mungkin juga menyisipi algoritma dengan aturan subjektif berdasarkan bias sadar atau tidak sadar mereka sendiri.

Sistem AI terkadang menggunakan proxy sebagai pengganti atribut yang dilindungi, seperti ras atau jenis kelamin. Namun, proxy dapat menjadi bias secara tidak sengaja karena mungkin memiliki korelasi yang salah atau tidak disengaja dengan atribut sensitif yang seharusnya mereka gantikan. Sebagai contoh, jika sebuah algoritma menggunakan kode pos sebagai proxy untuk status ekonomi, algoritma tersebut mungkin secara tidak adil merugikan kelompok-kelompok tertentu di mana kode pos dikaitkan dengan demografi ras tertentu.

Bias dalam evaluasi terjadi ketika hasil algoritma ditafsirkan berdasarkan prasangka individu yang terlibat, bukan berdasarkan temuan yang objektif. Meskipun algoritma bersifat netral dan berbasis data, cara individu atau bisnis menerapkan output algoritma dapat menyebabkan hasil yang tidak adil, tergantung pada bagaimana mereka memahami output-nya.

Ketika bias algoritmik tidak ditangani, hal ini dapat melanggengkan diskriminasi dan ketidaksetaraan, menciptakan kerusakan hukum dan reputasi, serta mengikis kepercayaan.

Keputusan algoritmik yang bias memperkuat kesenjangan sosial yang ada yang dihadapi oleh kelompok-kelompok yang termarginalkan dan bias manusia ini menyebabkan hasil yang tidak adil dan berpotensi membahayakan dari sistem AI. Meski sebagian besar aplikasi AI yang paling umum mungkin tampak berisiko rendah (seperti mesin pencari, chatbot, dan situs media sosial) aplikasi AI lainnya dapat memengaruhi keputusan yang mengubah hidup. Penggunaan alat AI yang bias dalam bidang-bidang seperti peradilan pidana, perawatan kesehatan, dan perekrutan dapat menghasilkan hasil yang menghancurkan.

Sebagai contoh, marginalisasi orang Afrika-Amerika di masa lalu tercermin dalam data penangkapan historis dari Oakland, California, Amerika Serikat. Jika data ini digunakan untuk melatih algoritma pemolisian prediktif (PPA) saat ini, keputusan yang dibuat oleh PPA kemungkinan besar akan mencerminkan dan memperkuat bias rasial di masa lalu.

Organisasi yang menggunakan sistem AI yang bias dapat menghadapi konsekuensi hukum dan kerusakan reputasi, karena rekomendasi yang bias dapat memberikan dampak yang berbeda. Ini adalah istilah hukum yang merujuk pada situasi di mana kebijakan dan praktik yang tampaknya netral dapat secara tidak proporsional memengaruhi individu dari kelas yang dilindungi, seperti mereka yang rentan terhadap diskriminasi berdasarkan ras, agama, jenis kelamin, dan karakteristik lainnya.

Kelompok-kelompok yang dilindungi yang terkena dampak negatif dari keputusan AI yang bias dapat mengajukan tuntutan hukum, yang berpotensi menimbulkan kewajiban finansial yang signifikan, kerusakan reputasi jangka panjang, dan kecaman dari para pemangku kepentingan. Organisasi juga dapat menghadapi hukuman finansial jika ditemukan melanggar undang-undang antidiskriminasi yang berlaku.

Hasil bias dari alat AI mengikis kepercayaan pada AI dalam berbagai cara. Jika sebuah organisasi diketahui memiliki sistem AI yang bias, mereka mungkin akan kehilangan kepercayaan dari para pemangku kepentingan di dalam bisnis yang tidak lagi percaya pada proses pengambilan keputusan algoritmik. Para pemangku kepentingan ini mungkin juga tidak lagi menganggap nilai optimalisasi AI lebih besar daripada risikonya dan kehilangan kepercayaan terhadap teknologi ini secara keseluruhan.

Bias algoritmik juga dapat menghilangkan kepercayaan pelanggan. Hanya dibutuhkan satu kasus diskriminasi untuk menghancurkan reputasi merek, terutama di era berita yang menyebar cepat saat ini. Kepercayaan terhadap AI sangat penting untuk dipertahankan pada kelompok marginal seperti masyarakat kulit berwarna, yang sudah mengalami bias dan diskriminasi di dunia fisik.

Bias algoritmik dapat terjadi dalam skenario atau sektor apa pun yang menggunakan sistem AI untuk membuat keputusan. Berikut adalah beberapa contoh potensi bias algoritmik dunia nyata:

• Bias dalam sistem peradilan pidana
• Bias dalam perawatan kesehatan
• Bias dalam rekrutmen
• Bias dalam jasa keuangan
• Bias dalam sistem pengenalan wajah
• Bias dalam penetapan harga

Pengadilan Amerika Serikat menggunakan alat Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) untuk menilai risiko residivisme terdakwa. Sebuah studi oleh ProPublica mengungkapkan bahwa algoritma alat tersebut mungkin telah mengklasifikasikan terdakwa kulit putih dan hitam secara berbeda. Sebagai contoh, dalam penilaian risiko, terdakwa kulit hitam dua kali lebih mungkin untuk diklasifikasikan secara salah sebagai terdakwa dengan risiko residivisme kekerasan yang lebih tinggi. Perusahaan yang menciptakan alat ini membantah analisis ini; namun, mereka tidak mengungkapkan metode yang digunakan untuk mendapatkan skor risiko.¹

Para peneliti membangun algoritma kepolisian prediktif mereka sendiri yang dilatih pada data laporan korban dari Bogotá, Kolombia. Ketika mereka membandingkan prediksi model dengan kumpulan data kejahatan aktual, mereka menemukan kesalahan besar. Misalnya, model memperkirakan 20% lebih banyak lokasi kejahatan tinggi daripada kenyataan di distrik dengan volume laporan yang tinggi. Namun, hal ini mencerminkan bias sosial: orang kulit hitam lebih mungkin dilaporkan atas suatu tindak kriminal daripada orang kulit putih.²

Dalam perawatan kesehatan, kurangnya representasi kelompok minoritas dalam data dapat membelokkan algoritma AI prediktif. Misalnya, sistem diagnosis berbantuan komputer (CAD) telah ditemukan mengembalikan hasil akurasi yang lebih rendah untuk pasien kulit hitam daripada pasien kulit putih.

Amazon meninggalkan alat perekrutan AI setelah menemukannya secara sistematis mendiskriminasi pelamar kerja wanita. Pengembang melatih algoritma perekrutan menggunakan resume dari karyawan sebelumnya—yang sebagian besar laki-laki. Akibatnya, algoritma secara tidak adil menyukai kata kunci dan karakteristik yang ditemukan dalam resume pria.³

Bias dalam layanan keuangan dapat menimbulkan konsekuensi besar bagi mata pencaharian masyarakat, karena data historis dapat mengandung bias demografis yang memengaruhi kelayakan kredit, persetujuan pinjaman, dan banyak lagi. Sebagai contoh, sebuah studi dari University of California, Berkeley menunjukkan bahwa sistem AI untuk hipotek secara rutin membebankan suku bunga yang lebih tinggi kepada peminjam minoritas untuk pinjaman yang sama jika dibandingkan dengan peminjam kulit putih.⁴

Peneliti akademis menemukan bias gender dalam generator gambar AI Midvoyage. Selama analisis lebih dari 100 gambar yang dihasilkan, mereka juga menemukan contoh bias ras, kelas, dan usia dalam hasilnya. Sebagai contoh, ketika diminta untuk membuat gambar orang-orang dengan profesi khusus, gambar tersebut menunjukkan orang yang lebih muda dan lebih tua, tetapi orang yang lebih tua selalu laki-laki, yang memperkuat bias gender terkait perempuan di tempat kerja.⁵

Penelitian dari MIT menemukan bahwa beberapa sistem pengenalan wajah komersial tujuan umum-yang digunakan untuk mencocokkan wajah dalam foto, misalnya—tidak dapat mengenali individu yang berkulit lebih gelap. Pengakuan bahkan lebih buruk untuk wanita berkulit gelap. Data pelatihan yang salah menggambarkan demografi yang sebenarnya akan membuat hasil menjadi tidak akurat.⁶

Setelah sebuah undang-undang di Chicago memaksa perusahaan transportasi online untuk mengungkapkan tarif mereka, para peneliti menemukan bahwa algoritma penetapan harga Uber dan Lyft mengenakan biaya lebih tinggi untuk pengantaran di lingkungan dengan populasi non-kulit putih yang tinggi.^t

Mitigasi bias dari sistem AI dimulai dengan tata kelola AI, yang mengacu pada pagar pembatas yang memastikan alat dan sistem AI tetap aman dan etis. Tata kelola ini menetapkan kerangka kerja, aturan, dan standar yang mengarahkan penelitian, pengembangan, dan penerapan AI untuk membantu memastikan keamanan, keadilan, dan penghormatan terhadap hak asasi manusia.

Organisasi dapat mempertimbangkan prinsip-prinsip tata kelola AI berikut ini untuk menghindari potensi bias AI di seluruh siklus hidup sistem:

• Data yang beragam dan representatif
• Deteksi dan mitigasi bias
• Transparansi dan interpretabilitas
• Desain dan pengembangan yang terjangkau

Machine learning hanya sebagus data yang melatihnya. Agar AI dapat lebih mencerminkan beragam komunitas yang dilayaninya, data manusia yang jauh lebih beragam harus diwakili dalam model. Data yang dimasukkan ke dalam model machine learning dan sistem pembelajaran mendalam haruslah komprehensif dan seimbang, mewakili semua kelompok orang dan mencerminkan demografi masyarakat yang sebenarnya.

Tidak ada sistem komputer yang sepenuhnya “dilatih” atau “selesai.” Pemantauan dan pengujian yang sedang berlangsung (melalui inisiatif seperti penilaian dampak, audit algoritmik, dan uji sebab-akibat) dapat membantu mendeteksi dan mengoreksi potensi bias sebelum hal tersebut menimbulkan masalah. Proses seperti sistem "human-in-the-loop" mensyaratkan rekomendasi agar ditinjau oleh manusia sebelum keputusan dibuat untuk memberikan lapisan jaminan kualitas tambahan.

Sistem AI bisa menjadi “kotak hitam”, yang membuat hasilnya sulit dipahami. Sistem AI transparan mendokumentasikan dan menjelaskan dengan jelas metodologi algoritma yang mendasarinya dan siapa yang melatihnya. Makin banyak orang memahami bagaimana sistem AI dilatih dan disetel serta bagaimana cara mereka membuat keputusan, makin banyak pemangku kepentingan individu dan masyarakat luas dapat memercayai keakuratan dan keadilan AI.

AI inklusif dimulai dengan tim yang beragam dan interdisipliner yang terdiri dari programmer, pengembang, ilmuwan data, insinyur ML, dan banyak lagi yang beragam secara ras, ekonomi, tingkat pendidikan, jenis kelamin, deskripsi pekerjaan, dan metrik demografis lainnya. Keberagaman dalam desain dan pengembangan akan membawa perspektif yang berbeda untuk membantu mengidentifikasi dan mengurangi bias yang mungkin tidak disadari.

Pemerintah dan pembuat kebijakan membuat kerangka kerja dan peraturan AI untuk membantu memandu—dan dalam beberapa kasus, menegakkan—penggunaan AI yang aman dan bertanggung jawab. Sebagai contoh:

• Uni Eropa memperkenalkan Undang-Undang AI UE, yang memiliki persyaratan khusus untuk sistem AI berisiko tinggi seperti langkah-langkah untuk mencegah dan mengurangi bias.
  
  
• Laporan Penilaian Dampak Algoritmik dari AI Now Institute Universitas New York adalah kerangka kerja praktis. Seperti halnya analisis dampak lingkungan, dokumen ini memandu lembaga-lembaga publik dalam menilai sistem AI untuk memastikan akuntabilitas publik.⁸
  
  
• Cetak Biru untuk Undang-Undang Hak AI yang dikeluarkan oleh Gedung Putih memiliki prinsip yang didedikasikan untuk perlindungan diskriminasi algoritmik. Ini mencakup harapan dan bimbingan tentang cara menerapkan prinsip ini.
  
  
• Perintah Eksekutif Pemerintahan Biden tentang Pengembangan dan Penggunaan Kecerdasan Buatan yang Aman, Terjamin, dan Dapat Dipercaya menetapkan pedoman untuk pengembangan dan penggunaan AI, termasuk menangani diskriminasi algoritmik melalui pelatihan, bantuan teknis, dan koordinasi antara Departemen Kehakiman AS dan kantor-kantor hak-hak sipil federal.