Menyoroti bias AI dengan contoh dunia nyata

Ketika perusahaan meningkatkan penggunaan kecerdasan buatan (AI), orang-orang mempertanyakan sejauh mana bias manusia telah masuk ke dalam sistem AI. Contoh bias AI di dunia nyata menunjukkan kepada kita bahwa ketika data dan algoritma diskriminatif dimasukkan ke dalam model AI, model tersebut menyebarkan bias dalam skala besar dan memperkuat efek negatif yang dihasilkan.

Perusahaan termotivasi untuk mengatasi tantangan bias dalam AI tidak hanya untuk mencapai keadilan, tetapi juga untuk memastikan hasil yang lebih baik. Namun, seperti halnya bias rasial dan gender yang telah terbukti sulit dihilangkan di dunia nyata, menghilangkan bias dalam AI bukanlah tugas yang mudah.

Dalam artikel berjudul What AI can and can’t do (yet) for your business, penulis Michael Chui, James Manyika, dan Mehdi Miremadi dari McKinsey mencatat, “Bias semacam itu memiliki kecenderungan untuk tetap tertanam karena mengenalinya, dan mengambil langkah untuk mengatasinya, membutuhkan penguasaan teknik ilmu data yang mendalam, serta meta-pemahaman yang lebih baik tentang kekuatan sosial yang ada, termasuk pengumpulan data. Intinya, hingga saat ini, menghilangkan bias terbukti menjadi salah satu hambatan yang paling menakutkan dan tentu saja memiliki dampak sosial yang besar.”

Contoh bias AI dari kehidupan nyata memberi organisasi insight yang berguna tentang cara mengidentifikasi dan mengatasi bias. Dengan melihat secara kritis contoh-contoh ini, dan keberhasilan dalam mengatasi bias, para ilmuwan data dapat mulai membangun peta jalan untuk mengidentifikasi dan mencegah bias dalam model machine learning mereka.

Bias AI, yang juga disebut sebagai bias machine learning atau bias algoritma, mengacu pada sistem AI yang memberikan hasil bias serta mencerminkan dan melanggengkan bias manusia dalam masyarakat, termasuk ketidaksetaraan sosial di masa lalu dan saat ini. Bias dapat ditemukan pada data pelatihan awal, algoritma, atau prediksi yang dihasilkan oleh algoritma.

Ketika bias tidak ditangani, akan menghambat kemampuan orang untuk berpartisipasi dalam ekonomi dan masyarakat. Juga mengurangi potensi AI. Bisnis tidak dapat mengambil manfaat dari sistem yang memberikan hasil yang menyimpang dan menumbuhkan ketidakpercayaan di antara orang kulit berwarna, perempuan, penyandang disabilitas, komunitas LGBTQ, atau kelompok masyarakat yang terpinggirkan.

Menghilangkan bias AI membutuhkan penelusuran ke dalam kumpulan data, algoritme machine learning, dan elemen lain dari sistem AI untuk mengidentifikasi sumber potensi bias.

Bias data pelatihan

Sistem AI belajar membuat keputusan berdasarkan data pelatihan, jadi penting untuk menilai kumpulan data untuk mengetahui adanya bias. Salah satu metode adalah meninjau pengambilan sampel data untuk kelompok yang lebih atau kurang terwakili dalam data pelatihan. Sebagai contoh, data pelatihan untuk algoritma pengenalan wajah yang terlalu banyak merepresentasikan orang berkulit putih dapat menyebabkan kesalahan saat mencoba pengenalan wajah untuk orang berkulit berwarna. Demikian pula, data keamanan yang mencakup informasi yang dikumpulkan di wilayah geografis yang didominasi oleh orang kulit hitam dapat menimbulkan bias rasial dalam alat AI yang digunakan oleh polisi.

Bias juga dapat dihasilkan dari bagaimana data pelatihan diberi label. Misalnya, alat perekrutan AI yang menggunakan pelabelan yang tidak konsisten atau mengecualikan atau merepresentasikan karakteristik tertentu secara berlebihan dapat menggagalkan pelamar kerja yang memenuhi syarat dari pertimbangan.

Bias algoritma

Penggunaan data pelatihan yang cacat dapat mengakibatkan algoritma berulang kali menghasilkan kesalahan, hasil yang tidak adil, atau bahkan memperkuat bias yang melekat pada data yang cacat. Bias algoritma juga dapat disebabkan oleh kesalahan pemrograman, seperti pengembang yang secara tidak adil memberikan bobot pada faktor-faktor dalam pengambilan keputusan algoritma berdasarkan bias yang mereka sadari atau tidak sadari. Misalnya, indikator seperti pendapatan atau kosakata mungkin digunakan oleh algoritma untuk secara tidak sengaja mendiskriminasi orang-orang dari ras atau jenis kelamin tertentu.

Bias kognitif

Ketika orang memproses informasi dan membuat penilaian, kita pasti dipengaruhi oleh pengalaman dan preferensi kita. Akibatnya, orang dapat membangun bias ini ke dalam sistem AI melalui pemilihan data atau bagaimana data ditimbang. Sebagai contoh, bias kognitif dapat menyebabkan lebih memilih kumpulan data yang dikumpulkan dari orang Amerika daripada mengambil sampel dari berbagai populasi di seluruh dunia.

Menurut NIST, sumber bias ini lebih umum daripada yang kita kira. Dalam laporan berjudul Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (NIST Special Publication 1270), NIST mencatat bahwa “faktor manusia dan kelembagaan sistemik juga merupakan sumber bias AI yang signifikan, dan saat ini diabaikan. Agar tantangan ini bisa ditaklukkan, diperlukan pertimbangan atas semua bentuk bias. Hal ini berarti kita perlu memperluas perspektif melampaui pipeline machine learning untuk mengenali dan menyelidiki cara teknologi ini diciptakan di masyarakat kita sekaligus mempelajari dampaknya.”

Ketika masyarakat menjadi lebih sadar akan cara kerja AI dan kemungkinan adanya bias, organisasi telah menemukan banyak contoh bias dalam AI dalam berbagai contoh penggunaan.

• Layanan kesehatan—Data perempuan atau kelompok minoritas yang kurang terwakili dapat membelokkan algoritme AI prediktif. Misalnya, sistem diagnosis berbantuan komputer (CAD) telah ditemukan mengembalikan hasil akurasi yang lebih rendah untuk pasien kulit hitam daripada pasien kulit putih.

• Sistem pelacakan pelamar—Masalah pada algoritma pemrosesan bahasa alami dapat memberikan hasil yang bias dalam sistem pelacakan pelamar (applicant tracking system, ATS). Sebagai contoh, Amazon menghentikan penggunaan algoritma perekrutan setelah menemukan bahwa algoritma tersebut lebih berpihak pada pelamar berdasarkan kata-kata seperti “dieksekusi” atau “ditangkap”, yang lebih sering ditemukan dalam resume pelamar laki-laki.

• Iklan online—Bias dalam algoritma iklan mesin pencari dapat memperkuat bias gender pada peran pekerjaan. Penelitian independen di Carnegie Mellon University, Pittsburgh mengungkapkan bahwa sistem periklanan online Google lebih sering menampilkan posisi bergaji tinggi kepada laki-laki daripada perempuan.

• Pembuatan gambar—Penelitian akademis menemukan bias dalam aplikasi pembuatan seni AI generatif, Midjourney. Ketika diminta untuk membuat gambar orang-orang dengan profesi tertentu, aplikasi akan menampilkan gambar orang-orang berusia muda dan tua. Namun, orang-orang berusia tua yang ditampilkan selalu berjenis kelamin laki-laki, sehingga memperkuat bias gender tentang peran perempuan di tempat kerja.

• Alat pemolisian prediktif—Alat pemolisian prediktif berteknologi AI yang digunakan oleh beberapa organisasi dalam sistem peradilan pidana seharusnya mengidentifikasi area di mana kejahatan mungkin terjadi. Namun, alat ini sering kali mengandalkan data penangkapan historis, yang dapat memperkuat pola-pola profil rasial yang ada dan penargetan yang tidak proporsional terhadap masyarakat minoritas.

Mengidentifikasi dan mengatasi bias dalam AI dimulai dengan tata kelola AI, atau kemampuan untuk mengarahkan, mengelola, dan memantau aktivitas AI suatu organisasi. Dalam praktiknya, tata kelola AI menciptakan serangkaian kebijakan, praktik, dan kerangka kerja untuk memandu pengembangan dan penggunaan teknologi AI yang bertanggung jawab. Jika dilakukan dengan baik, tata kelola AI memastikan adanya keseimbangan manfaat yang diberikan kepada bisnis, pelanggan, karyawan, dan masyarakat secara keseluruhan.

Melalui kebijakan tata kelola AI, perusahaan dapat membangun praktik berikut:

• Kepatuhan—Solusi AI dan keputusan terkait AI harus konsisten dengan peraturan industri dan persyaratan hukum yang relevan.
• Kepercayaan—Perusahaan yang bekerja untuk melindungi informasi pelanggan membangun kepercayaan merek dan lebih cenderung membuat sistem AI yang dapat dipercaya.
• Transparansi—Karena kompleksitas AI, sebuah algoritme dapat menjadi sistem kotak hitam dengan sedikit insight tentang data yang digunakan untuk membuatnya. Transparansi membantu memastikan bahwa data yang tidak bias digunakan untuk membangun sistem dan hasilnya akan adil.
• Efisiensi—Salah satu janji terbesar AI adalah mengurangi pekerjaan langsung dan menghemat waktu karyawan. AI harus dirancang untuk membantu mencapai tujuan bisnis, meningkatkan kecepatan pemasaran, dan mengurangi biaya.
• Keadilan—Tata kelola AI sering mencakup metode yang bertujuan untuk menilai keadilan, kesetaraan, dan inklusi. Pendekatan seperti keadilan kontrafaktual mengidentifikasi bias dalam keputusan model dan memastikan hasil yang adil bahkan ketika atribut sensitif, seperti jenis kelamin, ras, atau orientasi seksual, diubah.
• Sentuhan manusia—Proses seperti sistem 'human-in-the-loop' menawarkan opsi atau membuat rekomendasi yang kemudian ditinjau oleh manusia sebelum keputusan diambil untuk memberikan lapisan jaminan kualitas lainnya.
• Reinforced learning—Teknik pembelajaran tanpa pengawasan ini menggunakan hadiah dan hukuman untuk mengajari sistem agar mempelajari tugas-tugas. McKinsey mencatat bahwa reinforcement learning melampaui bias manusia dan berpotensi menghasilkan “solusi dan strategi yang sebelumnya tidak terbayangkan yang bahkan belum pernah dipertimbangkan oleh praktisi berpengalaman”.

Kombinasi teknologi yang tepat bisa jadi krusial untuk strategi tata kelola AI dan data yang efektif, dengan arsitektur data modern dan AI yang dapat dipercaya sebagai komponen kunci. Orkestrasi kebijakan dalam arsitektur struktur data adalah alat yang tepat untuk menyederhanakan proses audit AI yang kompleks. Dengan mengintegrasikan audit AI dan proses terkait ke dalam kebijakan tata kelola arsitektur data Anda, organisasi Anda dapat membantu mendapatkan pemahaman tentang area yang memerlukan pemeriksaan berkelanjutan.

Di IBM Consulting, kami telah membantu klien menyiapkan proses evaluasi untuk bias dan bidang lainnya. Seiring dengan berkembangnya skala adopsi dan inovasi AI, panduan keamanan juga akan semakin matang, seperti halnya dengan setiap teknologi yang telah tertanam dalam struktur perusahaan selama bertahun-tahun. Di bawah ini, kami membagikan beberapa praktik terbaik dari IBM untuk membantu organisasi mempersiapkan penerapan AI yang aman di seluruh lingkungan mereka:

1. Memanfaatkan AI tepercaya dengan mengevaluasi kebijakan dan praktik vendor.
2. Memungkinkan akses aman ke pengguna, model, dan data.
3. Melindungi model AI, data, dan infrastruktur dari serangan permusuhan.
4. Menerapkan perlindungan privasi data dalam fase pelatihan, pengujian dan operasi.
5. Melakukan pemodelan ancaman dan praktik pengkodean aman ke dalam siklus hidup pengembang AI.
6. Melakukan deteksi dan respons ancaman untuk aplikasi dan infrastruktur AI.
7. Menilai dan memutuskan kematangan AI melalui kerangka kerja AI IBM.