Ketika perusahaan meningkatkan penggunaan kecerdasan buatan (AI), orang-orang mempertanyakan sejauh mana bias manusia telah masuk ke dalam sistem AI. Contoh bias AI di dunia nyata menunjukkan kepada kita bahwa ketika data dan algoritma diskriminatif dimasukkan ke dalam model AI, model tersebut menyebarkan bias dalam skala besar dan memperkuat efek negatif yang dihasilkan.

Perusahaan termotivasi untuk mengatasi tantangan bias dalam AI tidak hanya untuk mencapai keadilan, tetapi juga untuk memastikan hasil yang lebih baik. Namun, seperti halnya bias rasial dan gender yang telah terbukti sulit dihilangkan di dunia nyata, menghilangkan bias dalam AI bukanlah tugas yang mudah.

Dalam artikel berjudul What AI can and can't do (yet) for your business, penulis Michael Chui, James Manyika, dan Mehdi Miremadi dari McKinsey mencatat, "Bias semacam itu memiliki kecenderungan untuk tetap tertanam karena mengenalinya, dan mengambil langkah untuk mengatasinya, membutuhkan penguasaan teknik ilmu data yang mendalam, serta pemahaman yang lebih meta tentang kekuatan sosial yang ada, termasuk pengumpulan data. Secara keseluruhan, menghilangkan bias terbukti menjadi salah satu hambatan yang paling menakutkan, dan tentu saja yang paling sarat secara sosial, hingga saat ini".

Contoh bias AI dari kehidupan nyata memberi organisasi insight yang berguna tentang cara mengidentifikasi dan mengatasi bias. Dengan melihat secara kritis contoh-contoh ini, dan keberhasilan dalam mengatasi bias, para ilmuwan data dapat mulai membangun peta jalan untuk mengidentifikasi dan mencegah bias dalam model machine learning mereka.

Bias AI, yang juga disebut sebagai bias machine learning atau bias algoritma, mengacu pada sistem AI yang mengembalikan hasil bias yang mencerminkan dan melanggengkan bias manusia dalam masyarakat, termasuk ketidaksetaraan sosial di masa lalu dan saat ini. Bias dapat ditemukan pada data pelatihan awal, algoritma, atau prediksi yang dihasilkan oleh algoritma.

Ketika bias tidak ditangani, akan menghambat kemampuan orang untuk berpartisipasi dalam ekonomi dan masyarakat. Juga mengurangi potensi AI. Bisnis tidak dapat mengambil manfaat dari sistem yang memberikan hasil yang menyimpang dan menumbuhkan ketidakpercayaan di antara orang kulit berwarna, perempuan, penyandang disabilitas, komunitas LGBTQ, atau kelompok masyarakat yang terpinggirkan.

Menghilangkan bias AI membutuhkan penelusuran ke dalam kumpulan data, algoritme machine learning, dan elemen lain dari sistem AI untuk mengidentifikasi sumber potensi bias.

Bias data pelatihan

Sistem AI belajar membuat keputusan berdasarkan data pelatihan, jadi penting untuk menilai kumpulan data untuk mengetahui adanya bias. Salah satu metode adalah meninjau pengambilan sampel data untuk kelompok yang lebih atau kurang terwakili dalam data pelatihan. Sebagai contoh, data pelatihan untuk algoritma pengenalan wajah yang terlalu banyak merepresentasikan orang berkulit putih dapat menyebabkan kesalahan saat mencoba pengenalan wajah untuk orang berkulit berwarna. Demikian pula, data keamanan yang mencakup informasi yang dikumpulkan di wilayah geografis yang didominasi oleh orang kulit hitam dapat menimbulkan bias rasial dalam alat AI yang digunakan oleh polisi.

Bias juga dapat dihasilkan dari bagaimana data pelatihan diberi label. Misalnya, alat perekrutan AI yang menggunakan pelabelan yang tidak konsisten atau mengecualikan atau merepresentasikan karakteristik tertentu secara berlebihan dapat menggagalkan pelamar kerja yang memenuhi syarat dari pertimbangan.

Bias algoritma

Penggunaan data pelatihan yang cacat dapat mengakibatkan algoritma berulang kali menghasilkan kesalahan, hasil yang tidak adil, atau bahkan memperkuat bias yang melekat pada data yang cacat. Bias algoritma juga dapat disebabkan oleh kesalahan pemrograman, seperti pengembang yang secara tidak adil memberikan bobot pada faktor-faktor dalam pengambilan keputusan algoritma berdasarkan bias yang mereka sadari atau tidak sadari. Misalnya, indikator seperti pendapatan atau kosakata mungkin digunakan oleh algoritma untuk secara tidak sengaja mendiskriminasi orang-orang dari ras atau jenis kelamin tertentu.

Bias kognitif

Ketika orang memproses informasi dan membuat penilaian, kita pasti dipengaruhi oleh pengalaman dan preferensi kita. Akibatnya, orang dapat membangun bias ini ke dalam sistem AI melalui pemilihan data atau bagaimana data ditimbang. Sebagai contoh, bias kognitif dapat menyebabkan lebih memilih kumpulan data yang dikumpulkan dari orang Amerika daripada mengambil sampel dari berbagai populasi di seluruh dunia.

Menurut NIST, sumber bias ini lebih umum daripada yang Anda kira. Dalam laporannya yang berjudul Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (NIST Special Publication 1270), NIST mencatat bahwa "faktor kelembagaan dan masyarakat yang bersifat manusiawi dan sistemik juga merupakan sumber bias AI yang signifikan, dan saat ini masih terabaikan. Berhasil memenuhi tantangan ini akan perlu mempertimbangkan semua bentuk bias. Hal ini berarti memperluas perspektif kami di luar jalur machine learning untuk mengenali dan menyelidiki bagaimana teknologi ini diciptakan di dalam dan berdampak pada masyarakat kita".

Ketika masyarakat menjadi lebih sadar akan cara kerja AI dan kemungkinan adanya bias, organisasi telah menemukan banyak contoh bias dalam AI dalam berbagai contoh penggunaan.

• Layanan kesehatan—Data perempuan atau kelompok minoritas yang kurang terwakili dapat membelokkan algoritme AI prediktif. Misalnya, sistem diagnosis berbantuan komputer (CAD) telah ditemukan mengembalikan hasil akurasi yang lebih rendah untuk pasien kulit hitam daripada pasien kulit putih.

• Sistem pelacakan pelamar—Masalah dengan algoritma pemrosesan bahasa alami dapat menghasilkan hasil yang bias dalam sistem pelacakan pelamar. Misalnya, Amazon berhenti menggunakan algoritma perekrutan setelah menemukan algoritma lebih memilih pelamar berdasarkan kata-kata seperti 'mengeksekusi' atau 'menangkap', yang lebih sering ditemukan di resume pria.

• Iklan online—Bias dalam algoritma iklan mesin pencari dapat memperkuat bias gender peran pekerjaan. Penelitian independen di Carnegie Mellon University di Pittsburgh mengungkapkan bahwa sistem periklanan online Google lebih sering menampilkan posisi bergaji tinggi kepada pria daripada wanita.

• Pembuatan gambar—Penelitian akademis menemukan bias dalam aplikasi penghasil seni AI generatif Midjourney. Ketika diminta untuk membuat gambar orang-orang dengan profesi khusus, gambar tersebut menunjukkan orang yang lebih muda dan lebih tua, tetapi orang yang lebih tua selalu laki-laki, yang memperkuat bias gender tentang peran perempuan di tempat kerja.

• Alat pemolisian prediktif—Alat pemolisian prediktif yang didukung AI yang digunakan oleh beberapa organisasi dalam sistem peradilan pidana seharusnya mengidentifikasi area di mana kejahatan kemungkinan besar akan terjadi. Namun, mereka sering kali mengandalkan data penangkapan historis, yang dapat memperkuat pola-pola profil rasial dan penargetan yang tidak proporsional terhadap komunitas minoritas.

Mengidentifikasi dan mengatasi bias dalam AI dimulai dengan tata kelola AI, atau kemampuan untuk mengarahkan, mengelola, dan memantau aktivitas AI suatu organisasi. Dalam praktiknya, tata kelola AI menciptakan serangkaian kebijakan, praktik, dan kerangka kerja untuk memandu pengembangan dan penggunaan teknologi AI yang bertanggung jawab. Jika dilakukan dengan baik, tata kelola AI memastikan adanya keseimbangan manfaat yang diberikan kepada bisnis, pelanggan, karyawan, dan masyarakat secara keseluruhan.

Melalui kebijakan tata kelola AI, perusahaan dapat membangun praktik berikut:

• Kepatuhan—Solusi AI dan keputusan terkait AI harus konsisten dengan peraturan industri dan persyaratan hukum yang relevan.
• Kepercayaan—Perusahaan yang bekerja untuk melindungi informasi pelanggan membangun kepercayaan merek dan lebih cenderung membuat sistem AI yang dapat dipercaya.
• Transparansi—Karena kompleksitas AI, sebuah algoritme dapat menjadi sistem kotak hitam dengan sedikit insight tentang data yang digunakan untuk membuatnya. Transparansi membantu memastikan bahwa data yang tidak bias digunakan untuk membangun sistem dan hasilnya akan adil.
• Efisiensi—Salah satu janji terbesar AI adalah mengurangi pekerjaan langsung dan menghemat waktu karyawan. AI harus dirancang untuk membantu mencapai tujuan bisnis, meningkatkan kecepatan pemasaran, dan mengurangi biaya.
• Keadilan—Tata kelola AI sering mencakup metode yang bertujuan untuk menilai keadilan, kesetaraan, dan inklusi. Pendekatan seperti keadilan kontrafaktual mengidentifikasi bias dalam keputusan model dan memastikan hasil yang adil bahkan ketika atribut sensitif, seperti jenis kelamin, ras, atau orientasi seksual, diubah.
• Sentuhan manusia—Proses seperti sistem 'human-in-the-loop' menawarkan opsi atau membuat rekomendasi yang kemudian ditinjau oleh manusia sebelum keputusan diambil untuk memberikan lapisan jaminan kualitas lainnya.
• Pembelajaran penguatan—Teknik pembelajaran tanpa pengawasan ini menggunakan hadiah dan hukuman untuk mengajarkan sistem agar mempelajari tugas-tugas. McKinsey mencatat bahwa pembelajaran penguatan melampaui bias manusia dan memiliki potensi untuk menghasilkan 'solusi dan strategi yang sebelumnya tidak terbayangkan yang bahkan praktisi berpengalaman mungkin tidak pernah mempertimbangkan'.

Campuran teknologi yang tepat dapat menjadi penting untuk strategi tata kelola AI dan data yang efektif, dengan arsitektur data modern dan platform AI yang dapat dipercaya menjadi komponen kunci. Orkestrasi kebijakan dalam arsitektur struktur data adalah alat yang sangat baik yang dapat menyederhanakan proses audit AI yang kompleks. Dengan memasukkan audit AI dan proses terkait ke dalam kebijakan tata kelola arsitektur data Anda, organisasi Anda dapat membantu mendapatkan pemahaman tentang area yang memerlukan pemeriksaan berkelanjutan.

Di IBM Consulting, kami telah membantu klien menyiapkan proses evaluasi untuk bias dan bidang lainnya. Seiring dengan berkembangnya skala adopsi dan inovasi AI, panduan keamanan juga akan semakin matang, seperti halnya dengan setiap teknologi yang telah tertanam dalam struktur perusahaan selama bertahun-tahun. Di bawah ini, kami membagikan beberapa praktik terbaik dari IBM untuk membantu organisasi mempersiapkan penerapan AI yang aman di seluruh lingkungan mereka:

1. Memanfaatkan AI tepercaya dengan mengevaluasi kebijakan dan praktik vendor.
2. Memungkinkan akses aman ke pengguna, model, dan data.
3. Melindungi model AI, data, dan infrastruktur dari serangan permusuhan.
4. Menerapkan perlindungan privasi data dalam fase pelatihan, pengujian dan operasi.
5. Melakukan pemodelan ancaman dan praktik pengkodean aman ke dalam siklus hidup pengembang AI.
6. Melakukan deteksi dan respons ancaman untuk aplikasi dan infrastruktur AI.
7. Menilai dan memutuskan kematangan AI melalui kerangka kerja IBM AI.