Apa metrik utama untuk mengukur tata kelola AI?

Baru-baru ini, saya ditanyai pertanyaan ini: Bagaimana cara mengukur keberhasilan dalam etika AI dan keterlibatan tata kelola? Saya mengukur keberhasilan dengan apakah prinsip-prinsip AI etis tertanam dalam strategi, alur kerja, dan pengambilan keputusan, tidak hanya secara tertulis. Jika tim diberi wewenang untuk mempertanyakan, komunitas yang terdampak dilibatkan, dan model dibangun dengan akuntabilitas di setiap tahap, berarti Anda berada di jalur yang benar.

Pertama, kegagalan yang lebih mendasar adalah tidak mempertimbangkan perilaku manusia dan pengalaman seseorang yang berinteraksi dengan AI yang konon memiliki kecerdasan yang “ditingkatkan”. Saya pikir penting untuk mengetahui bagaimana Anda mengukur perilaku seseorang. Salah satu prinsip dasar dalam mengenal psikologi manusia adalah bahwa Anda akan mendapatkan jauh lebih banyak perilaku manusia yang Anda ukur.

Perilaku manusia apa yang kita ukur seputar penggunaan AI? Perilaku manusia apa yang lebih ingin dilihat klien kami dalam penggunaan AI?

Untuk memulai, inilah cerita tentang salah satu klien favorit saya sepanjang masa: departemen kepolisian yang besar. Klien ini berbeda dari semua klien lain yang pernah ditemui sebelumnya. Ketika kami memulai keterlibatan kami dengan anggota dewan pengatur AI departemen kepolisian, banyak dari mereka tidak tahu mengapa mereka ada di sana.  

Alasannya adalah karena mereka semua memiliki keahlian luas di bidang kepolisian. Mereka akan mengatakan bahwa mereka bukan pakar dalam hal kecerdasan buatan (AI) atau machine learning (ML). Mereka akan bertanya, 'Mengapa Anda membutuhkan saya di dewan pemerintahan ini?'.

Oleh karena itu, upaya kami dimulai dengan menjelaskan mengapa mereka ada di sana dan mengapa penting untuk memiliki kebijaksanaan dan keahlian mereka dalam topik yang dibahas. Namun kami tidak berhenti di situ, kami harus menunjukkan mengapa mereka dibutuhkan. Mereka perlu belajar dan memahami bahwa apa yang mereka bawa ke solusi AI ini sangat penting untuk melakukan AI dengan benar. Agar implementasi AI berhasil, penting untuk mengutamakan manusia.

Cara kami terhubung dengan mereka adalah dengan secara aktif menunjukkan kepada mereka bahwa bagian tersulit dalam mengembangkan AI dengan benar bukanlah hal teknis semata. Memiliki pakar domain—pakar sejati di bidang penegakan hukum—sangat penting. Orang-orang ini memahami data, konteks di mana data tersebut dikumpulkan, dan hubungan antara titik-titik data, memastikan bahwa AI yang tepat dibangun, dipelihara, dan dikelola secara bertanggung jawab. 

Beberapa taktik yang kami gunakan adalah latihan design thinking atau pemikiran desain yang berasal dari kelompok desain AI IBM sendiri. Latihan pemikiran desain ini menjawab sejumlah pertanyaan seperti:

• Apakah kami memiliki orang yang tepat di tempat itu?

• Apa masalah inti yang kami coba selesaikan?

• Apakah kami memiliki data yang tepat dan pemahaman yang tepat tentang data menurut pakar domain untuk membuat inisiatif AI ini menjadi hidup?

• Prinsip AI taktis mana yang harus tercermin dalam sistem AI kita demi mendapatkan kepercayaan publik? Dan bagaimana kita mendefinisikan persyaratan fungsional dan non-fungsional yang diperlukan untuk mewujudkan prinsip-prinsip tersebut?

• Apa efek yang tidak diinginkan dari model AI ini? 

• Bagaimana Anda akan mendekati mitigasi risiko secara sengaja? 

• Siapa saja persona yang perlu kita bangun?

• Apa yang perlu kita sampaikan mengenai penggunaan yang diinginkan dan tidak diinginkan dari AI ini?

Pekerjaan introspektif ini harus dilakukan dalam lingkungan yang mengutamakan kerendahan hati dan inklusivitas, keamanan psikologis dan melibatkan orang-orang dengan beragam pengalaman hidup di dunia. Hasil dari pekerjaan ini adalah bahwa tim akhirnya memiliki bahasa yang telah lama mereka butuhkan. Hal ini memungkinkan mereka mengomunikasikan dengan jelas kepada pembangun atau pembeli apa yang mesti dikembangkan atau diperoleh untuk mengkurasi solusi AI secara bertanggung jawab.

Sekali lagi, Anda mendapatkan perilaku manusia yang Anda ukur. Jadi, pertanyaannya adalah, apa saja perilaku manusia yang perlu kita ukur untuk menentukan keberhasilan suatu proyek tata kelola?

Pertanyaan umum yang perlu ditanyakan adalah:

• Perilaku manusia apa yang sedang diukur? Perilaku manusia apa saja yang ditekankan dalam upaya komunikasi, dan apakah perilaku tersebut sama dengan perilaku yang terkait dengan tata kelola yang sedang diukur?

Sering kali, karyawan didorong untuk menggunakan AI di tempat kerja (dengan risiko dipecat) dan kadang-kadang secara paralel diberi tahu bahwa mereka bertanggung jawab atas hasil yang bertanggung jawab. Namun, mereka sering kali dievaluasi secara ketat berdasarkan seberapa cepat mereka dapat menyelesaikan pekerjaan dan seberapa produktif mereka, tanpa sama sekali dievaluasi berdasarkan hasil yang dicapai.

Ada beberapa kasus yang terdokumentasi di mana pakar domain tahu AI salah dan secara tegas diberi tahu untuk menggunakan penilaian terbaik mereka. Namun, alih-alih bertentangan dengan AI, mereka tidak melakukan apa-apa—karena, sekali lagi, kinerja mereka dievaluasi menurut metrik yang sama sekali berbeda. Beberapa orang memang dihukum karena bertentangan dengan AI di tempat kerja. 

Ketika kita kembali ke pertanyaan—perilaku apa yang kita ukur—mari kita jelajahi bagaimana kita dapat mengukur apakah AI meningkatkan kecerdasan seseorang. Kita juga harus mempertimbangkan apakah orang tersebut secara aktif terlibat sebagai konsumen penting AI. Orang-orang ini harus diberi insentif yang terukur untuk membantu melatih AI, atau setidaknya mengingatkan orang lain, untuk mendorong hasil yang lebih bertanggung jawab.

Untuk dapat melakukannya, kita harus mengukur apakah karyawan yang menggunakan AI benar-benar memahami risiko AI, benar-benar memahami sifat sebenarnya dari data, bias, dampak yang berbeda. Apakah mereka tahu apa artinya bertanggung jawab? Apakah mereka diukur sedemikian rupa untuk mendorong akuntabilitas itu?

Perilaku kepemimpinan ini hanyalah beberapa contoh dari hal-hal yang perlu kita perhatikan saat mempertimbangkan untuk membangun budaya organisasi yang tepat.

Komponen inti dalam menentukan apakah Anda berhasil dalam suatu inisiatif tata kelola AI adalah apakah Anda telah memperoleh kepercayaan dari orang-orang. Ingatlah sekali lagi—tidak ada yang mudah dalam membangun AI yang dapat dipercaya.Para pemimpin yang saya kagumi mampu menunjukkan hasil kerja mereka.

Yang ingin saya sampaikan kepada Anda melalui artikel ini adalah bahwa Anda memiliki menjadi bagian dalam percakapan ini, meskipun Anda mungkin tidak berpikir demikian. Anda tidak perlu gelar dalam ilmu data atau PhD dalam AI. Fakta bahwa Anda membawa pengalaman hidup yang berbeda berarti Anda memiliki tempat dalam percakapan tentang kecerdasan buatan ini.

Hal ini bukan hanya karena AI telah populer dan kemungkinan besar akan muncul di tempat kerja Anda, sehingga percakapan ini penting. Anda perlu tahu bahwa model AI yang digunakan—bahkan oleh anak-anak Anda—aman dari serangan pihak yang bermaksud jahat dan didasarkan pada fakta yang benar. Mereka harus bersikap adil, menghindari penyebaran ujaran kebencian yang tiba-tiba dan tidak terkendali, serta melindungi data pribadi dengan langkah-langkah keamanan privasi yang kuat.

Sejujurnya: transisi AI ini cukup sulit dilakukan. Memimpin di era AI berarti merasa nyaman dengan ambiguitas. Ini berarti memilih untuk melakukan apa yang benar, bukan hanya apa yang mudah atau menguntungkan dalam jangka pendek. Ini membutuhkan pengembangan pemahaman yang lebih dalam tentang teknologi AI— cara kerjanya, apa yang dapat dicapai, risiko yang ditimbulkan. Dan itu membutuhkan penyampaian pengetahuan dan pemahaman itu ke seluruh tenaga kerja. Ini berarti berinvestasi dalam literasi AI, tata kelola AI, dan pemimpin tata kelola AI yang cakap.

Para pemimpin yang mengambil langkah sekarang—yang mengajukan pertanyaan berani, menggunakan sistem yang tepat, dan memusatkan nilai-nilai manusia—tidak hanya menghindari jebakan tetapi secara aktif membentuk masa depan AI yang bertanggung jawab. Mereka mendapatkan kepercayaan yang menjadi keunggulan kompetitif yang langgeng. Momen kepemimpinan ini adalah milik Anda. Manfaatkan dengan baik. Manfaatkan dengan baik.