Apa itu manajemen AI?

Sistem kecerdasan buatan berperilaku berbeda dari perangkat lunak tradisional. Program perangkat lunak konvensional mengikuti instruksi eksplisit untuk menghasilkan output deterministik: memberikan input yang sama dalam keadaan yang sama kepada program tradisional akan selalu menghasilkan output yang sama. Sistem berbasis AI menghasilkan output probabilistik yang didorong oleh algoritma machine learning: outputnya mungkin bervariasi meskipun input dan keadaannya tetap sama.

Logika dinamis itu sangat kuat, tetapi ketidakpastian yang ditimbulkannya membawa risiko potensial. Misalnya, organisasi menghadapi risiko reputasi yang berasal dari output yang bias atau beracun. Halusinasi AI yang tidak diperiksa atau tidak diperhatikan menghadirkan rangkaian risiko yang luas, mulai dari sekadar mengganggu atau membingungkan pengguna hingga menimbulkan ketidakakuratan dalam skenario yang sangat penting dengan konsekuensi besar. Serangan adversarial yang didukung oleh AI atau kumpulan data yang disusupi dapat menimbulkan risiko keamanan siber. Kegagalan untuk mematuhi peraturan AI dalam lingkungan yang berubah dengan cepat membawa risiko keuangan dan hukum.

AIMS dirancang untuk mengantisipasi dan memperhitungkan risiko tersebut. Dalam istilah yang lebih nyata, AIMS dapat dipahami sebagai kebijakan dan protokol untuk menanamkan tata kelola AI yang baik ke dalam setiap dan seluruh alur kerja yang relevan dengan penggunaan alat dan produk berbasis AI oleh organisasi. Ini mencakup langkah-langkah seperti penilaian risiko proaktif yang terstandardisasi, mekanisme pelaporan, audit rutin, serta pemantauan real-time terhadap output dan kinerja model.

Jika dilaksanakan dengan baik, sistem manajemen AI tidak hanya mengurangi risiko, tetapi juga mengoptimalkan efisiensi operasional dan membangun kepercayaan antara pengembang, pengguna akhir, dan pemangku kepentingan lainnya yang dukungannya sangat penting untuk adopsi AI yang efektif.

Sistem manajemen kecerdasan buatan yang komprehensif harus menangani hal-hal berikut:

Siapa yang mungkin terpengaruh oleh masalah keadilan dan bias, dan bagaimana mereka akan terpengaruh? Bisakah proyek AI Anda secara tidak sengaja mengakibatkan diskriminasi? Selain persyaratan peraturan, apa tanggung jawab etis Anda terkait privasi data dan penyampaian kemampuan serta keterbatasan sistem secara akurat? Transparansi yang sungguh-sungguh mengenai isu-isu etika tersebut menopang kepercayaan pemangku kepentingan dan meningkatkan pengambilan keputusan di kemudian hari.

Ancaman spesifik apa yang melekat pada pengembangan atau penerapan aplikasi AI Anda? Misalnya, penggunaan alat AI dalam bidang perawatan kesehatan atau hukum harus memperhitungkan konsekuensi peraturan; kegagalan AI dalamkonteks layanan pelanggan berisiko menimbulkan konsekuensi reputasi. Mengingat bahwa mitigasi ancaman ini adalah salah satu tujuan utama AIMS Anda, mengidentifikasi risiko AI spesifik yang ditimbulkan oleh contoh penggunaan Anda harus menjadi salah satu langkah paling awal dan paling penting dalam proses tersebut.

Tata kelola data yang tepat sangat penting untuk menjaga kualitas dan keamanan data yang digunakan untuk melatih model AI (dan data yang dihasilkannya). Ini sangat penting dalam domain yang memerlukan kepatuhan terhadap kerangka kerja peraturan. Misalnya, jika pengguna menyatakan hak dari GDPR yaitu “hak untuk dilupakan“, sistem Anda harus mengizinkan data individu tersebut untuk dapat dengan mudah ditemukan dan dihapus. Sistem yang beroperasi dalam konteks perawatan kesehatan harus melindungi informasi sensitif sesuai dengan persyaratan HIPAA.

Protokol dan kebijakan untuk mengatasi pertimbangan ini harus disematkan tidak hanya dalam pengembangan dan penerapan awal sistem AI, tetapi juga dalam pemeliharaannya. Manajemen siklus hidup AI yang tepat diperlukan untuk menemukan dan mengatasi risiko yang disebabkan oleh penyimpangan model atau masalah lain yang mungkin muncul dari waktu ke waktu.

Strategi untuk secara aktif memeriksa kesehatan sistem AI Anda dari waktu ke waktu adalah salah satu cara paling penting untuk mempertahankan tujuan yang dimaksudkan untuk dicapai oleh AIMS Anda. Struktur spesifik dan ritme audit rutin merupakan salah satu pertimbangan operasional terpenting dalam manajemen AI.

Siapa yang bertugas memberlakukan dan mengawasi semua ini? Penggambaran yang jelas tentang peran dan tanggung jawab individu diperlukan untuk mengubah strategi manajemen AI dari sesuatu yang terdengar bagus di atas kertas menjadi sesuatu yang secara aktif melindungi inovasi AI dalam organisasi Anda.

Menetapkan prinsip dan proses ini di awal proses pengembangan AI membantu mengoptimalkan dan memperlancar pengambilan keputusan di kemudian hari.

Ada banyak cara untuk menerapkan manajemen AI yang efektif, dan beberapa organisasi mungkin memilih untuk mengejar pendekatan yang sepenuhnya dibuat khusus untuk inisiatif manajemen AI mereka. Namun, banyak organisasi akan mendapatkan manfaat dengan mengikuti (atau setidaknya mengambil inspirasi dari) kerangka kerja yang mapan seperti ISO 42001, Kerangka Kerja Manajemen Risiko AI NIST, atau prinsip-prinsip yang ditentukan oleh UU AI Uni Eropa.

ISO 42001—kependekan dari ISO/IEC 42001:2023—adalah standar internasional pertama di dunia untuk menetapkan, menerapkan, memelihara, dan terus meningkatkan AIMS. Dikembangkan pada tahun 2023, tujuan yang dinyatakan ISO 42001 adalah menawarkan kepada organisasi “panduan komprehensif yang mereka butuhkan untuk menggunakan AI secara bertanggung jawab dan efektif, bahkan ketika teknologinya berkembang pesat.” Organisasi dapat meminta sertifikasi ISO 42001 formal, yang memerlukan audit pihak ketiga terhadap sistem dan proses untuk mengevaluasi kepatuhan mereka terhadap praktik AI yang ditentukan oleh ISO 42001.

Lebih khusus lagi, ISO 42001 menetapkan standar sistem manajemen (MSS) untuk tata kelola organisasi AI yang sehat menggunakan metodologi Rencanakan-Lakukan-Periksa-Bertindak.

Tahap Rencana adalah di mana AIMS mendefinisikan aturan keterlibatan untuk sistem AI Anda.

• Konteks dan ruang lingkup: Tentukan dengan tepat apa yang dilakukan dan tidak dilakukan oleh alat AI Anda. Misalnya, Anda dapat menentukan bahwa chatbot dukungan pelanggan dapat menjawab pertanyaan dukungan atau meneruskan masalah kepada manusia, tetapi tidak dapat secara langsung mengotorisasi pengembalian dana. 

• Penilaian risiko: Petakan ancaman spesifik yang ditimbulkan oleh konteks dan ruang lingkup tersebut. Misalnya, bot dukungan pelanggan mungkin berhalusinasi tentang kebijakan perusahaan, sehingga menyebabkan kebingungan atau harapan yang salah arah. Atlas risiko AI IBM® dapat membantu Anda memulai.

• Pengaturan tujuan: Tentukan metrik nyata untuk apa yang memenuhi syarat sebagai “sukses.” Ini umumnya akan bergantung pada masalah yang Anda coba selesaikan dengan menerapkan alat AI. Jika tujuan proyek AI Anda adalah membebaskan bandwidth karyawan untuk kueri yang lebih kompleks, misalnya, Anda dapat mendefinisikan keberhasilan sebagai persentase tertentu dari kasus yang diselesaikan tanpa memerlukan campur tangan manusia lebih lanjut. 

Pada tahap Lakukan, prinsip dan tujuan yang ditentukan pada tahap sebelumnya dioperasionalkan ke dalam alur kerja pengembangan AI yang sebenarnya.

• Potensi ancaman harus diperhitungkan dalam kebijakan tata kelola data.

• Pagar pembatas dan redundansi harus dibuat untuk melindungi dari risiko yang diketahui.

• Otomatisasi evaluasi kinerja sistem, jika memungkinkan, meminimalkan kerja keras yang diperlukan untuk mengukur keberhasilan secara objektif dan selanjutnya meningkatkan sistem.

Sistem AI harus diawasi secara aktif. Setiap tindakan yang diambil oleh sistem harus dicatat untuk memfasilitasi penjelasan sistem. Jika hasil tertentu dari sistem AI mengganggu atau tidak memuaskan dalam beberapa cara, hasil tersebut hanya dapat ditingkatkan jika Anda dapat mengidentifikasi dengan tepat di mana kesalahan proses terjadi.

Audit rutin harus memastikan bahwa tim mengikuti protokol AIMS—dan bahwa mereka melakukannya secara bermakna, bukan hanya secara nominal.

Ketika insiden terjadi, sistem tersedia untuk menghentikan pekerjaan dan melakukan perbaikan yang diperlukan. Jika audit menemukan perlindungan yang tidak memadai, masalah yang tidak terduga, atau kerentanan keamanan yang muncul, langkah-langkah baru diterapkan untuk mengatasinya.

Institut Standar dan Teknologi Nasional (NIST) adalah lembaga di bawah Departemen Perdagangan Amerika Serikat. Kerangka Kerja Manajemen Risiko AI NIST (AI RMF) adalah pedoman yang dapat disesuaikan untuk penggunaan AI yang bertanggung jawab, dilengkapi dengan literatur ekstensif dan materi pendukung, termasuk:

• Buku Pedoman AI RMF, yang memberikan saran tindakan untuk mencapai hasil yang telah ditetapkan dalam AI RMF.

• Peta Jalan AI RMF, yang bertujuan untuk “membantu mengisi kesenjangan dalam pengetahuan, praktik, atau panduan,” dengan tujuan mengidentifikasi cara untuk meningkatkan AI RMF itu sendiri dan kemampuan NIST dalam membantu organisasi sektor publik dan swasta memberlakukannya.

• AI RMF Crosswalks, yang dirancang untuk membantu organisasi memetakan praktik yang ada ke konsep dan istilah dalam berbagai kerangka kerja manajemen AI, termasuk (namun tidak terbatas pada) ISO 42001.

• Contoh Penggunaan di pemerintah, industri, dan akademisi.

Playbook AI RMF menggunakan metodologi Govern, Map, Measure, Manage.

Sebuah “Komite Risiko AI” dibentuk. Komite ini menetapkan “toleransi risiko” organisasi dan menyusun dokumen Kebijakan Risiko AI, yang akan ditandatangani oleh eksekutif C-suite dan secara eksplisit menentukan siapa yang bertanggung jawab atas setiap kegagalan AI.

Fase penemuan mengidentifikasi risiko spesifik yang berkaitan dengan alat AI dan cara orang akan menggunakannya. Proses ini pada akhirnya menghasilkan profil risiko, yang merinci setiap ancaman yang teridentifikasi.

Setiap ancaman yang dipetakan dikuantifikasi berdasarkan bagaimana ancaman tersebut dapat berdampak pada perusahaan atau pelanggannya. Hal ini biasanya memerlukan red teaming dan stress testing, yang menghasilkan Laporan TEVV (Uji, Evaluasi, Verifikasi, dan Validasi) yang berfungsi sebagai “kartu skor” untuk keakuratan dan kepercayaan sistem.

Masalah dan potensi kerentanan yang ditemukan selama fase pengukuran ditangani dan diperhitungkan.

Meskipun ISO 42001 dan NIST AI RMF adalah kerangka kerja sukarela, ketentuan UU AI Uni Eropa merupakan persyaratan wajib bagi setiap organisasi yang terlibat dalam pengembangan dan penerapan sistem AI di pasar UE.

Ketentuan UU AI Uni Eropa meliputi:

• Dokumentasi teknis wajib untuk pelatihan model, pengujian, dan evaluasi.

• Memberikan informasi tentang kemampuan dan keterbatasan model AI yang relevan kepada penyedia hilir yang akan menggunakannya.

• Kepatuhan dengan Arahan Hak Cipta UE

• Ringkasan publik data pelatihan

Jika model AI tertentu melebihi 1.025 operasi floating point (FLOP) dalam pelatihan, model tersebut dianggap menghadirkan risiko sistemik dan menjadi tunduk pada perlindungan tambahan.

UE menyediakan alat dan sumber daya untuk membantu perusahaan mematuhi Undang-Undang AI, termasuk pemeriksa kepatuhan interaktif yang menentukan ketentuan mana yang berlaku untuk bisnis Anda, panduan bisnis kecil untuk usaha kecil dan menengah (UKM), serta serangkaian artikel khusus masalah.