Apa itu tata kelola model?

Model tata kelola berasal dari sektor keuangan untuk mengatasi risiko model keuangan yang kompleks. Ketika teknologi kecerdasan buatan (AI) dan machine learning (ML) semakin menonjol, relevansi tata kelola model berkembang pesat. Menurut McKinsey, 78% organisasi melaporkan penggunaan AI dalam setidaknya satu fungsi bisnis—menyoroti betapa model AI dan ML yang tertanam telah menjadi dalam pengambilan keputusan operasional dan strategis. 

Tujuan tata kelola model adalah untuk memastikan bahwa model—baik model keuangan tradisional atau model machine learning—beroperasi sebagaimana dimaksud, tetap sesuai dan memberikan hasil yang dapat dipercaya dari waktu ke waktu. Kerangka kerja tata kelola model yang kuat mendukung transparansi, akuntabilitas, dan pengulangan di seluruh siklus hidup model.

Dalam industri yang diatur seperti perbankan dan asuransi, tata kelola model adalah persyaratan kepatuhan. Di Amerika Serikat, Office of the Comptroller of the Currency (OCC) menguraikan praktik tata kelola khusus untuk mengelola risiko model di lembaga keuangan. Meskipun panduan OCC tidak membawa kekuatan hukum, panduan ini digunakan dalam pemeriksaan peraturan. Kegagalan untuk mematuhi dapat mengakibatkan denda atau hukuman lainnya.

Ketika pengambilan keputusan real-time menjadi norma dan persyaratan peraturan berkembang, tata kelola model yang efektif muncul sebagai kemampuan penting bagi organisasi yang bertujuan untuk memanfaatkan AI secara bertanggung jawab.

Organisasi semakin menggunakan model kompleks untuk mendukung pengambilan keputusan berisiko tinggi. Baik itu penilaian kredit di industri perbankan atau penilaian risiko pasien dalam perawatan kesehatan, model-model ini hanya seefektif kerangka kerja yang mengaturnya. 
.

Tata kelola model menyediakan struktur untuk mengawasi pengembangan, penerapan, dan kinerja model yang berkelanjutan. Dengan menetapkan kontrol dan akuntabilitas yang jelas pada setiap tahap siklus hidup model, organisasi dapat memastikan model mereka tetap dapat diandalkan dan selaras dengan tujuan bisnis. Hal ini menjadikan tata kelola model sebagai komponen dasar dari manajemen risiko, kepatuhan terhadap peraturan dan integritas operasional. 

Sebagian besar model—terutama model ML— telah tertanam dalam proses bisnis inti. Tanpa tata kelola yang tepat, model-model ini dapat melayang  dari waktu ke waktu yang mengarah pada penurunan kinerja model, hasil yang bias, atau keputusan yang tidak selaras dengan kondisi pasar saat ini atau tren demografis. Di sektor-sektor seperti keuangan atau perawatan kesehatan, kegagalan ini dapat memiliki konsekuensi dunia nyata yang signifikan. 

Model tata kelola menyediakan mekanisme untuk menilai dan mengurangi risiko ini sebelum berdampak pada hasil bisnis. Selain itu, organisasi dapat menggunakan model tata kelola untuk:

• Meningkatkan kepatuhan terhadap peraturan dengan menyelaraskan dengan persyaratan dari OCC dan badan pengatur lainnya
• Meningkatkan kepercayaan di antara para pemangku kepentingandengan brute force keterjelasan, konsistensi, dan keandalan output model
• Mengoptimalkan efisiensi operasional melalui otomatisasi dan integrasi alur kerja tata kelola

Seiring percepatan adopsi AI, tata kelola model juga berfungsi sebagai dasar untuk AI etis. Ini menawarkan cara untuk menanamkan keadilan, akuntabilitas, dan transparansi ke dalam desain dan penerapan model di berbagai contoh penggunaan. 

Kerangka kerja tata kelola untuk model membawa struktur ke apa yang seringkali merupakan ekosistem algoritma, kumpulan data, pemangku kepentingan, dan alur kerja yang luas. Meskipun kerangka kerja bervariasi di berbagai industri, kerangka kerja umumnya mencakup komponen inti berikut:

Tata kelola yang kuat dimulai dari sumbernya: pengembangan model. Komponen ini termasuk menentukan tujuan, memilih data pelatihan, memvalidasi sumber data dan memastikan bahwa input model sesuai dengan contoh penggunaan yang dimaksudkan. Kualitas data sangat penting di sini, karena input yang salah atau bias dapat menyebabkan output model berkualitas rendah.

Dokumentasi model harus menangkap alasan di balik metodologi yang dipilih , asumsi yang dibuat, kumpulan data yang digunakan dan output model yang diharapkan. Dokumentasi ini bertindak sebagai cetak biru untuk transparansi dan membantu merampingkan pembaruan, audit, dan validasi model di masa mendatang.

 Inventaris model yang terpusat memungkinkan organisasi untuk melacak setiap model yang digunakan—bersama dengan tujuan, kepemilikan, metodologi , dan statusnya dalam siklus hidup. Ini termasuk model keuangan, algoritme penilaian kredit, model ML yang digunakan untuk deteksi penipuan dan bahkan model yang disematkan dalam spreadsheet. 

 Inventaris model yang terpelihara dengan baik juga mendukung penilaian risiko yang lebih baik dan memfasilitasi pengambilan keputusan secara real-time terkait penggunaan model.

Validasi adalah aspek inti dari manajemen risiko model. Tim validasi independen menguji model terhadap data historis (pengujian ulang), menilai sensitivitas terhadap faktor dinamis seperti suku bunga atau perubahan demografi dan memverifikasi bahwa output selaras dengan harapan bisnis.

Untuk model ML, validasi meluas hingga memeriksa bias algoritmik, ketahanan, dan overfitting , yaitu ketika suatu algoritma terlalu cocok (atau bahkan persis) dengan data pelatihannya dan tidak dapat menarik kesimpulan yang akurat dari data lainnya. Tujuannya adalah untuk memastikan bahwa hasil model tetap stabil dan dapat ditafsirkan—bahkan saat input bergeser. 

Tata kelola tidak berhenti begitu model diterapkan. Pemantauan model secara terus menerus diperlukan untuk mendeteksi penurunan kinerja, penyimpangan dalam input model, atau perubahan kualitas data. Alat pengamatan dapat membantu melacak metrik seperti akurasi dan ingatan, mendeteksi anomali yang mungkin memerlukan pelatihan ulang atau kalibrasi ulang. 

Dalam alur kerja operasi machine learning (MLOps) modern, organisasi dapat mengotomatiskan bagian-bagian dari proses penerapan, menggabungkan pemeriksaan tata kelola secara langsung ke dalam pipeline integrasi kontinu, pengiriman kontinu (CI/CD). Hal ini memungkinkan iterasi yang lebih cepat tanpa mengorbankan pengawasan.

Tata kelola model adalah olahraga tim di mana ilmuwan data, petugas risiko, pemimpin bisnis, tim kepatuhan, dan auditor semuanya adalah pemain kunci. Mendefinisikan tanggung jawab dan alur kerja yang jelas memastikan akuntabilitas di setiap tahap siklus hidup—mulai dari pengembangan hingga validasi hingga pensiunnya model. 

Tata kelola yang efektif juga melibatkan komunikasi. Baik melalui dasbor internal, laporan tata kelola atau bahkan podcast khusus untuk tim lintas fungsi, informasi harus mengalir secara efisien antar pemangku kepentingan.

Prinsip-prinsip tata kelola model berlaku di berbagai industri, masing-masing dengan risiko, peraturan, dan prioritasnya sendiri:

Tata kelola model ditegakkan melalui peraturan regional dan global yang meminta pertanggungjawaban organisasi atas cara mereka mengelola model di seluruh siklus hidupnya. Peraturan penting meliputi:

SR 11-7 menetapkan standar untuk manajemen risiko model di perbankan, yang mengharuskan institusi untuk memelihara inventaris model yang lengkap dan menerapkan praktik tata kelola di seluruh perusahaan. Hal ini juga mengamanatkan bahwa model-model tersebut memenuhi tujuan yang dimaksudkan, tetap up-to-date dan memiliki dokumentasi yang cukup jelas untuk dipahami secara independen.

Asosiasi Nasional Komisaris Asuransi (NAIC) memperkenalkan regulasi model seputar AI dan pengambilan keputusan algoritmik, khususnya yang berkaitan dengan penilaian kredit, penetapan harga, dan keadilan demografi. Faktor-faktor ini menjadi semakin penting untuk tata kelola penjaminan asuransi dan pemrosesan klaim.

Undang-Undang Kecerdasan Buatan Uni Eropa, juga dikenal sebagai UU AI Uni Eropa atau Undang-Undang AI, adalah undang-undang yang mengatur pengembangan dan/atau penggunaan AI di UE. Undang-undang tersebut mengambil pendekatan berbasis risiko terhadap regulasi, menerapkan aturan yang berbeda untuk AI sesuai dengan risiko yang mereka timbulkan.

Di bawah  Peraturan Perlindungan Data Umum (GDPR), setiap model yang memproses data pribadi warga negara Uni Eropa harus mengikuti prinsip-prinsip seperti keadilan, transparansi, dan akuntabilitas. Hal ini secara tidak langsung berdampak pada tata kelola model ML, terutama untuk penjelasan dan kualitas data. 

Otoritas Pengawas Pasar Keuangan Swiss (FINMA) dan Otoritas Regulasi Prudensial Inggris (PRA) telah menerbitkan panduan tentang AI dan penggunaan model dalam layanan keuangan—FINMA Guidance 08/2024 dan PRA Supervisory Statement SS1/23.

Dokumen-dokumen ini membahas berbagai hal seperti tata kelola model, penjelasan model ML, dan dokumentasi model yang komprehensif. Meskipun memiliki kemiripan dengan SR 11-7, masing-masing memberikan penekanan unik pada aspek-aspek seperti risiko spesifik AI dan ketahanan operasional.​

Kerangka kerja Basel menguraikan prinsip-prinsip agregasi data risiko yang efektif dan pelaporan risiko (BCB 239), yang terkait langsung dengan praktik tata kelola model seperti dokumentasi, penjelasan, dan pengawasan risiko model. Bank-bank yang beroperasi secara internasional sering menggunakan Basel sebagai standar emas di samping SR 11-7.

Meskipun nilai tata kelola model jelas, menerapkannya dalam skala besar menghadirkan beberapa tantangan:

• Volume dan kompleksitas model: Seiring dengan semakin banyaknya organisasi yang mengadopsi alat bantu ML dan AI, mempertahankan inventaris model yang akurat menjadi sulit—terutama ketika model disematkan dalam spreadsheet atau platform pihak ketiga.
  
  
• Penjelasan dan kepercayaan: Banyak pemangku kepentingan, termasuk regulator dan pemimpin bisnis, membutuhkan model yang dapat dijelaskan. Menyeimbangkan kinerja dengan keterjelasan tetap menjadi ketegangan yang terus-menerus dalam tata kelola model AI. 
  
  
• Integrasi dengan MLOps: Kerangka kerja tata kelola harus beradaptasi dengan alur kerja waktu nyata dan penerapangaya DevOps, tanpa memperlambat inovasi. 

Ketika AI dan ML menjadi lebih tertanam dalam alur kerja, kekuatan baru membentuk bagaimana organisasi mendekati tata kelola model. Meskipun praktik-praktik dasar seperti validasi, dokumentasi model, dan pemantauan model tetap penting, beberapa tren yang muncul mulai mengubah ekspektasi.

Tren ini mencerminkan pergeseran yang lebih luas: evolusi model tata kelola yang sedang berlangsung dari pendekatan defensif menjadi kemampuan strategis. Dengan memanfaatkan praktik tata kelola lintas fungsi yang terstruktur, organisasi dapat memperkuat kepercayaan pada model machine learning mereka sambil mempercepat inovasi.