Apa yang dimaksud dengan manajemen risiko model?

Penyusun

Rina Diane Caballar

Staff Writer

IBM Think

Cole Stryker

Staff Editor, AI Models

IBM Think

Apa itu manajemen risiko model?

Model manajemen risiko adalah proses mengidentifikasi, mengukur dan mengendalikan risiko model. Risiko model terjadi ketika sebuah model digunakan untuk mengukur dan memprediksi informasi kuantitatif namun model tersebut tidak memiliki kinerja yang memadai. Kinerja model yang buruk dapat mengakibatkan konsekuensi yang merugikan, termasuk kerugian finansial yang signifikan.

Model adalah pendekatan, metode, atau sistem kuantitatif apa pun yang memproses data input dan menghasilkan estimasi kuantitatif.1 Model biasanya diterapkan saat membuat keputusan bisnis, menentukan peluang dan risiko bisnis, menyusun strategi bisnis, dan mengelola operasi bisnis.

Lembaga keuangan, misalnya, mengandalkan berbagai model untuk menentukan harga, valuasi, serta mendeteksi dan mencegah penipuan dan pencucian uang, serta berbagai layanan keuangan lainnya. Penggunaan model sering kali menimbulkan risiko, sehingga penting bagi perusahaan untuk memiliki manajemen risiko model (MRM).

Krisis keuangan global tahun 2007 hingga 2008, misalnya, sebagian disebabkan oleh model nilai risiko (VaR) yang salah, yang memperkirakan kerugian masa depan yang mungkin terjadi akibat investasi.2 Pada tahun 2012, bencana perdagangan JPMorgan Chase “London Whale” mengakibatkan kerugian sebesar USD 6 miliar dan denda sebesar hampir USD 1 miliar.3 Hal ini sebagian disebabkan oleh kesalahan spreadsheet dalam perhitungan model, sehingga meremehkan risiko.4 

Pada tahun 2021, perusahaan pasar real estat Zillow melakukan penghapusan inventaris senilai USD 304 juta dan berencana untuk memangkas seperempat tenaga kerjanya setelah usaha pembelian rumah yang gagal, yang sebagian disebabkan oleh ketidakmampuan model penilaian harga rumah untuk memprediksi harga rumah secara akurat.5

Berita teknologi terbaru, didukung oleh insight dari pakar

Tetap terinformasi tentang tren industri yang paling penting—dan menarik—tentang AI, otomatisasi, data, dan di luarnya dengan buletin Think. Lihat Pernyataan Privasi IBM®.

Terima kasih! Anda telah berlangganan.

Langganan Anda akan disediakan dalam bahasa Inggris. Anda akan menemukan tautan berhenti berlangganan di setiap buletin. Anda dapat mengelola langganan atau berhenti berlangganan di sini. Lihat Pernyataan Privasi IBM® kami untuk informasi lebih lanjut.

Sumber risiko model

Risiko model dapat berasal dari berbagai penyebab:

Data

Data input model mungkin salah, tidak lengkap, usang, atau bias. Jika data yang sudah usang digunakan untuk model pasar, misalnya, maka model ini mungkin memproyeksikan tren yang tidak sesuai dengan kinerja atau harga pasar.

Selain itu, jika kumpulan data pelatihan untuk model kecerdasan buatan (AI) tidak dievaluasi untuk mengetahui adanya bias,model AI ini dapat memberikan hasil yang mencerminkan dan melanggengkan bias intrinsik dalam data. Sebagai contoh, sistem penyaringan pelamar kerja mungkin lebih menyukai pelamar pria atau yang lebih muda, sementara perangkat lunak prediksi perawatan kesehatan mungkin menunjukkan bias rasial ketika memprioritaskan pasien yang membutuhkan perawatan segera.

Asumsi dan variabel

Asumsinya mungkin salah atau tidak realistis. Variabel yang tidak relevan, salah, terlewat atau terlupakan, atau kalibrasi variabel yang salah dapat memengaruhi hasil model.

Misalnya, model penetapan harga yang tidak memperhitungkan volatilitas pasar dapat menghasilkan estimasi yang tidak akurat, sementara model forecasting permintaan produk yang tidak mempertimbangkan perilaku pembelian musiman atau kondisi ekonomi saat ini, seperti penundaan pengiriman atau penurunan belanja, dapat menyebabkan tingkat inventaris yang tidak terkelola dengan baik.

Sementara itu, model prediksi perawatan pasien yang memberi bobot lebih besar pada variabel seperti pengeluaran perawatan kesehatan dapat mengakibatkan model tersebut mendiskriminasi mereka yang memiliki pendapatan lebih rendah dan dengan demikian menghabiskan lebih sedikit untuk perawatan kesehatan tetapi memiliki kebutuhan yang lebih besar untuk mengaksesnya.

Metodologi

Metodologi yang dipilih mungkin memiliki kesalahan yang melekat, sehingga pengembang model harus memiliki pengetahuan tentang model tersebut dan menyadari keterbatasannya. Misalnya, metode statistik seperti pemodelan regresi dapat memiliki kesalahan pengambilan sampel dan standar.

Di sinilah memilih model yang tepat juga berperan. Misalnya, meskipun AI generatif adalah teknologi terbaru, ini mungkin tidak cocok untuk memperkirakan keuangan di mana model mapan lainnya dapat melakukannya dengan lebih sedikit pekerjaan dan biaya yang lebih rendah.

Implementasi model

Pengembangan model yang tidak lengkap atau salah dapat menyebabkan hasil yang tidak akurat atau kesalahan model. Hal yang sama berlaku untuk kesalahan pemrograman, kesalahan dalam perkiraan atau perhitungan dan kesalahan teknis lainnya. Menerapkan jalan pintas atau penyederhanaan apa pun sebagai akibat dari ketidakpastian dan kompleksitas model juga dapat memengaruhi hasilnya.

Misalnya, jadwal yang ketat untuk menerapkan model analisis prediktif untuk kinerja penjualan dapat menyebabkan penggunaan umpan data real-time dari angka penjualan. Namun, karena keputusan ini, model mungkin sering gagal atau lambat untuk berjalan. Dalam hal ini, beralih ke snapshot data harian atau mingguan dapat meningkatkan kecepatan dan stabilitas model.

Pengujian yang ketat juga dapat membantu mendeteksi kesalahan selama implementasi, seperti secara tidak sengaja menggunakan format tanggal yang berbeda untuk model penilaian klaim asuransi atau unit pengukuran lain untuk model diagnostik perawatan kesehatan, atau secara tidak sengaja mengubah mata uang untuk model penetapan harga.

Interpretasi hasil

Salah menafsirkan hasil dari suatu model dapat menyebabkan pengambilan keputusan yang keliru dan juga pengambilan tindakan yang salah. Di sinilah analisis pakar diperlukan, para pakar di bidang ini dapat mengevaluasi keandalan hasil suatu model. Karakter dapat menjelaskan dan transparansi juga penting dalam menentukan bagaimana model dapat menghasilkan kesimpulan.

Penggunaan model

Model mungkin disalahgunakan atau model yang salah mungkin diterapkan pada skenario tertentu. Desain dan spesifikasi model mungkin juga tidak cocok untuk kasus bisnis tertentu.

Sebagai contoh, model yang membantu rumah sakit melakukan triase pasien lebih cepat di negara bagian atau wilayah tertentu mungkin tidak cocok untuk negara bagian atau wilayah tetangga karena perbedaan demografi. Sementara itu, model yang mengidentifikasi kondisi paru-paru pada anak-anak dari pemindaian dada mereka mungkin tidak dapat mendeteksi kondisi yang sama pada orang dewasa.

Mengelola risiko model

Jika dibiarkan tidak dikelola, risiko model dapat mendatangkan malapetaka pada keuangan, operasi, dan reputasi organisasi. Manajemen risiko model yang efektif membutuhkan kerangka kerja yang mempertimbangkan risiko pada setiap tahap siklus hidup model.

Manajemen risiko model juga perlu mengikuti pedoman peraturan. Di AS, misalnya, Federal Reserve dan Office of the Comptroller of the Currency (OCC) merilis panduan pengawasan tentang manajemen risiko model yang berfungsi sebagai tolok ukur untuk kerangka kerja MRM.

Berikut adalah enam langkah umum menuju kerangka kerja manajemen risiko model yang efektif:

1. Identifikasi risiko model

Mengidentifikasi risiko adalah langkah pertama dalam model manajemen risiko. Ini melibatkan melakukan inventaris model dan mendefinisikan risiko yang terkait dengan masing-masing model.

2. Penilaian risiko model

Langkah selanjutnya adalah mengukur dan mengevaluasi risiko model. Perusahaan dapat membuat sistem pemeringkatan yang mengurutkan risiko model berdasarkan prioritas, probabilitas kejadian, dan tingkat keparahan dampaknya, di antara metrik lainnya.

Selain pengukuran risiko model individu, perusahaan juga dapat mempertimbangkan risiko model agregat. Risiko model agregat mengacu pada risiko yang ditimbulkan oleh dependensi dan interaksi antara berbagai jenis model. Misalnya, hasil model diagnostik perawatan kesehatan mungkin dimasukkan ke dalam model prediksi perawatan pasien. Jika model diagnostik menunjukkan bias, maka bias tersebut dapat terbawa ke model prediksi, sehingga memengaruhi siapa yang mungkin mendapatkan perawatan darurat.

3. Model mitigasi risiko

Mitigasi risiko membutuhkan penanganan sumber dan penyebabnya. Berikut adalah beberapa strategi mitigasi risiko yang dapat diintegrasikan ke dalam kerangka kerja manajemen risiko model:

  • Audit dan tinjauan: Perusahaan dapat melakukan audit internal mereka sendiri terhadap model mereka atau mempekerjakan ahli pihak ketiga untuk melakukan tinjauan independen.

  • Standar: Membuat standar untuk proses pemodelan dapat membantu meminimalkan risiko. Standar dapat dibuat untuk pengumpulan data, proses desain dan pengembangan model, pengujian, dokumentasi, dan penggunaan model.

Tidak semua risiko dapat dikurangi, sehingga perusahaan mungkin masih tunduk pada sejumlah eksposur risiko tertentu. Oleh karena itu, organisasi mungkin merasa terbantu untuk mengatur selera risiko mereka. Ini adalah tingkat risiko yang bersedia dan siap ditoleransi oleh perusahaan dan dapat diasumsikan dalam hal penggunaan model.

4. Validasi model

Proses validasi bertindak sebagai tantangan efektif dari model untuk memeriksa kualitasnya dan memverifikasi hasilnya. Validasi model dilakukan setelah implementasi dan sebelum rilis ke pengguna model. Ini mencakup pendekatan kuantitatif dan kualitatif.

Validasi model kuantitatif mencakup strategi berikut:

  • Reka ulang adalah bentuk analisis hasil yang menggunakan data historis dunia nyata untuk menguji model, sehingga dapat menilai keakuratan dan keefektifannya.

  • Model penantang adalah model alternatif yang dikembangkan untuk menantang model "juara". Baik model juara maupun penantang menggunakan data yang sama dan hasilnya dibandingkan untuk mengungkapkan potensi atau risiko tersembunyi.

  • Analisis sensitivitas memeriksa bagaimana mengubah variabel tertentu dalam kondisi tertentu memengaruhi variabel lain.

  • Uji stres menerapkan simulasi berdasarkan skenario spekulatif atau teoretis untuk melihat bagaimana model merespons.

Sementara itu, validasi model kualitatif mempertimbangkan faktor-faktor seperti kesesuaian model dengan tujuannya dan apakah model tersebut sesuai dengan standar atau mematuhi peraturan.

5. Pemantauan model

Pemantauan model terus meneliti model untuk memeriksa apakah mereka masih berfungsi sebagaimana dimaksudkan dan terus bekerja seperti yang diharapkan. Hal ini menunjukkan dengan tepat setiap risiko tambahan yang mungkin timbul atau pembaruan yang diperlukan sebagai akibat dari perubahan data, proses, dan peraturan.

Validasi model biasanya merupakan bagian dari proses pemantauan yang sedang berlangsung. Pada tahap ini, laporan pemantauan dan validasi dibuat dan ditinjau oleh para pemangku kepentingan terkait untuk merekomendasikan tindakan yang diperlukan.

6. Tata kelola model

Tata kelola model menawarkan pengawasan terhadap keseluruhan proses pemodelan. Ini menetapkan sistem kepemilikan dan kontrol melalui kebijakan dan prosedur. Tata kelola risiko model yang baik memerlukan tim pembuat keputusan dan pemangku kepentingan yang beragam—dari dewan direksi dan manajemen senior hingga pemilik model, pengembang model, dan pengguna model.

Akademi AI

Bangkitnya AI generatif untuk bisnis

Pelajari tentang sejarah kebangkitan AI generatif dan apa pengaruhnya bagi bisnis.

AI untuk manajemen risiko model

Banyak model masa kini yang menggunakan AI dan machine learning dalam bentuk tertentu, terutama saat membuat dan menguji model.

Misalnya, AI umumnya diterapkan di industri keuangan untuk memodelkan risiko kredit, risiko pasar, dan risiko operasional. Teknologi ini dapat membantu menilai risiko kredit dan pinjaman, membuat model pasar, dan membantu mendeteksi penipuan keuangan dan pencucian uang.

AI dan machine learning juga dapat diterapkan untuk manajemen risiko model, terutama selama validasi model (seperti model pasar stress testing (uji stres)) dan pemantauan model secara real-time. Berikut adalah beberapa algoritma dan metode machine learning umum yang digunakan dalam manajemen risiko model:

  • Pengelompokan dapat diimplementasikan untuk analisis sensitivitas guna mengungkap anomali yang mungkin mengindikasikan risiko saat variabel diubah atau saat menyimulasikan skenario tertentu.

  • Struktur keputusan dapat dikombinasikan dengan neural networks untuk memantau model perdagangan, misalnya, memperingatkan pedagang tentang perubahan pola yang mendasari selama perdagangan.

  • Neural networks dapat membantu uji stres, membantu bank memodelkan likuiditas mereka di bawah kondisi ekonomi yang menantang, seperti resesi.

Model perangkat lunak manajemen risiko

Perangkat lunak manajemen risiko model dapat membantu organisasi mengelola risiko model dengan lebih efektif. Sistem ini menyediakan berbagai fitur canggih, seperti inventaris model dan pelacakan serta pemetaan metrik, model, dan kebijakan terhadap berbagai persyaratan peraturan. Alat manajemen risiko model lainnya juga memungkinkan AI dan manajemen model machine learning, dengan kemampuan yang mencakup otomatisasi pemantauan model dan validasi model.

Solusi terkait
Solusi operasi bisnis

Bangun bisnis yang lebih tangguh dengan didukung solusi AI untuk manajemen aset dan rantai pasokan yang cerdas.

Jelajahi solusi operasi
Layanan konsultasi operasi bisnis

Transformasikan operasi bisnis Anda dengan IBM menggunakan data yang lengkap dan teknologi AI yang tangguh untuk mengintegrasikan proses pengoptimalan.

Jelajahi layanan operasi bisnis
IBM Cloud Pak for Business Automation

IBM Cloud Pak for Business Automation adalah seperangkat modular komponen perangkat lunak terintegrasi untuk manajemen operasi dan otomatisasi.

Jelajahi Otomatisasi Bisnis
Ambil langkah selanjutnya

Transformasikan operasi bisnis Anda dengan solusi IBM yang terdepan dalam industri. Tingkatkan produktivitas, ketangkasan, dan inovasi melalui alur kerja cerdas dan teknologi otomatisasi.

 

Jelajahi solusi operasi Jelajahi layanan kecerdasan buatan