Tentang kuki situs ini Situs kami memerlukan beberapa kuki agar berfungsi dengan baik (diwajibkan). Selain itu, kuki lain dapat digunakan dengan persetujuan Anda untuk menganalisis penggunaan situs, meningkatkan pengalaman pengguna, serta untuk keperluan periklanan. Untuk informasi lebih lanjut, silakan lihat opsi Anda. Dengan mengunjungi situs web kami, Anda menyetujui pemrosesan informasi kami sebagaimana dijelaskan dalampernyataan privasi IBM. Untuk memberikan navigasi yang lancar, preferensi kuki Anda akan dibagikan di seluruh domain situs web IBM yang tercantum di sini.
Apa yang dimaksud dengan manajemen risiko model?
Diterbitkan: 15 Agustus 2024
Kontributor: Rina Caballar, Cole Stryker
Model manajemen risiko adalah proses mengidentifikasi, mengukur dan mengendalikan risiko model. Risiko model terjadi ketika sebuah model digunakan untuk mengukur dan memprediksi informasi kuantitatif namun model tersebut tidak memiliki kinerja yang memadai. Kinerja model yang buruk dapat mengakibatkan konsekuensi yang merugikan, termasuk kerugian finansial yang signifikan.
Model adalah pendekatan, metode, atau sistem kuantitatif apa pun yang memproses data input dan menghasilkan estimasi kuantitatif.1 Model biasanya diterapkan saat membuat keputusan bisnis, menentukan peluang dan risiko bisnis, menyusun strategi bisnis, dan mengelola operasi bisnis.
Lembaga keuangan, misalnya, mengandalkan berbagai model untuk menentukan harga, valuasi, serta mendeteksi dan mencegah penipuan dan pencucian uang, serta berbagai layanan keuangan lainnya. Penggunaan model sering kali menimbulkan risiko, sehingga penting bagi perusahaan untuk memiliki manajemen risiko model (MRM).
Krisis keuangan global tahun 2007 hingga 2008, misalnya, sebagian disebabkan oleh model nilai risiko (VaR) yang salah, yang memperkirakan kerugian masa depan yang mungkin terjadi akibat investasi.2 Pada tahun 2012, bencana perdagangan JPMorgan Chase “London Whale” mengakibatkan kerugian sebesar USD 6 miliar dan denda sebesar hampir USD 1 miliar.3 Hal ini sebagian disebabkan oleh kesalahan spreadsheet dalam perhitungan model, sehingga meremehkan risiko.4
Pada tahun 2021, perusahaan pasar real estat Zillow melakukan penghapusan inventaris senilai USD 304 juta dan berencana untuk memangkas seperempat tenaga kerjanya setelah usaha pembelian rumah yang gagal, yang sebagian disebabkan oleh ketidakmampuan model penilaian harga rumah untuk memprediksi harga rumah secara akurat.5
Pelajari cara membangun kerangka kerja tata kelola AI dan mengadopsi solusi manajemen risiko yang mendorong AI yang tepercaya, jelas, dan dapat dijelaskan.
Risiko model dapat berasal dari berbagai penyebab:
Data input model mungkin salah, tidak lengkap, ketinggalan zaman atau bias. Jika data yang sudah usang digunakan untuk model pasar, misalnya, maka model ini mungkin memproyeksikan tren yang tidak sesuai dengan kinerja pasar atau harga pasar.
Selain itu, jika kumpulan data pelatihan untuk model kecerdasan buatan (AI) tidak dievaluasi untuk mengetahui adanya bias, model AI ini dapat memberikan hasil yang mencerminkan dan melanggengkan bias intrinsik dalam data. Sebagai contoh, sistem penyaringan pelamar kerja mungkin lebih menyukai pelamar pria atau yang lebih muda, sementara perangkat lunak prediksi perawatan kesehatan mungkin menunjukkan bias rasial ketika memprioritaskan pasien yang membutuhkan perawatan segera.
Asumsinya mungkin salah atau tidak realistis. Variabel yang tidak relevan, salah, terlewat atau terlupakan, atau kalibrasi variabel yang salah dapat memengaruhi hasil model.
Misalnya, model penetapan harga yang tidak memperhitungkan volatilitas pasar dapat menghasilkan estimasi yang tidak akurat, sementara model forecasting permintaan produk yang tidak mempertimbangkan perilaku pembelian musiman atau kondisi ekonomi saat ini, seperti penundaan pengiriman atau penurunan belanja, dapat menyebabkan tingkat inventaris yang tidak terkelola dengan baik.
Sementara itu, model prediksi perawatan pasien yang memberi bobot lebih besar pada variabel seperti pengeluaran perawatan kesehatan dapat mengakibatkan model tersebut mendiskriminasi mereka yang memiliki pendapatan lebih rendah dan dengan demikian menghabiskan lebih sedikit untuk perawatan kesehatan tetapi memiliki kebutuhan yang lebih besar untuk mengaksesnya.
Metodologi yang dipilih mungkin memiliki kesalahan yang melekat, sehingga pengembang model harus memiliki pengetahuan tentang model tersebut dan menyadari keterbatasannya. Misalnya, metode statistik seperti pemodelan regression dapat memiliki kesalahan pengambilan sampel dan standar.
Di sinilah memilih model yang tepat juga masuk. Misalnya, meskipun AI generatif adalah teknologi terbaru, ini mungkin tidak cocok untuk forecasting keuangan , di mana model mapan lainnya dapat melakukannya dengan lebih sedikit pekerjaan dan biaya yang lebih rendah.
Pengembangan model yang tidak lengkap atau salah dapat menyebabkan hasil yang tidak akurat atau kesalahan model. Hal yang sama berlaku untuk kesalahan pemrograman, kesalahan dalam perkiraan atau perhitungan dan kesalahan teknis lainnya. Menerapkan jalan pintas atau penyederhanaan apa pun sebagai akibat dari ketidakpastian dan kompleksitas model juga dapat memengaruhi hasilnya.
Misalnya, jadwal yang ketat untuk menerapkan model analisis prediktif untuk kinerja penjualan dapat menyebabkan penggunaan umpan data real-time dari angka penjualan. Namun, karena keputusan ini, model mungkin sering gagal atau lambat untuk berjalan. Dalam hal ini, beralih ke snapshot data harian atau mingguan dapat meningkatkan kecepatan dan stabilitas model.
Pengujian yang ketat juga dapat membantu mendeteksi kesalahan selama implementasi, seperti secara tidak sengaja menggunakan format tanggal yang berbeda untuk model penilaian klaim asuransi atau unit pengukuran lain untuk model diagnostik perawatan kesehatan, atau secara tidak sengaja mengubah mata uang untuk model penetapan harga.
Salah menafsirkan hasil dari suatu model dapat menyebabkan pengambilan keputusan yang keliru dan juga pengambilan tindakan yang salah. Di sinilah analisis pakar diperlukan, para pakar di bidang ini dapat mengevaluasi keandalan hasil suatu model. Keterjelasan dan transparansi juga penting dalam menentukan bagaimana model dapat menghasilkan kesimpulan.
Model mungkin disalahgunakan atau model yang salah mungkin diterapkan pada skenario tertentu. Desain dan spesifikasi model mungkin juga tidak cocok untuk kasus bisnis tertentu.
Sebagai contoh, model yang membantu rumah sakit melakukan triase pasien lebih cepat di negara bagian atau wilayah tertentu mungkin tidak cocok untuk negara bagian atau wilayah tetangga karena perbedaan demografi. Sementara itu, model yang mengidentifikasi kondisi paru-paru pada anak-anak dari pemindaian dada mereka mungkin tidak dapat mendeteksi kondisi yang sama pada orang dewasa.
Jika dibiarkan tidak dikelola, risiko model dapat mendatangkan malapetaka pada keuangan, operasi, dan reputasi organisasi. Manajemen risiko model yang efektif membutuhkan kerangka kerja yang mempertimbangkan risiko pada setiap tahap siklus hidup model.
Manajemen risiko model juga memerlukan mengikuti pedoman peraturan. Di AS, misalnya, Federal Reserve dan Office of the Comptroller of the Currency (OCC) merilis panduan pengawasan tentang manajemen risiko model (tautan berada di luar ibm.com), yang berfungsi sebagai patokan untuk kerangka kerja MRM.
Berikut adalah enam langkah umum menuju kerangka kerja manajemen risiko model yang efektif:
1. Identifikasi risiko model
Mengidentifikasi risiko adalah langkah pertama dalam model manajemen risiko. Ini melibatkan melakukan inventaris model dan mendefinisikan risiko yang terkait dengan masing-masing model.
2. Penilaian risiko model
Langkah selanjutnya adalah mengukur dan mengevaluasi risiko model. Perusahaan dapat membuat sistem pemeringkatan yang mengurutkan risiko model berdasarkan prioritas, probabilitas kejadian, dan tingkat keparahan dampaknya, di antara metrik lainnya.
Selain pengukuran risiko model individu, perusahaan juga dapat mempertimbangkan risiko model agregat. Risiko model agregat mengacu pada risiko yang ditimbulkan oleh dependensi dan interaksi antara berbagai jenis model. Misalnya, hasil model diagnostik perawatan kesehatan mungkin dimasukkan ke dalam model prediksi perawatan pasien. Jika model diagnostik menunjukkan bias, maka bias tersebut dapat terbawa ke model prediksi, sehingga memengaruhi siapa yang mungkin mendapatkan perawatan darurat.
3. Model mitigasi risiko
Mitigasi risiko membutuhkan penanganan sumber dan penyebabnya. Berikut adalah beberapa strategi mitigasi risiko yang dapat diintegrasikan ke dalam kerangka kerja manajemen risiko model:
Audit dan tinjauan: Perusahaan dapat melakukan audit internal mereka sendiri terhadap model mereka atau mempekerjakan ahli pihak ketiga untuk melakukan tinjauan independen.
Standar: Membuat standar untuk proses pemodelan dapat membantu meminimalkan risiko. Standar dapat dibuat untuk pengumpulan data, proses desain dan pengembangan model, pengujian, dokumentasi, dan penggunaan model.
Tidak semua risiko dapat dikurangi, sehingga perusahaan mungkin masih tunduk pada sejumlah eksposur risiko tertentu. Oleh karena itu, organisasi mungkin merasa terbantu untuk mengatur selera risiko mereka. Ini adalah tingkat risiko yang bersedia dan siap ditoleransi oleh perusahaan dan dapat diasumsikan dalam hal penggunaan model.
4. Validasi model
Proses validasi bertindak sebagai tantangan efektif dari model untuk memeriksa kualitasnya dan memverifikasi hasilnya. Validasi model dilakukan setelah implementasi dan sebelum rilis ke pengguna model. Ini mencakup pendekatan kuantitatif dan kualitatif.
Validasi model kuantitatif mencakup strategi berikut:
Backtesting (reka ulang) adalah bentuk analisis hasil yang menggunakan data historis dunia nyata untuk menguji model, sehingga dapat menilai keakuratan dan keefektifannya.
Model penantang adalah model alternatif yang dikembangkan untuk menantang model "juara". Baik model juara maupun penantang menggunakan data yang sama, dan hasilnya dibandingkan untuk mengungkapkan potensi atau risiko tersembunyi.
Analisis sensitivitas memeriksa bagaimana mengubah variabel tertentu dalam kondisi tertentu memengaruhi variabel lain.
Stress testing (uji stres) menerapkan simulasi berdasarkan skenario spekulatif atau teoritis untuk melihat bagaimana model merespons.
Sementara itu, validasi model kualitatif mempertimbangkan faktor-faktor seperti kesesuaian model dengan tujuannya dan apakah model tersebut sesuai dengan standar atau mematuhi peraturan.
5. Pemantauan model
Pemantauan model terus meneliti model untuk memeriksa apakah mereka masih berfungsi sebagaimana dimaksud dan terus bekerja seperti yang diharapkan. Hal ini menunjukkan dengan tepat setiap risiko tambahan yang mungkin timbul atau pembaruan yang diperlukan sebagai akibat dari perubahan data, proses, dan peraturan.
Validasi model biasanya merupakan bagian dari proses pemantauan yang sedang berlangsung. Pada tahap ini, laporan pemantauan dan validasi dibuat dan ditinjau oleh para pemangku kepentingan terkait untuk merekomendasikan tindakan yang diperlukan.
6. Tata kelola model
Tata kelola model menawarkan pengawasan terhadap keseluruhan proses pemodelan. Ini menetapkan sistem kepemilikan dan kontrol melalui kebijakan dan prosedur. Tata kelola risiko model yang baik memerlukan tim pembuat keputusan dan pemangku kepentingan yang beragam—dari dewan direksi dan manajemen senior hingga pemilik model, pengembang model, dan pengguna model.
Banyak model masa kini yang menggunakan AI dan machine learning dalam beberapa bentuk, terutama saat membuat dan menguji model.
Misalnya, AI umumnya diterapkan di industri keuangan untuk memodelkan risiko kredit, risiko pasar, dan risiko operasional. Teknologi ini dapat membantu menilai risiko kredit dan pinjaman, membuat model pasar dan membantu mendeteksi penipuan keuangan dan pencucian uang.
AI dan machine learning juga dapat diterapkan untuk manajemen risiko model, terutama selama validasi model (seperti model pasar stress testing (uji stres)) dan pemantauan model secara real-time. Berikut adalah beberapa algoritma dan metode machine learning umum yang digunakan dalam manajemen risiko model:
Pengelompokan dapat diimplementasikan untuk analisis sensitivitas guna mengungkap anomali yang mungkin mengindikasikan risiko saat variabel diubah atau saat mensimulasikan skenario tertentu.
Decision trees dapat dikombinasikan dengan neural networks untuk memantau model perdagangan, misalnya, memperingatkan pedagang tentang perubahan pola yang mendasarinya selama perdagangan.
Baik pembelajaran mendalam maupun pembelajaran penguatan dapat digunakan untuk pemantauan model secara real-time, mendeteksi masalah, dan secara otomatis merekomendasikan resolusi.
Neural networks dapat membantu pengujian stres, membantu bank memodelkan likuiditas mereka di bawah kondisi ekonomi yang menantang, seperti resesi.
Perangkat lunak manajemen risiko model dapat membantu organisasi mengelola risiko model dengan lebih efektif. Sistem ini menyediakan fitur-fitur canggih, seperti inventaris model dan pelacakan serta pemetaan metrik, model, dan kebijakan terhadap berbagai persyaratan peraturan. Alat manajemen risiko model lainnya juga memungkinkan AI dan manajemen model machine learning, dengan kemampuan yang mencakup otomatisasi pemantauan model dan validasi model.
Solusi terkait
Demonstrasikan tata kelola model yang kuat, pelaporan, dan kepatuhan dengan modul IBM OpenPages Model Risk Governance.
Pelajari lebih lanjut toolkit ini untuk mengatur AI generatif dan model machine learning pada satu platform terintegrasi.
Percepat validasi model AI dan pantau serta kelola model di IBM Watson Studio.
Mengelola risiko dari perubahan kondisi pasar, peraturan yang terus berkembang, atau operasi yang terbebani sekaligus meningkatkan efektivitas dan efisiensi.
Sumber daya
Manajemen risiko pihak ketiga (TPRM) mengidentifikasi, menilai, dan mengurangi risiko yang terkait dengan tugas pengalihdayaan ke vendor pihak ketiga atau penyedia layanan.
Cari tahu bagaimana platform tata kelola, risiko dan kepatuhan (GRC) mendorong nilai berkelanjutan dalam mengelola risiko.
Mengungkap sinergi vital tata kelola, risiko dan kepatuhan dalam operasi bisnis modern.
Catatan kaki
Semua tautan berada di luar ibm.com
1 "SR 11-7: Panduan tentang Model Manajemen Risiko", Federal Reserve, 4 April 2011.
2 "Penyebab struktural dari krisis keuangan global: sebuah penilaian kritis terhadap 'arsitektur keuangan baru'",Cambridge Journal of Economics, 1 Juli 2009.
3 "JPMorgan didenda USD 920 juta dalam kerugian perdagangan 'London Whale'", CNN, 19 September 2013.
4 “Model risk – daring to open up the black box”, British Actuarial Journal, Desember 2015.
5 "Bencana pembelian rumah Zillow menunjukkan betapa sulitnya menggunakan AI untuk menilai real estat", CNN, 9 November 2021.