Apa itu penyimpangan model?

16 Juli 2024

Penyusun

Ivan Belcic

Staff writer

Cole Stryker

Editorial Lead, AI Models

Apa itu penyimpangan model?

Penyimpangan model mengacu pada degradasi kinerja model machine learning karena perubahan data atau hubungan antara variabel input dan hasil. Penyimpangan model, yang juga sering disebut keusangan model, dapat mengganggu kinerja model, yang berakibat pada pengambilan keputusan yang salah dan prediksi buruk.

Untuk mendeteksi dan mengatasi penyimpangan, organisasi dapat memantau dan mengelola kinerja pada platform data dan kecerdasan buatan (AI) mereka. Jika tidak dipantau dengan benar dari waktu ke waktu, bahkan model AI yang paling terlatih dan tidak memihak pun dapat “melayang” dari parameter aslinya dan menghasilkan hasil yang tidak diinginkan saat menerapkan. Deteksi penyimpangan adalah komponen inti dari tata kelola AI yang kuat.

Model yang dibangun dengan data historis dapat dengan cepat menjadi stagnan. Biasanya, titik data baru selalu muncul, yang berarti variasi baru, pola baru, tren baru, yang tidak dapat ditangkap oleh data historis lama. Jika pelatihan model AI tidak selaras dengan data yang masuk, model tersebut tidak dapat menafsirkan data secara akurat atau menggunakan data langsung tersebut untuk membuat prediksi yang akurat.

Jika tidak terdeteksi dan dikurangi dini, penyimpangan dapat bertambah parah, meningkatkan dampak buruk terhadap operasi. Deteksi penyimpangan memberdayakan organisasi untuk terus menerima hasil akurat dari model mereka.

Desain 3D bola yang menggelinding di lintasan

Berita + Insight AI terbaru 


Temukan insight dan berita yang dikurasi oleh para pakar tentang AI, cloud, dan lainnya di Buletin Think mingguan. 

Penyebab penyimpangan model

Dunia terus berubah, begitu juga dengan data yang terus berubah, maka model yang digunakan untuk memahami dunia harus terus ditinjau dan diperbarui. Berikut adalah 3 jenis penyimpangan model drift yang perlu ditangani, masing-masing dengan penyebab yang berbeda.

1. Penyimpangan konsep

Penyimpangan konsep terjadi ketika ada perbedaan antara variabel input dan variabel target, di mana algoritma mulai memberikan jawaban yang salah karena definisi tidak lagi valid. Penyimpangan variabel independen dapat berlaku selama berbagai periode yaitu:

Musiman

Penyimpangan konsep berulang dan surut secara teratur, seperti untuk musiman perilaku membeli sebagai respons terhadap perubahan cuaca. Di iklim musim dingin, penjualan sekop salju dan peniup salju biasanya akan meningkat di akhir musim gugur dan awal musim dingin. Penyesuaian geografis juga harus dilakukan untuk perkiraan hujan salju.

Tiba-tiba

Perkembangan yang tidak terduga dapat mendorong pola pembelian baru. Contohnya adalah publisitas yang tiba-tiba muncul di sekitar ChatGPT yang menciptakan peningkatan permintaan untuk produk perangkat keras dan perangkat lunak AI, dan meningkatkan nilai saham perusahaan yang terkait dengan AI. Model peramalan yang dilatih sebelum berita itu diterbitkan mungkin tidak dapat memprediksi hasil selanjutnya.

Contoh lain adalah datangnya pandemi Covid-19, yang juga menciptakan perubahan perilaku secara tiba-tiba: penjualan permainan dan peralatan olahraga melonjak, sementara restoran dan hotel melihat pengunjung yang jauh lebih sedikit.

Bertahap

Beberapa penyimpangan terjadi secara bertahap, atau pada kecepatan yang diharapkan. Misalnya, pengirim spam dan peretas telah menggunakan berbagai alat dan trik selama bertahun-tahun. Seiring dengan meningkatnya perangkat lunak perlindungan dan filter spam, pelaku kejahatan pun ikut berkembang. Setiap AI yang dirancang untuk melindungi interaksi digital perlu mengikuti perkembangan; model statis akan segera tidak berguna.

2. Penyimpangan data

Penyimpangan data, juga dikenal sebagai pergeseran kovariat, terjadi ketika distribusi data yang mendasari data input telah berubah. Di retail, penjualan suatu produk mungkin dipengaruhi oleh diperkenalkannya produk baru lainnya atau penghentian produk pesaing. Atau jika sebuah situs web pertama kali diadopsi oleh generasi muda, namun kemudian diterima oleh generasi yang lebih tua, model awal yang didasarkan pada pola penggunaan pengguna yang lebih muda mungkin tidak akan berfungsi dengan baik pada basis pengguna yang lebih tua.

3. Perubahan data hulu

Perubahan data hulu terjadi ketika ada perubahan dalam pipeline data. Sebagai contoh, data hulu mungkin diubah ke mata uang yang berbeda, seperti USD versus EUR atau pengukuran dalam mil, bukan kilometer, atau suhu dalam Fahrenheit, bukan Celcius. Perubahan seperti itu akan membuang model yang tidak dibangun untuk memperhitungkan perubahan dalam cara data diberi label.

Mixture of Experts | Podcast

Decoding AI: Rangkuman Berita Mingguan

Bergabunglah dengan panel insinyur, peneliti, pemimpin produk, dan sosok kelas dunia lainnya selagi mereka mengupas tuntas tentang AI untuk menghadirkan berita dan insight terbaru seputar AI.

Bagaimana penyimpangan dapat dideteksi?

Bisnis dan ilmuwan data dapat menggunakan berbagai metode deteksi penyimpangan data untuk terus memantau penyimpangan model machine learning dan memperbaikinya sebelum model mereka menjadi usang.

Banyak dari metode yang paling populer adalah metode berbasis distribusi waktu yang mengukur potensi penyimpangan antara dua distribusi probabilitas. Jika hasil sangat berbeda, maka sifat statistik dari input kemungkinan besar telah berubah, yang mengakibatkan penyimpangan data.

Deteksi penyimpangan data adalah aspek inti dari observabilitas data, yang merupakan praktik pemantauan berkelanjutan kualitas dan keandalan data yang mengalir dalam organisasi. Bahasa pengodean Python sangat populer dalam ilmu data untuk digunakan dalam pembuatan pendeteksi penyimpangan sumber terbuka.

Tes Kolmogorov-Smirnov (KS)

Uji Kolmogorov-Smirnov (K-S) mengukur apakah dua kumpulan data berasal dari distribusi yang sama. Dalam bidang ilmu data, uji K-S bersifat nonparametrik, yang berarti bahwa uji ini tidak mengharuskan distribusi memenuhi asumsi atau kriteria yang telah ditetapkan sebelumnya.

Ilmuwan data menggunakan tes Kolmogorov-Smirnov karena dua alasan utama:

  • Untuk menentukan apakah sampel data berasal dari populasi tertentu.

  • Untuk membandingkan dua sampel data dan melihat apakah mereka berasal dari populasi yang sama.

Jika hasil uji K-S menunjukkan bahwa dua set data tampak berasal dari populasi yang berbeda, maka kemungkinan besar telah terjadi penyimpangan data, sehingga uji K-S merupakan pendeteksi penyimpangan yang andal.

Jarak Wasserstein

Jarak Wasserstein, yang dinamai dari ahli matematika Leonid Vaserstein, menggunakan metafora sederhana sebagai visualisasi tingkat keparahan penyimpangan data. Ini membayangkan dua tumpukan kecil tanah, dengan penyimpangan data sebagai jumlah pekerjaan yang diperlukan untuk membuat satu tumpukan dari tanah yang diambil dari tumpukan lainnya. Karena alasan ini, jarak Wasserstein juga dikenal dalam ilmu komputer dan ilmu data sebagai jarak penggerak bumi (EMD).

Sebagai metode deteksi penyimpangan, jarak Wasserstein membandingkan data pelatihan dengan data input baru yang dimasukkan ke dalam model machine learning. Ini unggul dalam mengidentifikasi hubungan kompleks antara fitur dan dapat menavigasi outlier untuk hasil yang konsisten.

Indeks stabilitas populasi

Indeks stabilitas populasi (PSI) membandingkan distribusi fitur kategorikal di dua set data untuk menentukan sejauh mana distribusi tersebut telah berubah dari waktu ke waktu.

Divergensi yang lebih besar dalam distribusi, diwakili oleh nilai PSI yang lebih tinggi, menunjukkan adanya penyimpangan model. PSI dapat mengevaluasi fitur independen dan dependen; yang berubah berdasarkan variabel lain.

Jika distribusi satu atau beberapa fitur kategorikal menghasilkan PSI yang tinggi, model mesin kemungkinan besar membutuhkan kalibrasi ulang atau bahkan pembangunan ulang.

Praktik terbaik untuk menghindari penyimpangan model

Bisnis dapat mengelola deteksi penyimpangan data dan remediasi dengan lebih baik dengan mengikuti praktik terbaik berikut:

Otomatiskan deteksi penyimpangan

Keakuratan model AI dapat menurun dalam beberapa hari setelah penerapan, karena data produksi berbeda dengan data pelatihan model. Hal ini dapat menyebabkan prediksi yang salah dan eksposur risiko yang signifikan.

Untuk melindungi dari penyimpangan dan bias model, organisasi harus menggunakan detektor penyimpangan AI dan alat pemantauan yang secara otomatis mendeteksi ketika akurasi model menurun (atau menyimpang) di bawah ambang batas yang telah ditetapkan.

Program untuk mendeteksi penyimpangan model ini juga harus melacak transaksi mana yang menyebabkan penyimpangan, sehingga memungkinkan mereka untuk dilabel ulang dan digunakan untuk melatih ulang model, memulihkan kekuatan prediktifnya selama waktu proses.

Deteksi penyimpangan statistik menggunakan metrik statistik untuk membandingkan dan menganalisis sampel data. Ini seringkali lebih mudah diterapkan karena sebagian besar metrik sudah digunakan dalam perusahaan. Deteksi penyimpangan berbasis model mengukur kesamaan antara titik atau kelompok titik versus garis dasar referensi.

Otomatiskan pengujian model

Organisasi harus menguji model AI mereka, terutama model AI generatif, secara berkala sepanjang siklus hidup model. Pengujian ini idealnya meliputi:

  1. Validasi model dalam pra-produksi dengan pengujian untuk mendeteksi bias dan penyimpangan, dan kemudian menghasilkan laporan pengujian.
  2. Mentransfer konfigurasi pengujian pra-penerapan yang berhasil untuk model ke versi model yang diterapkan dan melanjutkan pengujian otomatis.
  3. Menyinkronkan model, data, dan informasi hasil tes dengan sistem catatan.
  4. Otomatisasi yang dapat memberikan notifikasi yang konsisten dan dapat diandalkan serta memberikan lebih banyak waktu bagi tim untuk fokus pada pengembangan model alih-alih pemantauan model.

    Kelola dalam lingkungan yang terpadu

    Menurut studi Forrester Total Economic Impact, “Dengan membangun, menjalankan, dan mengelola model dalam data terpadu dan lingkungan AI, [organisasi] dapat memastikan bahwa model AI tetap adil, dapat dijelaskan, dan patuh di mana pun. Pendekatan AI menyeluruh ini secara unik memungkinkan organisasi untuk mendeteksi dan membantu memperbaiki penyimpangan dan bias model, serta mengelola risiko model saat model AI sedang diproduksi.”

    Praktik terbaik adalah mengelola semua model dari dasbor pusat. Pendekatan terintegrasi dapat membantu organisasi melacak metrik secara terus menerus dan memperingatkan tim tentang penyimpangan dalam akurasi dan konsistensi data selama pengembangan, validasi, dan penerapan. Pandangan yang terpusat dan menyeluruh dapat membantu organisasi memecah silo dan memberikan lebih banyak transparansi di seluruh silsilah data.

    Lakukan pemantauan penyimpangan berkelanjutan

    Deteksi skenario dan ukuran penyimpangan melalui model AI yang membandingkan data produksi dan data pelatihan serta prediksi model secara real time. Dengan cara ini, penyimpangan dapat ditemukan dengan cepat dan pelatihan ulang dapat segera dimulai. Deteksi ini berulang, sama seperti sifat operasi machine learning (MLOps) yang berulang.

    Analisis akar masalah

    Analisis berbasis waktu membantu melihat bagaimana penyimpangan berkembang dan kapan itu terjadi. Misalnya, jika pemeriksaan dijalankan setiap minggu, itu akan menunjukkan bagaimana penyimpangan berkembang setiap hari.

    Menganalisis garis waktu juga dapat membantu untuk menentukan apakah penyimpangan itu bertahap atau tiba-tiba. Pendekatan AI yang dapat dijelaskan menerapkan transparansi ini pada penggunaan AI dan membantu organisasi memantau bagaimana dan mengapa model mereka memberikan hasil tertentu.

    Melatih kembali model

    Gunakan kumpulan data pelatihan baru yang memiliki sampel yang lebih baru dan relevan di dalamnya. Tujuannya adalah untuk mengembalikan model bahasa besar Anda (LLM) ke produksi dengan cepat dan benar. Jika pelatihan ulang model tidak menyelesaikan masalah, mungkin diperlukan model baru. Teknik operasi model bahasa besar (LLMOps) dapat membantu organisasi dalam memantau dan melatih ulang LLM mereka.

    Perbarui model ML secara real time

    Alih-alih melatih model dengan data batch, organisasi dapat mempraktikkan “pembelajaran online” dengan memperbarui model machine learning (ML) menggunakan data dunia nyata terbaru jika tersedia.

    Verifikasi data input

    Sebuah model dapat terlihat menyimpang karena data yang digunakan untuk melatihnya berbeda dengan data produksi aktual yang akan digunakan. Dalam contoh penggunaan medis, jika pemindaian resolusi tinggi digunakan dalam pelatihan, tetapi hanya pemindaian resolusi rendah yang tersedia di lapangan, maka hasilnya salah.

    Solusi terkait
    IBM watsonx.ai

    Latih, validasi, lakukan tuning, dan terapkan AI generatif, model dasar, dan kemampuan machine learning dengan IBM watsonx.ai, studio perusahaan generasi berikutnya untuk pembangun AI. Bangun aplikasi AI dalam waktu singkat, dengan sedikit data.

    Temukan watsonx.ai
    Solusi kecerdasan buatan (AI)

    Gunakan AI di bisnis Anda dalam perpaduan antara keahlian AI terdepan di industri dari IBM dan portofolio solusi Anda.

    Jelajahi solusi AI
    Konsultasi dan layanan AI

    Temukan kembali alur kerja dan operasi yang penting dengan menambahkan AI untuk memaksimalkan pengalaman, pengambilan keputusan secara real-time, dan nilai bisnis.

    Jelajahi layanan AI
    Ambil langkah selanjutnya

    Dapatkan akses satu atap ke kemampuan yang mencakup siklus hidup pengembangan AI. Hasilkan solusi AI yang kuat dengan antarmuka ramah pengguna, alur kerja yang efisien, serta akses ke API dan SDK berstandar industri.

    Jelajahi watsonx.ai Pesan demo langsung