Apa itu keruntuhan model?

Pepatah umum dalam pengembangan AI dan ilmu komputer adalah bahwa model kecerdasan buatan (AI) hanya sebagus data yang dilatih. Dalam beberapa tahun terakhir, para peneliti telah menemukan bahwa model generatif yang dilatih hanya pada hasil pendahulunya menghasilkan hasil yang semakin tidak akurat. Model-model ini, yang berisi “cacat yang tidak dapat diperbaiki”, pada akhirnya menjadi tidak berguna.¹ Ini terjadi karena kesalahan apa pun yang ada dalam hasil satu model selama pemasangannya akan dimasukkan dalam pelatihan model selanjutnya. Kemudian, model baru juga menghasilkan kesalahannya sendiri. Keruntuhan model akan semakin parah seiring dengan bertambahnya kesalahan pada generasi berikutnya.²

Kesalahan ini terjadi karena model AI menghasilkan kumpulan data dengan variasi yang lebih sedikit daripada distribusi data asli. Ilia Shumailov, Zakhar Shumailov, Yiren Zhao, dan sebuah tim peneliti yang berbasis di universitas-universitas di Inggris dan Kanada menulis sebuah laporan yang dikutip secara luas tentang keruntuhan model. Melalui eksperimen pada model AI, tim menemukan bahwa model yang dilatih dengan data yang dihasilkan AI, yang juga dikenal sebagai data sintetis, pada awalnya kehilangan informasi dari bagian ekor, atau bagian yang paling jauh, dari distribusi data yang sebenarnya, yang mereka sebut sebagai “keruntuhan model awal”. Pada iterasi model selanjutnya, distribusi data semakin menyatu sehingga hampir tidak terlihat sama sekali seperti data asli, yang oleh para peneliti disebut sebagai “keruntuhan model akhir”.³

Dalam skenario dunia nyata, keruntuhan model mungkin terjadi karena proses pelatihan yang digunakan untuk model AI generatif besar, seperti model bahasa besar (LLM). LLM sebagian besar dilatih pada data yang dihasilkan manusia yang diambil dari internet. Namun, karena semakin banyak konten yang dihasilkan AI berkembang biak di seluruh web, semakin banyak konten tersebut dapat digunakan untuk melatih model masa depan daripada data yang dihasilkan manusia, yang berpotensi memicu keruntuhan model.

Fenomena keruntuhan model menimbulkan konsekuensi serius bagi pengembangan AI, sehingga para peneliti mengusulkan beberapa solusi. Solusi tersebut termasuk melacak asal data, menjaga akses ke sumber data asli, dan menggabungkan akumulasi data buatan AI dengan data nyata untuk melatih model AI.

Model AI generatif telah menjadi berita utama dalam beberapa tahun terakhir karena menciptakan hasil yang tidak akurat dan tidak masuk akal, juga disebut halusinasi AI. Sebagai contoh, chatbot Google Bard membuat klaim yang salah tentang Teleskop Luar Angkasa James Webb, sementara kecenderungan gambar manusia yang dihasilkan oleh AI yang memiliki jari-jari ekstra ada di mana-mana.

Meskipun hasil yang tidak akurat dan tidak masuk akal menimbulkan ketidaknyamanan dan terkadang konyol, konsekuensi dari keruntuhan model bisa sangat besar:

Hasil yang tidak akurat dari keruntuhan model dapat menciptakan konsekuensi mahal bagi bisnis yang menggunakan AI dalam pengambilan keputusan. Segala sesuatu mulai dari chatbot layanan pelanggan hingga alat diagnostik medis yang didukung AI mungkin terpengaruh. Bayangkan, misalnya, model diagnostik AI yang gagal mendiagnosis pasien yang memiliki penyakit langka karena kondisi probabilitas rendah yang akhirnya dilupakan dan dihapus dari kumpulan data pelatihan pada generasi model sebelumnya.

Di bawah keruntuhan model, model mungkin membuang titik data yang tidak umum yang terkait dengan interaksi dan preferensi manusia yang sebenarnya. Akibatnya, pengguna yang mencari konten yang kurang populer atau unik dapat merasa kecewa dengan hasil model.⁴ Sebagai contoh, pertimbangkan sistem rekomendasi AI untuk pembeli online: jika seorang konsumen lebih memilih sepatu berwarna hijau limau, tetapi sistem terus merekomendasikan sepatu berwarna hitam dan putih karena keduanya merupakan sepatu terlaris, konsumen mungkin akan cenderung mencari bantuan di tempat lain.

Jika sistem AI yang digunakan secara luas mengalami keruntuhan model terus-menerus menghasilkan hasil yang lebih sempit, ide-ide “ekor panjang” mungkin pada akhirnya akan menghilang dari kesadaran masyarakat, membatasi ruang lingkup pengetahuan manusia dan memperburuk bias umum dalam masyarakat.⁵ Misalnya, para ilmuwan masa kini dapat beralih ke alat penelitian yang didukung AI untuk penelitian guna menginformasikan penelitian mereka. Namun, alat yang terpengaruh oleh keruntuhan model mungkin hanya menyediakan studi yang banyak dikutip untuk ulasan, yang berpotensi menghilangkan informasi penting bagi pengguna yang dapat menghasilkan penemuan penting.

Berbagai jenis model AI generatif rentan terhadap dampak yang berbeda dari keruntuhan model.

Dalam LLM, keruntuhan model dapat bermanifestasi dalam hasil teks yang semakin tidak relevan, tidak masuk akal, dan berulang. Dalam satu percobaan, para peneliti menyempurnakan OPT-125M, model bahasa besar sumber terbuka yang dirilis oleh Meta. Generasi model dilatih pada data yang dihasilkan oleh pendahulunya. Setelah masukan awal bahasa Inggris tentang arsitektur, satu generasi model akhirnya menghasilkan hasil tentang terwelu dengan ekor warna berbeda.⁶

Keruntuhan model terutama terlihat pada model yang menghasilkan gambar, karena hasil gambar menurun dalam kualitas, keberagaman, dan presisi. Satu percobaan menggunakan kumpulan data angka tulisan tangan yang berbeda untuk melatih Variational Autoencoder (VAE). Setelah beberapa siklus pelatihan berulang, generasi selanjutnya dari model ini menghasilkan hasil yang banyak digitnya mirip satu sama lain.⁷ Sebuah penelitian lain yang menggunakan model generative adversarial network (GAN) yang dilatih dengan beragam gambar wajah menemukan bahwa model tersebut pada akhirnya menghasilkan wajah yang lebih homogen.⁸

Model Gaussian Mixture dapat mengatur data ke dalam kluster, tetapi para peneliti telah menemukan bahwa GMM yang ditugaskan untuk memisahkan data menjadi dua kluster berkinerja jauh lebih buruk setelah beberapa lusin iterasi. Persepsi model tentang distribusi data yang mendasarinya berubah dari waktu ke waktu dan pada iterasi ke-2000, hasilnya menampilkan varian yang sangat sedikit.⁹

Keruntuhan model adalah salah satu dari beberapa fenomena degradasi model yang diamati dalam machine learning. Lainnya termasuk melupakan bencana, keruntuhan mode, penyimpangan model, dan prediksi performatif. Masing-masing memiliki kesamaan dengan, tetapi berbeda dari, keruntuhan model.

Catastrophic forgetting dan keruntuhan model melibatkan informasi yang hilang oleh sistem AI. Namun, catastrophic forgetting berbeda dari keruntuhan model. Catastrophic forgetting terjadi ketika sebuah model mempelajari informasi baru dan “melupakan” informasi sebelumnya, yang mengakibatkan penurunan kinerja ketika model tersebut diterapkan pada tugas yang membutuhkan penggunaan informasi yang lebih lama. Keruntuhan model berbeda karena hal ini melibatkan penurunan kinerja dalam generasi model selanjutnya, daripada kehilangan data dan penurunan kinerja dalam satu model.¹⁰

Meski namanya mirip dengan keruntuhan model, keruntuhan mode merupakan fenomena yang khusus terjadi pada model GAN. Model tersebut terdiri dari dua bagian berbeda, generator dan diskriminator, yang membantu menghasilkan data sintetis yang secara statistik mirip dengan data nyata. Generator bertugas menciptakan data, sementara diskriminator berfungsi sebagai pemeriksa proses secara terus-menerus, mengidentifikasi data yang tampak tidak autentik. Runtuhnya mode terjadi saat hasil generator kekurangan varian dan cacat ini tidak terdeteksi oleh diskriminator, sehingga mengakibatkan penurunan kinerja.

Penyimpangan model mengacu pada degradasi kinerja model machine learning karena perubahan data atau hubungan antara variabel input dan hasil. Model yang dibangun dengan data historis bisa menjadi stagnan. Jika pelatihan model AI, berdasarkan data pelatihan lama, tidak selaras dengan data yang masuk, itu tidak dapat menafsirkan data tersebut secara akurat atau menggunakan data yang masuk tersebut untuk membuat prediksi akurat dengan andal. Keruntuhan model berbeda karena melibatkan model pelatihan pada data baru yang dihasilkan AI dalam siklus berulang.

Para peneliti telah membandingkan keruntuhan model dalam model AI generatif dengan prediksi performatif dalam model pembelajaran terawasi karena keduanya berisi pencemaran set pelatihan oleh input model machine learning sebelumnya. Prediksi performatif terjadi ketika keluaran model pembelajaran terawasi memengaruhi hasil dunia nyata dengan cara yang sesuai dengan prediksi model. Hal ini pada gilirannya memengaruhi hasil model di masa mendatang, menghasilkan “ramalan yang terpenuhi dengan sendirinya”. Prediksi performatif juga dikenal sebagai lingkaran masukan kewajaran ketika proses ini mengakar pada diskriminasi.¹¹ Misalnya, model pengambilan keputusan pinjaman KPR yang didukung AI, yang dilatih pada data dari era redlining diskriminatif AS, dapat mendorong pemberi pinjaman untuk secara tidak sengaja mengulangi diskriminasi itu sekarang.

Beberapa strategi dapat membantu pengembang dan organisasi AI mencegah keruntuhan model. Hal ini termasuk:

• Mempertahankan sumber data non-AI
• Menentukan asal data
• Memanfaatkan akumulasi data
• Menggunakan data sintetis yang lebih baik
• Menerapkan alat tata kelola data

Sumber data asli berkualitas tinggi dapat memberikan varian penting yang mungkin hilang dalam beberapa data yang dihasilkan AI. Memastikan model AI masih dilatih pada data yang dihasilkan manusia dapat menjaga kemampuan sistem AI untuk berkinerja baik saat bertugas menghitung kejadian dengan probabilitas rendah, seperti konsumen yang lebih menyukai produk yang tidak biasa atau ilmuwan yang mendapat manfaat dari informasi dalam studi yang jarang dikutip. Dalam kasus itu , hasil yang dihasilkan mungkin tidak umum atau populer, tetapi pada kenyataannya, paling akurat.

Mungkin sulit untuk membedakan antara data yang dihasilkan model dan data yang dihasilkan manusia dalam ekosistem informasi, tetapi koordinasi antara pengembang LLM dan peneliti AI dapat membantu memastikan akses ke informasi tentang asal data. Salah satu upaya terkoordinasi tersebut ada melalui The Data Provenance Initiative, sebuah kolektif peneliti AI dari MIT dan universitas lain yang telah mengaudit lebih dari 4.000 kumpulan data.¹²

Menurut sebuah studi, pengembang AI dapat menghindari penurunan kinerja dengan melatih model AI dengan data nyata dan beberapa generasi data sintetis. Akumulasi ini kontras dengan praktik penggantian data asli sepenuhnya dengan data yang dihasilkan AI.¹³

Ketika pengembang AI menjelajahi akumulasi data, mereka mungkin juga mendapat manfaat dari peningkatan kualitas data sintetis yang diproduksi khusus untuk tujuan pelatihan machine learning. Kemajuan dalam algoritma pembuatan data dapat membantu meningkatkan keandalan data sintetis dan meningkatkan utilitasnya. Dalam perawatan kesehatan, misalnya, data sintetis bahkan dapat digunakan untuk menyediakan skenario yang lebih luas untuk model pelatihan, yang mengarah pada kemampuan diagnostik yang lebih baik.

Alat tata kelola AI dapat membantu pengembang dan perusahaan AI mengurangi risiko penurunan kinerja AI dengan memberdayakan pengawasan dan kontrol atas sistem AI. Alat tersebut dapat mencakup sistem deteksi otomatis untuk bias, penyimpangan, kinerja dan anomali, yang berpotensi mendeteksi keruntuhan model sebelum berdampak pada laba organisasi.