Apa itu pembelajaran berkelanjutan?

Pembelajaran dengan penambahan bertahap memungkinkan model untuk memperoleh pengetahuan baru dan mengimbangi ketidakpastian dunia nyata tanpa melupakan pengetahuan lama. Data bukan stasioner berarti distribusi data tidak statis. Ketika berhasil diimplementasikan, pembelajaran berkelanjutan menghasilkan model yang mempertahankan pengetahuan khusus tugas dan juga dapat menggeneralisasi distribusi data dinamis. 

Model pembelajaran berkelanjutan dirancang untuk menerapkan data baru secara adaptif di lingkungan yang berubah. Dikenal juga sebagai pembelajaran seumur hidup, pembelajaran berkelanjutan terinspirasi oleh konsep neurosains yang berkaitan dengan cara manusia mempelajari hal-hal baru sekaligus mempertahankan apa yang telah mereka ketahui. Jika seseorang belajar bermain papan luncur, mereka tidak segera lupa cara mengendarai sepeda.

Sistem pembelajaran machine learning tradisional melatih model menggunakan kumpulan data statis yang besar. Kumpulan data melewati algoritma model dalam batch saat model memperbarui bobot, atau parameternya. Model memproses seluruh kumpulan data beberapa kali, dengan setiap siklus dikenal sebagai epoch. 

Pengembang mengidentifikasi tujuan dari pembelajaran mendalam sebelumnya, mengumpulkan kumpulan data pelatihan agar sesuai dengan tujuan pembelajaran, dan melatih model pada data tersebut. Kemudian, model diuji, divalidasi, dan diterapkan. Penyempurnaan model machine learning dengan lebih banyak data dapat menyesuaikan kinerjanya dengan tugas baru. 

Metode pembelajaran tradisional tidak sepenuhnya mencerminkan dinamika dunia nyata. Pembelajaran diawasi menggunakan kumpulan data statis dengan hasil yang diketahui. Pembelajaran tanpa pengawasan memungkinkan model menyortir data sendiri, tetapi data pelatihan masih terbatas dan tidak berubah. Pembelajaran penguatan juga aman dan terbatas. 

Berbeda dengan metode pembelajaran tradisional, pembelajaran berkelanjutan mencoba menerapkan plastisitas otak manusia ke neural networks. Neuroplastisitas adalah kualitas otak yang memungkinkannya untuk beradaptasi, belajar tanpa melupakan pengetahuan sebelumnya ketika menghadapi keadaan yang berubah. 

Beberapa jenis pembelajaran berkelanjutan masih dimulai dengan pelatihan batch offline dalam beberapa periode, mirip dengan pelatihan offline tradisional. Pembelajaran berkelanjutan online hanya melatih model dengan aliran data sekali lintas. 

Pembelajaran berkelanjutan membantu neural networks mengoptimalkan dan beradaptasi dalam lingkungan yang dinamis. Pembelajaran machine learning tradisional membutuhkan kumpulan data yang luas dan tetap, waktu dan komputasi yang cukup untuk pelatihan, dan tujuan yang diketahui untuk model. Ketika satu atau lebih dari persyaratan ini tidak terpenuhi, pembelajaran berkelanjutan akan memberikan alternatif. 

• Mengurangi lupa katastropik

• Kumpulan data pelatihan kecil 

• Mengubah distribusi data

• Optimasi sumber daya 

• Toleransi ketidakakuratan 

Ketika model pembelajaran mendalam dilatih pada data baru atau distribusi baru, mereka dapat kehilangan pengetahuan sebelumnya. Dikenal sebagai lupa katastropik, fenomena ini merupakan konsekuensi dari model yang terlalu menyesuaikan parameternya dengan data baru. Model memperbarui bobot internalnya sampai pada tingkat tertentu, sehingga parameter baru tidak lagi relevan dengan pekerjaan asli model. 

Pembelajaran berkelanjutan mengalirkan data pelatihan secara bertahap melalui model AI. Model ini diberikan urutan kumpulan data kecil, terkadang hanya terdiri dari satu sampel. Pembelajaran transfer—ketika sebuah model menerapkan pembelajaran sebelumnya pada tugas-tugas baru—membantu meminimalkan jumlah data baru yang diperlukan. 

Dunia senantiasa berada dalam keadaan yang fluktuatif. Manusia dan hewan lain mengembangkan kemampuan untuk belajar untuk membantu mereka berkembang dalam kesulitan. Misalnya, jika satu persediaan makanan habis, mencari tahu cara menyantap makanan lain dapat memastikan kelangsungan hidup. 

Tetapi tidak semua hewan mampu melakukannya. Koala bahkan tidak dapat mengenali sumber makanan utama mereka—daun eukaliptus—jika daunnya dicabut dari pohon dan diletakkan di atas piring. Sementara koala terkadang memakan daun lain dari pohon lain, mereka dapat menganggap makanan hanya sebagai “daun di pohon.” Otak halus mereka tidak dapat menyimpang dari ekspektasi ini. 

Bayangkan model visi komputer yang dimaksudkan untuk digunakan dalam mobil otonom. Model harus mengetahui cara mengenali kendaraan lain di jalan dan juga pejalan kaki, pengendara sepeda, pengendara sepeda motor, hewan, dan bahaya. Alat ini harus memahami dan beradaptasi dengan sempurna terhadap perubahan cuaca dan pola lalu lintas, seperti hujan yang tiba-tiba turun atau jika ada kendaraan darurat yang mendekat dengan lampu dan sirene menyala. 

Bahasa berubah dari waktu ke waktu. Model pemrosesan bahasa alami (NLP) harus dapat memproses perubahan arti kata dan bagaimana kata tersebut digunakan. Demikian pula, model yang dirancang untuk robotika harus dapat beradaptasi jika lingkungan robot berubah. 

Model AI membutuhkan banyak sumber daya. Pelatihannya dapat menelan biaya jutaan dolar dan mengonsumsi listrik dan air dalam jumlah besar. Tidak selalu mungkin untuk menerapkan model baru setiap kali tugas baru muncul. Dari sudut komputasi juga tidak layak untuk mempertahankan setiap tugas terdahulu dalam memori model yang tersedia. 

Pembelajaran berkelanjutan memungkinkan model bahasa besar (LLM) dan neural networks lainnya untuk beradaptasi dengan pergeseran contoh penggunaan tanpa melupakan cara menangani tantangan sebelumnya. Perusahaan dapat meminimalkan jumlah model yang beroperasi dengan memperluas potensi kemampuan setiap model yang mereka gunakan. 

Jika dilatih dengan baik, algoritma pembelajaran berkelanjutan seharusnya dapat mengidentifikasi data yang relevan dengan percaya diri seraya mengabaikan ketidakakuratan: titik data tidak berarti yang tidak mencerminkan nilai dunia nyata secara akurat. Hasil ketidakakuratan dari kesalahan sinyal, kesalahan pengukuran, dan kesalahan input dan juga mencakup outlier. Outlier adalah titik data yang sangat berbeda dengan data lainnya sehingga tidak relevan. 

Tantangan pembelajaran berkelanjutan secara umum dapat dibagi menjadi tiga kategori, tergantung pada bagaimana aliran data berubah seiring waktu¹:

• Pembelajaran berkelanjutan dengan penambahan tugas bertahap
   

• Pembelajaran berkelanjutan dengan penambahan domain bertahap
   

• Pembelajaran berkelanjutan dengan penambahan kelas bertahap

Pembelajaran dengan penambahan kelas bertahap adalah pendekatan langkah demi langkah untuk pembelajaran banyak tugas sekaligus, di mana algoritma harus belajar menyelesaikan serangkaian tugas yang berbeda. Harus jelas bagi algoritma, tugas mana yang diharapkan darinya, dengan membuat tugas sangat berbeda satu sama lain, atau memberi label pada input dengan output yang sesuai. 

Contoh dunia nyata dari pembelajaran dengan penambahan tugas bertahap adalah belajar berbicara bahasa Jepang, kemudian Mandarin, lalu Ceko, dan kemudian Spanyol. Biasanya sudah jelas bahasa mana yang harus digunakan pembicara pada waktu tertentu. 

Karena tugas dialirkan ke model secara berurutan, tantangannya adalah membantu memastikan bahwa model tersebut dapat mentransfer pembelajaran secara memadai dari satu tugas ke tugas berikutnya. Jumlah total tugas juga tidak selalu diketahui sebelumnya, terutama pada model yang sudah dalam penerapan. 

Pencegahan lupa katastropik adalah hal yang pasti—memastikan model menerapkan pembelajaran transfer adalah tujuan sebenarnya pada metodologi pembelajaran dengan penambahan tugas bertahap. 

Pembelajaran dengan penambahan domain bertahap mencakup tantangan di mana distribusi data berubah, tetapi jenis tantangannya tetap sama. Kondisi seputar tugas bagaimanapun telah berubah, tetapi tidak demikian dengan output potensial. Tidak seperti pembelajaran dengan penambahan tugas bertahap, model tidak perlu mengidentifikasi tugas spesifik yang harus diselesaikan. 

Contohnya, model yang dibuat untuk pengenalan karakter optik (OCR) perlu mengenali berbagai format dokumen dan gaya font. Tidak penting untuk mengetahui bagaimana atau mengapa lingkungan telah berubah, melainkan untuk mengenali bahwa lingkungan telah berubah dan tetap menyelesaikan tugas yang ada. 

Perubahan distribusi data merupakan tantangan lama dalam machine learning karena model biasanya dilatih pada kumpulan data diskret yang statis. Ketika distribusi data berubah setelah penerapan, pembelajaran dengan penambahan domain bertahap dapat membantu model mengurangi penurunan kinerja.

Pembelajaran dengan penambahan kelas bertahap adalah ketika model pengklasifikasi harus melakukan serangkaian tugas klasifikasi dengan jumlah kelas output yang bertambah. Model harus dapat menyelesaikan setiap contoh dengan benar dan juga mengingat kelas yang ditemui dalam contoh sebelumnya. 

Model yang dilatih untuk mengklasifikasikan kendaraan sebagai mobil atau truk nantinya mungkin diminta untuk mengidentifikasi bus dan sepeda motor. Model ini diharapkan dapat mempertahankan pemahamannya terhadap semua kelas yang dipelajari dari waktu ke waktu, bukan hanya opsi dalam setiap contoh. Jika dilatih tentang "mobil versus truk" dan kemudian diberikan "bus versus sepeda motor," model tersebut juga akan berhasil menentukan apakah sebuah kendaraan adalah mobil atau bus. 

Pembelajaran dengan penambahan kelas bertahap yang canggih merupakan salah satu tantangan pembelajaran berkelanjutan yang paling sulit, karena kemunculan kelas baru dapat mengikis perbedaan antara kelas yang sudah ada sebelumnya.

Tujuan dari semua teknik pembelajaran berkelanjutan adalah untuk menyeimbangkan dilema stabilitas-plastisitas: membuat model cukup stabil untuk mempertahankan pengetahuan yang telah dipelajari sebelumnya, namun tetap cukup plastis untuk menumbuhkan pengetahuan baru. Meskipun para peneliti telah mengidentifikasi banyak pendekatan untuk pembelajaran berkelanjutan, banyak pendekatan yang dapat dikelompokkan ke dalam salah satu dari tiga kategori:

• Teknik regularisasi
   

• Teknik isolasi parameter
   

• Teknik putar ulang

Regularisasi adalah serangkaian teknik yang membatasi kemampuan model untuk terlalu menyesuaikan ke data baru. Model ini tidak diizinkan untuk memperbarui arsitekturnya selama pelatihan penambahan bertahap, sementara teknik seperti penyulingan pengetahuan—di mana model yang lebih besar "mengajarkan" model yang lebih kecil—membantu melestarikan pengetahuan. 

• Konsolidasi bobot elastis (EWC) menambahkan penalti pada fungsi kesalahan algoritma pembelajaran yang membatasinya dari membuat perubahan drastis pada parameter model. Algoritma optimasi menggunakan gradien fungsi kesalahan sebagai metrik untuk membandingkan kinerja model. 

• Kecerdasan sinaptik (SI), yang membatasi pembaruan parameter berdasarkan pemahaman kumulatif tentang kepentingan relatif setiap parameter. 

• Belajar tanpa lupa (LWF) melatih model dengan data tugas baru dan mempertahankan pengetahuan lama dengan mempertahankan probabilitas output dari tugas sebelumnya.

Metode isolasi parameter mengubah sebagian arsitektur model untuk mengakomodasi tugas baru seraya mengunci parameter untuk tugas sebelumnya. Model ini membangun kembali dirinya untuk memperluas kemampuannya, tetapi dengan batasan bahwa beberapa parameter tidak dapat disesuaikan. Pelatihan selanjutnya dilakukan hanya pada parameter yang memenuhi syarat untuk tugas baru. 

Sebagai contoh, neural networks progresif (PNN) membuat kolom neural networks khusus tugas untuk tugas-tugas baru. Koneksi paralel ke kolom lain memungkinkan pembelajaran transfer seraya mencegah pengubahan kolom ini.

Teknik putar ulang melibatkan pemaparan model secara teratur selama aktivasi pelatihan terhadap sampel dari kumpulan data pelatihan sebelumnya. Pembelajaran berkelanjutan berbasis putar ulang menyimpan sampel data yang lebih lama dalam penyangga memori dan memasukkannya ke dalam siklus pelatihan berikutnya. Paparan berkelanjutan ke data lama mencegah model menyesuaikan diri dengan data baru. 

Teknik memori dapat diandalkan secara efektif, tetapi kekurangannya adalah akses reguler ke data sebelumnya, yang membutuhkan ruang penyimpanan yang cukup. Situasi yang melibatkan penggunaan data pribadi yang sensitif juga dapat mencegah masalah untuk implementasi teknik memori. 

Putar ulang generatif menggunakan model generatif untuk menggabungkan sampel data sebelumnya untuk dimasukkan ke model yang sedang dilatih, seperti pengklasifikasi yang perlu mempelajari kelas baru tanpa melupakan kelas lama.