Apa itu pembelajaran meta?

Tidak seperti pembelajaran yang diawasi konvensional, di mana model dilatih untuk menyelesaikan tugas tertentu menggunakan kumpulan data pelatihan yang ditentukan, proses pembelajaran meta memerlukan berbagai tugas, masing-masing dengan kumpulan data terkaitnya sendiri. Dari berbagai peristiwa pembelajaran ini, model mendapatkan kemampuan untuk menggeneralisasi seluruh tugas, yang memungkinkan mereka untuk beradaptasi dengan cepat ke skenario baru bahkan dengan sedikit data.

Algoritma pembelajaran meta dilatih berdasarkan prediksi dan metadata dari algoritma machine learning lainnya. Algoritma pembelajaran meta kemudian menghasilkan prediksi mereka sendiri dan informasi yang dapat digunakan untuk meningkatkan kinerja dan hasil algoritma machine learning lainnya.

Pembelajaran meta melibatkan dua tahap utama: pelatihan meta dan pengujian meta. Untuk kedua tahap, model pembelajar dasar menyesuaikan dan memperbarui parameternya saat belajar. Kumpulan data yang digunakan dibagi menjadi set dukungan untuk pelatihan meta dan set tes untuk pengujian meta.

Pada fase pelatihan meta, model pembelajar dasar dilengkapi dengan beragam tugas. Tujuan model ini adalah untuk mengungkap pola umum di antara tugas-tugas ini dan memperoleh pengetahuan yang luas yang dapat diterapkan dalam menyelesaikan tugas-tugas baru.

Selama fase pengujian meta, kinerja model pelajar dasar dinilai dengan memberikan tugas yang belum pernah dihadapinya saat dilatih. Efektivitas model diukur dengan seberapa baik dan seberapa cepat model beradaptasi dengan tugas-tugas baru ini menggunakan pengetahuan yang dipelajari dan pemahaman umum.

Ada tiga pendekatan khas untuk pembelajaran meta. Berikut adalah cara kerja setiap pendekatan dan tipenya yang berbeda:

Pembelajaran meta berbasis metrik berpusat pada pembelajaran fungsi yang menghitung metrik jarak, yang merupakan ukuran kemiripan antara dua titik data. Pendekatan ini mirip dengan algoritma k-tetangga terdekat (KNN), yang menggunakan kedekatan untuk membuat klasifikasi atau prediksi.

Convolutional Siamese neural network terdiri dari convolutional neural network  kembar identik yang memiliki parameter dan bobot yang sama. Pembaruan parameter dicerminkan di kedua jaringan. Kedua jaringan ini digabungkan dengan fungsi kerugian yang menghitung metrik jarak (biasanya kemiripan berpasangan).¹

Kumpulan data pelatihan terdiri dari pasangan sampel yang cocok dan tidak cocok. Jaringan neural Siam konvolusional kemudian belajar menghitung kemiripan berpasangan, memaksimalkan jarak Euclidean antara pasangan yang tidak cocok atau berbeda dan meminimalkan jarak antara pasangan yang cocok atau mirip.¹

Jaringan pencocokan belajar untuk memprediksi klasifikasi dengan mengukur metrik jarak yang dikenal sebagai kemiripan kosinus antara dua sampel.²

Jaringan relasi mempelajari metrik jarak nonlinier yang dalam untuk membandingkan item. Jaringan mengklasifikasikan item dengan menghitung skor relasi, yang merepresentasikan kemiripan antar item.³

Jaringan prototipikal menghitung rata-rata semua sampel kelas untuk membuat prototipe untuk kelas itu. Jaringan kemudian mempelajari ruang metrik, di mana tugas klasifikasi dilakukan dengan menghitung jarak Euclidean kuadrat antara titik data tertentu dan representasi prototipe dari suatu kelas.⁴

Pembelajaran meta berbasis model melibatkan pembelajaran parameter model, yang dapat memfasilitasi pembelajaran cepat dari data yang jarang.

Jaringan neural yang diperkuat memori (MANN) dilengkapi dengan modul memori eksternal untuk memungkinkan penyimpanan yang stabil dan pengkodean serta pengambilan informasi yang cepat.⁵

Dalam pembelajaran meta, MANN dapat dilatih untuk mempelajari teknik umum untuk jenis-jenis representasi yang akan disimpan di memori eksternal dan metode untuk menggunakan representasi tersebut untuk membuat prediksi. MANN telah terbukti berkinerja baik dalam tugas regresi dan klasifikasi.⁵

MetaNet (singkatan dari Meta Networks) adalah model pembelajaran meta yang dapat diterapkan dalam pembelajaran imitasi dan pembelajaran penguatan. Seperti MANN, Meta Networks juga memiliki memori eksternal.⁶

MetaNet terdiri dari pembelajar dasar dan pembelajar meta yang bekerja pada tingkat ruang terpisah. Pembelajar meta memperoleh pengetahuan umum melalui berbagai tugas dalam ruang meta. Pembelajar dasar mengambil tugas input dan mengirim informasi meta tentang ruang tugas saat ini ke pembelajar meta. Berdasarkan informasi ini, pembelajar meta melakukan parameterisasi cepat untuk memperbarui bobot dalam kedua ruang.⁶

Pembelajaran mendalam biasanya membutuhkan beberapa kali pembaruan berulang dari parameter model melalui propagasi balik dan algoritma pengoptimalan penurunan gradien. Dalam pembelajaran meta berbasis optimasi, yang juga disebut sebagai pembelajaran meta berbasis gradien, algoritma itu mempelajari parameter atau hiperparameter model awal dari neural network mendalam yang dapat disetel secara efisien untuk tugas-tugas yang relevan. Ini biasanya berarti pengoptimalan meta, yaitu mengoptimalkan algoritma pengoptimalan itu sendiri.

Metode pembelajaran meta berbasis pengoptimalan ini menggunakan arsitektur neural network berulang populer yang disebut jaringan long-short term memory (LSTM) untuk melatih pembelajar meta dan memperoleh pengetahuan jangka panjang yang dibagikan di antara tugas dan pengetahuan jangka pendek dari setiap tugas. Pembelajar meta kemudian mengoptimalkan pengklasifikasi neural network pembelajar lainnya. Ini mempelajari inisialisasi parameter pembelajar untuk konvergensi pelatihan cepat dan cara memperbarui parameter tersebut secara efisien dengan set pelatihan kecil, membantu pembelajar beradaptasi dengan tugas baru dengan cepat.⁷

Sesuai namanya, algoritma pembelajaran meta berbasis pengoptimalan ini bersifat agnostik model. Hal ini membuatnya kompatibel dengan model apa pun yang dilatih menggunakan penurunan gradien dan cocok untuk menyelesaikan berbagai masalah pembelajaran, seperti klasifikasi, regresi, dan pembelajaran penguatan.⁸

Ide inti di balik MAML adalah untuk melatih parameter awal model dengan suatu cara agar beberapa pembaruan gradien akan menghasilkan pembelajaran yang cepat pada tugas baru. Tujuannya adalah untuk menentukan parameter model yang sensitif terhadap perubahan dalam tugas sehingga perubahan kecil pada parameter tersebut akan menghasilkan perbaikan besar dalam fungsi kerugian tugas. Pengoptimalan meta di seluruh tugas dilakukan dengan menggunakan penurunan gradien stokastik (SGD).⁸

Tidak seperti penurunan gradien, yang menghitung turunan untuk mengoptimalkan parameter model untuk tugas tertentu, MAML menghitung turunan kedua untuk mengoptimalkan parameter awal model untuk pengoptimalan khusus tugas. Versi modifikasi dari pembelajaran meta agnostik model, yang dikenal sebagai MAML orde pertama atau FOMAML, menghilangkan turunan kedua untuk proses yang tidak terlalu mahal secara komputasi.⁸

Reptil adalah algoritma pembelajaran meta berbasis gradien orde pertama yang mirip dengan FOMAML. Metode ini berulang kali mengambil sampel tugas, melatih tugas tersebut melalui banyak langkah penurunan gradien dan memindahkan bobot model ke arah parameter baru.⁹

Untuk lebih mendemonstrasikan keserbagunaan pembelajaran meta, berikut ini adalah beberapa cara pembelajaran meta dapat digunakan dalam ranah machine learning itu sendiri:

Pembelajaran meta dapat diterapkan ke berbagai bidang industri teknologi, beberapa di antaranya meliputi:

Pembelajaran meta memiliki banyak potensi. Berikut adalah beberapa kelebihannya:

Pembelajaran meta dapat digunakan untuk membangun model AI yang lebih umum yang dapat belajar melakukan banyak tugas terkait. Karena fleksibilitas ini, sistem pembelajaran meta dapat dengan cepat beradaptasi dengan tugas-tugas baru dan domain yang berbeda.

Pembelajaran meta mendukung pembelajaran hanya dari beberapa sampel, yang mungkin menghilangkan kebutuhan akan volume kumpulan data yang besar. Hal ini dapat sangat membantu untuk domain yang mengumpulkan dan menyiapkan data yang mungkin membutuhkan banyak tenaga dan waktu.

Karena efisiensi data dan pembelajaran yang cepat, pembelajaran meta dapat menghasilkan proses pelatihan yang lebih cepat dan mengurangi biaya pelatihan.

Meskipun pembelajaran meta menjanjikan, ia juga menghadirkan tantangan. Berikut adalah beberapa diantaranya:

Terkadang, jumlah data untuk melatih model AI tidak mencukupi, terutama untuk domain niche. Atau, jika data tersedia, kualitasnya mungkin tidak memadai untuk melatih algoritma pembelajaran meta secara efisien.

Tidak memiliki variabilitas yang cukup di antara tugas-tugas dalam set dukungan untuk pelatihan meta dapat menyebabkan overfitting. Ini berarti bahwa algoritma pembelajaran meta mungkin hanya dapat diterapkan pada tugas-tugas tertentu tanpa dapat secara efektif menggeneralisasi di seluruh spektrum tugas yang luas.

Sebaliknya, memiliki terlalu banyak variabilitas di antara tugas-tugas dalam set dukungan untuk pelatihan meta dapat mengakibatkan underfitting. Ini berarti bahwa algoritma pembelajaran meta mungkin tidak dapat menggunakan pengetahuannya dalam menyelesaikan tugas lain dan mungkin mengalami kesulitan beradaptasi dengan skenario baru. Oleh karena itu, keseimbangan dalam variabilitas tugas adalah kuncinya.