Apa yang dimaksud dengan pembelajaran semi-diawasi?

Meskipun pembelajaran semi-diawasi umumnya digunakan untuk contoh penggunaan yang sama dengan metode pembelajaran diawasi, pembelajaran semi-diawasi dibedakan dengan berbagai teknik yang menggabungkan data yang tidak berlabel ke dalam pelatihan model, selain data berlabel yang diperlukan untuk pembelajaran diawasi konvensional.

Metode pembelajaran semi-diawasi sangat relevan dalam situasi di mana mendapatkan data berlabel dalam jumlah yang cukup sangat sulit atau mahal, tetapi data tidak berlabel dalam jumlah besar relatif mudah diperoleh. Dalam skenario seperti itu, metode pembelajaran yang diawasi sepenuhnya maupun yang tidak diawasi tidak akan memberikan solusi yang memadai.

Melatih model AI untuk tugas prediksi seperti klasifikasi atau regresi biasanya membutuhkan data berlabel: titik data beranotasi yang memberikan konteks yang diperlukan dan menunjukkan prediksi (output) yang benar untuk setiap input sampel. Selama pelatihan, fungsi kerugian mengukur perbedaan (kerugian) antara prediksi model untuk input yang diberikan dan “kebenaran dasar” yang disediakan oleh label input tersebut. Model belajar dari contoh-contoh berlabel ini dengan menggunakan teknik seperti penurunan gradien yang memperbarui bobot model untuk meminimalkan kerugian. Karena proses machine learning ini secara aktif melibatkan manusia, proses ini disebut pembelajaran “terawasi”.

Pelabelan data yang benar memerlukan tenaga yang semakin besar untuk tugas-tugas AI yang kompleks. Sebagai contoh, untuk melatih model klasifikasi gambar untuk membedakan antara mobil dan sepeda motor, ratusan (atau bahkan ribuan) gambar pelatihan harus diberi label “mobil” atau “sepeda motor”; untuk tugas visual komputer yang lebih terperinci, seperti deteksi objek, manusia tidak hanya harus memberi keterangan objek yang ada di setiap gambar, tetapi juga tempat setiap objek tersebut berada; untuk tugas yang lebih terperinci lagi, seperti segmentasi gambar, label data harus memberi anotasi batas-batas piksel demi piksel tertentu dari segmen gambar yang berbeda untuk setiap gambar.

Dengan demikian, pelabelan data bisa sangat membosankan untuk contoh penggunaan tertentu. Dalam contoh penggunaan machine learning yang lebih khusus, seperti penemuan obat, pengurutan genetik atau klasifikasi protein, anotasi data tidak hanya sangat memakan waktu, tetapi juga membutuhkan keahlian domain yang sangat spesifik.

Pembelajaran semi-terawasi menawarkan cara mendapatkan manfaat maksimal dari jumlah terbatas data berlabel, sambil menggunakan data tak berlabel yang berlimpah.

Pembelajaran semi-diawasi dapat dianggap sebagai hybrid atau jalan tengah antara pembelajaran diawasi dan pembelajaran tidak diawasi.

Perbedaan utama antara machine learning semi-diawasi dan diawasi penuh adalah bahwa machine learning semi-diawasi hanya dapat dilatih menggunakan kumpulan data yang sepenuhnya berlabel, sedangkan machine learning diawasi penuh menggunakan sampel data berlabel dan tidak berlabel dalam proses pelatihan. Teknik pembelajaran semi-diawasi memodifikasi atau menambah algoritma yang diawasi—yang disebut "pembelajar dasar", dalam konteks ini—untuk memasukkan informasi dari contoh-contoh yang tidak berlabel. Titik data berlabel digunakan untuk mendasarkan prediksi dasar pembelajar dan menambahkan struktur (seperti berapa banyak kelas yang ada dan karakteristik dasar dari masing-masing kelas) ke masalah pembelajaran.

Tujuan dari pelatihan model klasifikasi adalah agar model tersebut dapat mempelajari batas keputusan yang akurat: garis—, untuk data dengan lebih dari dua dimensi, "permukaan" atau hyperplane—memisahkan titik-titik data dari satu kategori klasifikasi dari titik-titik data yang termasuk dalam kategori klasifikasi yang berbeda. Meskipun model klasifikasi diawasi sepenuhnya secara teknis dapat mempelajari batas keputusan hanya dengan menggunakan beberapa titik data berlabel, model ini mungkin tidak dapat digeneralisasi dengan baik untuk contoh dunia nyata, sehingga prediksi model tidak dapat diandalkan.

Kumpulan data klasik “setengah bulan” memvisualisasikan kekurangan dari model terawasi yang mengandalkan terlalu sedikit titik data berlabel. Meskipun batas keputusan yang “benar” akan memisahkan masing-masing dari dua setengah bulan, model pembelajaran terawasi kemungkinan besar akan overfitting dengan sedikitnya titik data berlabel yang tersedia. Titik data yang tidak berlabel dengan jelas menyampaikan konteks yang bermanfaat, tetapi algoritma tradisional yang terawasi tidak dapat memproses data yang tidak berlabel.

Tidak seperti pembelajaran semi-diawasi (dan diawasi sepenuhnya), algoritma pembelajaran tanpa diawasi tidak menggunakan data berlabel atau fungsi kerugian. Pembelajaran tanpa pengawasan menghindari konteks “kebenaran dasar” yang dapat digunakan untuk mengukur dan mengoptimalkan akurasi model.

Pendekatan semi-terawasi yang makin umum, terutama untuk model bahasa yang besar, adalah dengan “melatih awal” model melalui tugas-tugas tak terawasi yang mengharuskan model untuk mempelajari representasi yang bermakna dari kumpulan data yang tidak berlabel. Ketika tugas-tugas tersebut melibatkan “kebenaran dasar” dan fungsi kerugian (tanpa anotasi data manual), tugas-tugas tersebut disebut pembelajaran terawasi mandiri. Setelah “fine tuning terawasi” berikutnya pada sejumlah kecil data berlabel, model yang telah dilatih sebelumnya sering kali dapat mencapai kinerja yang sebanding dengan model yang terawasi sepenuhnya.

Meskipun metode pembelajaran tak terawasi dapat berguna dalam banyak skenario, kurangnya konteks dapat membuat metode ini tidak cocok untuk klasifikasi sendiri. Sebagai contoh, bagaimana algoritma pengklusteran umum, mengelompokkan titik-titik data ke dalam sejumlah kelompok yang telah ditentukan sebelumnya berdasarkan kedekatannya satu sama lain, akan memperlakukan kumpulan data setengah bulan.

Baik pembelajaran semi-terawasi maupun pembelajaran terawasi mandiri bertujuan untuk menghindari kebutuhan akan data berlabel dalam jumlah besar, tetapi ketika pembelajaran semi-terawasi melibatkan sejumlah data berlabel, metode pembelajaran terawasi mandiri seperti autoencoder benar-benar tidak diawasi.

Sementara pembelajaran yang diawasi (dan semi-diawasi) membutuhkan "kebenaran dasar" eksternal, dalam bentuk data berlabel, tugas belajar dengan pengawasan mandiri memperoleh kebenaran dasar dari struktur yang mendasari sampel yang tidak berlabel. Banyak tugas dengan pengawasan mandiri tidak berguna bagi diri mereka sendiri: kegunaannya terletak pada model pengajaran representasi data yang berguna untuk tujuan "tugas hilir" berikutnya. Dengan demikian, mereka sering disebut “tugas pretext.”

Ketika digabungkan dengan tugas-tugas hilir yang diawasi, tugas-tugas pretext dengan pengawasan mandiri dengan demikian merupakan bagian dari proses pembelajaran semi-diawasi: sebuah metode pembelajaran yang menggunakan data berlabel dan tidak berlabel untuk pelatihan model.

Pembelajaran semi-diawasi bergantung pada asumsi tertentu tentang data tanpa label yang digunakan untuk melatih model dan cara titik data dari kelas yang berbeda berhubungan satu sama lain.

Kondisi yang diperlukan dalam pembelajaran dengan pengawasan mandiri (SSL) adalah bahwa contoh-contoh tak berlabel yang digunakan dalam pelatihan model harus relevan dengan tugas yang akan dilakukan oleh model. Dalam istilah yang lebih formal, SSL mensyaratkan bahwa distribusi p(x) dari data input harus mengandung informasi tentang distribusi posterior p(y|x)—yaitu, probabilitas bersyarat dari titik data tertentu (x) yang termasuk dalam kelas tertentu (y). Jadi, misalnya, jika seseorang menggunakan data tanpa label untuk membantu melatih pengklasifikasi gambar untuk membedakan antara gambar kucing dan gambar anjing, kumpulan data pelatihan harus berisi gambar kucing dan anjing—dan gambar kuda dan sepeda motor tidak akan membantu.

Sejalan dengan itu, sementara sebuah penelitian pada tahun 2018 tentang algoritma pembelajaran semi-diawasi menemukan bahwa "meningkatkan jumlah data tak berlabel cenderung meningkatkan kinerja teknik SSL," penelitian ini juga menemukan bahwa "menambahkan data tak berlabel dari sekumpulan kelas yang tidak sesuai sebenarnya dapat merusak kinerja dibandingkan dengan tidak menggunakan data tak berlabel sama sekali." ¹

Kondisi dasar dari p(x) yang memiliki hubungan yang berarti dengan p(x|y) memunculkan beberapa asumsi tentang sifat hubungan tersebut. Asumsi-asumsi ini adalah kekuatan pendorong di balik sebagian besar, jika tidak semua, metode SSL: secara umum, setiap algoritma pembelajaran semi-diawasi bergantung pada satu atau lebih dari asumsi-asumsi berikut ini yang secara eksplisit atau implisit dipenuhi.

Asumsi cluster menyatakan bahwa titik data milik cluster yang sama—sekumpulan titik data yang lebih mirip satu sama lain daripada titik data lain yang tersedia—juga akan termasuk dalam kelas yang sama.

Meskipun terkadang dianggap sebagai asumsi mandiri, asumsi pengklasteran juga telah dijelaskan oleh van Engelen dan Hoos sebagai "generalisasi dari asumsi-asumsi lainnya."² Dalam pandangan ini, penentuan klaster titik data bergantung pada pengertian kemiripan yang digunakan: asumsi kehalusan, asumsi kepadatan rendah, dan asumsi lipatan, masing-masing hanya memanfaatkan definisi yang berbeda tentang apa yang terdiri dari titik data yang "mirip".

Asumsi kehalusan menyatakan bahwa jika dua titik data, x dan x', berdekatan satu sama lain dalam ruang input—kumpulan semua nilai yang mungkin untuk x–maka label mereka, y dan y', harus sama.

Asumsi ini, yang juga dikenal sebagai asumsi kontinuitas, adalah hal yang umum pada sebagian besar pembelajaran yang diawasi: misalnya, pengklasifikasi mempelajari perkiraan yang berarti (atau "representasi") dari setiap kelas yang relevan selama pelatihan; setelah dilatih, pengklasifikasi menentukan klasifikasi titik-titik data baru melalui representasi mana yang paling mirip dengan mereka.

Dalam konteks SSL, asumsi kehalusan memiliki manfaat tambahan untuk diterapkan secara transitif pada data yang tidak berlabel. Pertimbangkan skenario yang melibatkan tiga titik data:

• titik data berlabel, x₁
• titik data yang tidak berlabel, x₂, yang dekat dengan x₁
• titik data lain yang tidak berlabel, x₃, yang mendekati x₂ tetapi tidak dekat dengan x₁

Asumsi kehalusan memberi tahu kita bahwa x₂ harus memiliki label yang sama dengan x₁. Asumsi ini juga memberi tahu kita bahwa x₃ harus memiliki label yang sama dengan x₂. Oleh karena itu, kita dapat mengasumsikan bahwa ketiga titik data memiliki label yang sama, karena label x₁ disebarkan secara transitif ke x₃ karena kedekatan x₃ dengan x₂.

Asumsi kepadatan rendah menyatakan bahwa batas keputusan antar-kelas tidak boleh melewati daerah dengan kepadatan tinggi. Dengan kata lain, batas keputusan harus berada di area yang berisi sedikit titik data.

Dengan demikian, asumsi kepadatan rendah dapat dianggap sebagai perpanjangan dari asumsi klaster (yaitu klaster titik data kepadatan tinggi mewakili kelas, bukan batas antar-kelas) dan asumsi kehalusan (dalam hal bahwa jika beberapa titik data dekat satu sama lain, mereka harus berbagi label, dan dengan demikian jatuh di sisi yang sama dari batas keputusan).

Diagram ini mengilustrasikan bagaimana asumsi kehalusan dan kepadatan rendah dapat menginformasikan batas keputusan yang jauh lebih intuitif daripada yang mungkin dilakukan dengan metode diawasi yang hanya dapat mempertimbangkan (sangat sedikit) titik data berlabel.

Asumsi lipatan menyatakan bahwa ruang input berdimensi lebih tinggi terdiri dari beberapa lipatan berdimensi lebih rendah yang menjadi tempat semua titik data berada, dan titik data pada lipatan yang sama memiliki label yang sama.

Sebagai contoh intuitif, pertimbangkan selembar kertas yang diremas menjadi bola. Lokasi titik mana pun pada permukaan bola hanya dapat dipetakan dengan koordinat x,y,z tiga dimensi. Namun, jika bola yang kusut itu sekarang diratakan kembali menjadi selembar kertas, titik-titik yang sama sekarang dapat dipetakan dengan koordinat x,y dua dimensi. Ini disebut reduksi dimensi, dan dapat dicapai secara matematis menggunakan metode seperti autoencoder atau konvolusi.

Dalam machine learning, dimensi tidak berhubungan dengan dimensi fisik yang kita kenal, tetapi dengan setiap atribut atau fitur data. Sebagai contoh, dalam machine learning, gambar RGB kecil berukuran 32x32 piksel memiliki 3.072 dimensi: 1.024 piksel, yang masing-masing memiliki tiga nilai (untuk merah, hijau, dan biru). Membandingkan titik data dengan begitu banyak dimensi merupakan hal yang menantang, baik karena kompleksitas dan sumber daya komputasi yang diperlukan dan karena sebagian besar ruang dimensi tinggi tersebut tidak mengandung informasi yang berarti bagi tugas yang sedang dikerjakan.

Asumsi lipatan menyatakan bahwa ketika sebuah model mempelajari fungsi reduksi dimensi yang tepat untuk membuang informasi yang tidak relevan, titik-titik data yang berbeda akan menyatu menjadi representasi yang lebih bermakna sehingga asumsi SSL yang lain dapat diandalkan.

Metode pembelajaran transduktif menggunakan label yang tersedia untuk membedakan prediksi label untuk sekumpulan titik data yang tidak berlabel, sehingga dapat digunakan oleh pembelajar dasar yang diawasi.

Sementara metode induktif bertujuan untuk melatih pengklasifikasi yang dapat memodelkan seluruh ruang input (berlabel dan tidak berlabel), metode transduktif hanya bertujuan untuk menghasilkan prediksi label untuk data yang tidak berlabel. Algoritma yang digunakan untuk pembelajaran transduktif sebagian besar tidak terkait dengan algoritma yang akan digunakan oleh model pengklasifikasi yang diawasi untuk dilatih menggunakan data berlabel baru ini.

Propagasi label adalah algoritma berbasis grafik yang menghitung pemberian label untuk titik data yang tidak berlabel berdasarkan kedekatan relatifnya dengan titik data yang berlabel, dengan menggunakan asumsi kehalusan dan asumsi klaster.

Intuisi di balik algoritma ini adalah bahwa seseorang dapat memetakan grafik yang terhubung sepenuhnya, di mana node-nya adalah semua titik data yang tersedia, baik berlabel maupun tidak berlabel. Semakin dekat kedua node didasarkan pada ukuran jarak yang dipilih seperti jarak Euclide, semakin banyak tepi di antara mereka tertimbang dalam algoritma. Dimulai dari titik data berlabel, label kemudian menyebar secara berulang melalui titik data tidak berlabel yang berdekatan, menggunakan asumsi kelancaran dan klaster.

Algoritma pembelajaran aktif tidak mengotomatiskan pelabelan titik data: sebaliknya, algoritma ini digunakan dalam SSL untuk menentukan sampel tanpa label yang akan memberikan informasi yang paling berguna jika diberi label secara manual.³ Penggunaan pembelajaran aktif dalam pengaturan semi-terawasi telah mencapai hasil yang menjanjikan: misalnya, sebuah studi baru-baru ini menemukan bahwa itu lebih dari separuh jumlah data berlabel yang diperlukan untuk melatih model secara efektif untuk segmentasi semantik.⁴

Metode induktif dari pembelajaran semi-diawasi bertujuan untuk secara langsung melatih model klasifikasi (atau regresi), menggunakan data berlabel dan tidak berlabel.

Metode SSL induktif umumnya dapat dibedakan berdasarkan cara mereka memasukkan data yang tidak berlabel: melalui langkah pelabelan semu, langkah pra-pemrosesan yang tidak diawasi, atau dengan penggabungan langsung ke dalam fungsi objektif model.

Cara yang relatif sederhana untuk memperluas algoritma yang diawasi yang ada ke pengaturan semi-diawasi adalah dengan terlebih dahulu melatih model pada data berlabel yang tersedia—atau cukup menggunakan pengklasifikasi yang sudah ada sebelumnya—dan kemudian menghasilkan prediksi label semu untuk titik data yang tidak berlabel. Model ini kemudian dapat dilatih ulang menggunakan data berlabel asli dan data berlabel semu, tanpa membedakan keduanya.

Manfaat utama dari metode wrapper, di luar kesederhanaannya, adalah metode ini kompatibel dengan hampir semua jenis pembelajar dasar yang diawasi. Sebagian besar metode wrapper memperkenalkan beberapa teknik regularisasi untuk mengurangi risiko memperkuat prediksi label semu yang berpotensi tidak akurat.

Pelatihan mandiri adalah metode wrapper dasar. Hal ini membutuhkan prediksi label semu yang bersifat probabilistik, bukan deterministik: misalnya, model yang menghasilkan “85 persen anjing, 15 persen kucing”, bukan hanya menghasilkan output “anjing”.

Prediksi label semu probabilistik memungkinkan algoritma pelatihan mandiri hanya menerima prediksi yang melebihi ambang batas kepercayaan tertentu, dalam proses yang mirip dengan minimalisasi entropi.⁵ Proses ini dapat dilakukan secara iteratif, baik untuk mengoptimalkan proses klasifikasi semu atau mencapai sejumlah sampel berlabel semu.

Metode pelatihan bersama memperluas konsep pelatihan mandiri dengan melatih beberapa pelajar dasar yang terawasi untuk menetapkan label semu.

Diversifikasi ini dimaksudkan untuk mengurangi kecenderungan memperkuat prediksi awal yang buruk. Oleh karena itu, penting agar prediksi dari setiap pembelajar dasar tidak berkorelasi kuat satu sama lain. Pendekatan yang umum dilakukan adalah dengan menggunakan algoritma yang berbeda untuk setiap pengklasifikasi. Cara lainnya adalah agar setiap pengklasifikasi fokus pada subset data yang berbeda: misalnya, pada data video, melatih satu pembelajar dasar pada data visual dan yang lainnya pada data audio.

Tidak seperti metode wrapper (dan algoritma semi-diawasi intrinsik), yang menggunakan data berlabel dan tidak berlabel secara bersamaan, beberapa metode SSL menggunakan data yang tidak berlabel dan berlabel dalam tahap yang terpisah: tahap pra-pemrosesan yang tidak diawasi, diikuti oleh tahap yang diawasi.

Seperti metode wrapper, teknik tersebut pada dasarnya dapat digunakan untuk semua pelajar dasar yang diawasi. Namun berbeda dengan metode wrapper, model supervisi "utama" pada akhirnya dilatih hanya pada titik data berlabel asli (yang diberi anotasi oleh manusia).

Teknik pra-pemrosesan tersebut berkisar dari mengekstraksi fitur yang berguna dari data yang tidak berlabel hingga pra-pengklusteran titik-titik data yang tidak berlabel hingga menggunakan “pra-pelatihan” untuk menentukan parameter awal dari model terawasi (dalam proses yang mirip dengan tugas-tugas awal yang dilakukan dalam pembelajaran terawasi mandiri).

Salah satu teknik semi-supervisi yang paling mudah adalah dengan mengelompokkan semua titik data (baik yang berlabel maupun yang tidak berlabel) menggunakan algoritma yang tak terawasi. Dengan memanfaatkan asumsi pengklusteran, kluster tersebut dapat digunakan untuk membantu melatih model pengklasifikasi independen, atau, jika titik data berlabel dalam kluster tertentu semuanya berasal dari kelas yang sama, memberi label semu pada titik data yang tidak berlabel dan melanjutkan dengan cara yang serupa dengan metode wrapper.

Seperti yang ditunjukkan oleh contoh “setengah bulan” di awal artikel ini, metode sederhana (seperti k-tetangga terdekat) dapat menghasilkan prediksi yang tidak memadai. Algoritma pengelompokan yang lebih canggih, seperti DBSCAN (yang menerapkan asumsi kepadatan rendah),⁶ telah mencapai keandalan yang lebih besar.

Pra-pelatihan tak terawasi (atau terawasi mandiri) memungkinkan model untuk mempelajari representasi yang berguna dari input, mengurangi jumlah data berlabel yang diperlukan untuk fine tuning model dengan pembelajaran terawasi.

Pendekatan yang umum digunakan adalah dengan neural network, sering kali autoencoder, untuk mempelajari penyematan atau representasi fitur dari data input, kemudian menggunakan fitur yang dipelajari ini untuk melatih pembelajar dasar yang terawasi. Hal ini sering kali memerlukan pengurangan dimensi, untuk membantu memanfaatkan asumsi lipatan.

Beberapa metode SSL langsung memasukkan data yang tidak berlabel ke dalam fungsi objektif pembelajar dasar, tidak seperti memproses data yang tidak berlabel dalam langkah pelabelan semu atau pra-pemrosesan terpisah.

Ketika titik-titik data dari kategori yang berbeda tidak dapat dipisahkan secara linear, ketika tidak ada garis lurus yang dapat secara akurat mendefinisikan batas antar categories, algoritma mesin vektor pendukung (SVM) memetakan data ke ruang fitur berdimensi lebih tinggi, di mana kategori dapat dipisahkan oleh hyperplane. Dalam menentukan batas keputusan ini, algoritma SVM memaksimalkan margin antara batas keputusan dan titik data yang paling dekat dengannya. Hal ini, dalam praktiknya, menerapkan asumsi kepadatan rendah.

Dalam pengaturan yang diawasi, istilah regularisasi memberi penalti algoritma ketika titik data yang diberi label berada di sisi yang salah dari batas keputusan. Pada SVM semi-diawasi (S3VM), hal ini tidak memungkinkan untuk titik data yang tidak berlabel (yang klasifikasinya tidak diketahui)—oleh karena itu, S3VM juga memberikan penalti pada titik data yang berada di dalam margin yang ditentukan.

Berbagai arsitektur neural network telah diadaptasi untuk pembelajaran semi-terawasi. Hal ini dicapai dengan menambahkan atau memodifikasi istilah kerugian yang biasanya digunakan dalam arsitektur ini, yang memungkinkan penggabungan titik data yang tidak berlabel dalam pelatihan.

Arsitektur pembelajaran mendalam semi-terawasi yang diusulkan meliputi jaringan tangga,⁷ ansambel semu,⁸ ansambel temporal,⁹ dan modifikasi tertentu pada jaringan adversial generatif (GANS).¹⁰