Apa itu fine tuning?

Fine tuning dapat dianggap sebagai bagian dari teknik pembelajaran transfer yang lebih luas: praktik memanfaatkan pengetahuan yang telah dipelajari oleh model yang sudah ada sebagai titik awal untuk mempelajari tugas-tugas baru.

Intuisi di balik fine tuning adalah bahwa, pada dasarnya, lebih mudah dan lebih murah untuk mengasah kemampuan model dasar terlatih yang telah memperoleh pembelajaran luas yang relevan dengan tugas yang ada daripada melatih model baru dari awal untuk tujuan khusus itu. Hal ini terutama berlaku untuk model pembelajaran mendalam dengan jutaan atau bahkan miliaran parameter, seperti model bahasa besar (LLM) yang telah menjadi terkenal di bidang pemrosesan bahasa alami (NLP) atau jaringan saraf konvolusional kompleks (CNN) dan transformator visi (ViT) yang digunakan untuk tugas visi komputer seperti klasifikasi gambar, deteksi objek atau segmentasi gambar.

Dengan memanfaatkan pelatihan model sebelumnya melalui pembelajaran transfer, fine tuning dapat mengurangi jumlah daya komputasi yang mahal dan data berlabel yang diperlukan untuk mendapatkan model besar yang disesuaikan dengan kasus penggunaan dan kebutuhan bisnis. Misalnya, fine tuning dapat digunakan untuk sekadar menyesuaikan nada percakapan LLM yang telah dilatih sebelumnya atau gaya ilustrasi model pembuatan gambar yang telah dilatih sebelumnya; ini juga dapat digunakan untuk menambah pembelajaran dari dataset pelatihan asli model dengan data eksklusif atau pengetahuan khusus yang spesifik untuk domain tertentu.

Dengan demikian, penyempurnaan memainkan peran penting dalam penerapan model machine learning dunia nyata, membantu mendemokratisasikan akses ke dan penyesuaian model canggih.

Meskipun penyesuaian tampaknya merupakan teknik yang digunakan dalam pelatihan model, ini merupakan proses yang berbeda dari apa yang secara konvensional disebut “pelatihan”. Demi disambiguasi, ilmuwan data biasanya menyebutnya pra-pelatihan dalam konteks ini.

Pada awal pelatihan (atau, dalam konteks ini, prapelatihan), model belum “belajar” apa pun. Pelatihan dimulai dengan inisialisasi parameter model secara acak. Berbagai bobot dan bias diterapkan pada operasi matematis yang terjadi pada setiap node dalam neural networks.

Pelatihan terjadi secara berulang dalam dua tahap: dalam forward pass, model membuat prediksi untuk sekumpulan input sampel dari kumpulan data pelatihan, dan fungsi kesalahan mengukur perbedaan (atau kerugian) antara prediksi model untuk setiap input dan jawaban yang “benar” (atau kebenaran dasar); selama propagasi balik algoritma pengoptimalan, biasanya penurunan gradien, digunakan untuk menyesuaikan bobot model di seluruh jaringan untuk mengurangi kesalahan. Penyesuaian terhadap bobot model ini adalah cara model “belajar”. Proses ini diulang di beberapa periode pelatihan sampai model dianggap cukup terlatih.

Pembelajaran diawasi konvensional yang biasanya digunakan untuk melatih model sebelumnya untuk tugas visi komputer seperti klasifikasi gambar, deteksi objek, atau segmentasi gambar, menggunakan data berlabel: label (atau anotasi) menyediakan rentang jawaban yang mungkin dan output kebenaran dasar untuk setiap sampel.

LLM biasanya dilatih sebelumnya melalui pembelajaran diawasi mandiri (SSL), di mana model belajar melalui tugas pretext yang dirancang untuk mendapatkan kebenaran dasar dari struktur inheren data tidak berlabel. Tugas pretext ini memberikan pengetahuan yang berguna untuk tugas hilir. Mereka biasanya mengambil salah satu dari dua pendekatan:

• Prediksi mandiri: menyamarkan beberapa bagian dari input asli dan menugaskan model untuk merekonstruksinya. Ini adalah mode pelatihan yang dominan untuk LLM.
   

• Pembelajaran kontrastif: model pelatihan untuk mempelajari penanaman yang serupa untuk input yang terkait dan penanaman yang berbeda untuk input yang tidak terkait. Hal ini digunakan secara menonjol dalam model visi komputer yang dirancang untuk pembelajaran dengan beberapa contoh atau tanpa contoh, seperti Contrasting Language-Image Pretraining (CLIP).

Dengan demikian, SSL memungkinkan penggunaan kumpulan data yang sangat besar dalam pelatihan tanpa beban harus membuat anotasi jutaan atau miliaran titik data. Ini menghemat banyak tenaga kerja, namun membutuhkan sumber daya komputasi yang besar.

Sebaliknya, fine tuning memerlukan teknik untuk melatih lebih lanjut model yang bobotnya telah diperbarui melalui pelatihan sebelumnya. Dengan menggunakan pengetahuan model dasar sebelumnya sebagai titik awal, penyempurnaan menyesuaikan model dengan melatihnya pada kumpulan data yang lebih kecil dan spesifik untuk tugas tertentu.

Sementara kumpulan data khusus tugas secara teoretis dapat digunakan untuk pelatihan awal, melatih model besar dari awal pada kumpulan data kecil berisiko overfitting: model mungkin belajar untuk melakukan dengan baik pada contoh pelatihan, tetapi generalisasi buruk untuk data baru. Ini akan membuat model tidak sesuai dengan tugas yang diberikan dan mengalahkan tujuan pelatihan model.

Dengan demikian, fine tuning memberikan yang terbaik dari kedua dunia: memanfaatkan pengetahuan dan stabilitas yang luas yang diperoleh dari pra-pelatihan pada sekumpulan data yang sangat besar dan mengasah pemahaman model tentang konsep yang lebih rinci dan spesifik. Dengan semakin meningkatnya kehebatan model dasar sumber terbuka, manfaatnya sering kali dapat dinikmati tanpa beban keuangan, komputasi, atau logistik dari pra-pelatihan.

Fine tuning menggunakan bobot dari model yang terlatih sebagai titik awal untuk pelatihan lebih lanjut pada kumpulan data contoh yang lebih kecil yang lebih mencerminkan tugas dan contoh penggunaan spesifik yang akan digunakan oleh model tersebut. Ini biasanya melibatkan pembelajaran terawasi, tetapi juga dapat melibatkan pembelajaran penguatan, pembelajaran terawasi mandiri atau pembelajaran semi-terawasi.

Kumpulan data yang digunakan untuk penyempurnaan menyampaikan pengetahuan domain, gaya, tugas, atau contoh penggunaan tertentu yang menjadi tujuan penyempurnaan model yang terlatih. Sebagai contoh: 

• LLM yang dilatih sebelumnya untuk bahasa umum mungkin disempurnakan untuk pengodean dengan kumpulan data baru yang berisi permintaan pemrograman yang relevan dan cuplikan kode yang sesuai untuk tiap permintaan.
   

• Model klasifikasi gambar yang digunakan untuk mengidentifikasi spesies burung tertentu dapat mempelajari spesies baru melalui sampel pelatihan berlabel tambahan.
   

• Seorang LLM dapat belajar meniru gaya penulisan tertentu melalui pembelajaran terawasi mandiri pada contoh teks yang mewakili gaya tersebut.

Pembelajaran semi diawasi, bagian dari machine learning yang menggabungkan data berlabel dan tidak berlabel, sangat bermanfaat ketika skenario membutuhkan pembelajaran diawasi tetapi contoh berlabel yang sesuai langka. Penyempurnaan agak diawasi telah memberikan hasil yang menjanjikan untuk tugas visi komputer¹ dan NLP², serta membantu mengurangi beban untuk memperoleh data berlabel dalam jumlah yang cukup.

Penyempurnaan dapat digunakan untuk memperbarui bobot seluruh jaringan, tetapi untuk alasan praktis, hal ini tidak selalu terjadi. Terdapat berbagai macam metode penyempurnaan alternatif yang sering disebut dengan istilah penyempurnaan dengan parameter efisien (PEFT), yang hanya memperbarui sebagian parameter model tertentu. Metode PEFT yang dieksplorasi nanti di bagian ini, dapat mengurangi tuntutan komputasi dan mengurangi kelupaan yang membawa bencana, yaitu fenomena di mana penyempurnaan menyebabkan hilangnya atau tidak stabilnya pengetahuan inti model, sering kali tanpa kompromi yang berarti dalam kinerja.

Mengingat banyaknya variasi teknik fine tuning dan banyaknya variabel yang melekat pada masing-masing teknik, mencapai performa model yang ideal sering kali membutuhkan beberapa iterasi strategi dan pengaturan pelatihan, menyesuaikan kumpulan data dan hiperparameter seperti ukuran batch, laju pembelajaran, dan ketentuan regularisasi hingga hasil yang memuaskan, metrik apa pun yang paling relevan dengan contoh penggunaan Anda, tercapai.

Cara fine tuning yang paling mudah secara konseptual adalah dengan memperbarui seluruh jaringan neural. Metodologi sederhana ini pada dasarnya menyerupai proses pra-pelatihan: satu-satunya perbedaan mendasar antara proses fine tuning dan pra-pelatihan adalah kumpulan data yang digunakan dan kondisi awal parameter model.

Untuk menghindari perubahan yang tidak stabil dari proses fine tuning, hiperparameter tertentu, yaitu atribut model yang memengaruhi proses pembelajaran tetapi bukan merupakan parameter yang dapat dipelajari, dapat disesuaikan relatif terhadap spesifikasinya selama pra-pelatihan: misalnya, laju pembelajaran yang lebih rendah (yang mengurangi besarnya setiap pembaruan pada bobot model) cenderung tidak menyebabkan catastrophic forgetting.

Fine tuning penuh, seperti proses pra-pelatihan yang menyerupainya, sangat menuntut komputasi. Untuk model pembelajaran mendalam modern dengan ratusan juta atau bahkan miliaran parameter, hal ini sering kali sangat mahal dan tidak praktis.

Penyempurnaan dengan parameter efisien (PEFT) mencakup berbagai metode untuk mengurangi jumlah parameter dapat dilatih yang perlu diperbarui agar dapat secara efektif mengadaptasi model besar terlatih ke aplikasi hilir tertentu. Dengan melakukannya, PEFT secara signifikan mengurangi sumber daya komputasi dan penyimpanan memori yang diperlukan untuk menghasilkan model yang disempurnakan secara efektif. Metode PEFT sering kali terbukti lebih stabil daripada metode penyempurnaan penuh, terutama untuk contoh penggunaan NLP.³

Disebut juga penyempurnaan selektif, metode penyempurnaan parsial bertujuan untuk mengurangi tuntutan komputasi dengan hanya memperbarui subset terpilih dari parameter terlatih yang paling penting bagi kinerja model pada tugas-tugas hilir yang relevan. Parameter yang tersisa “dibekukan”, memastikan bahwa mereka tidak akan diubah.

Pendekatan fine tuning parsial yang paling intuitif adalah memperbarui hanya lapisan luar jaringan neural. Pada sebagian besar arsitektur model, lapisan dalam model (yang paling dekat dengan lapisan input) hanya menangkap fitur umum yang luas: misalnya, pada CNN yang digunakan untuk klasifikasi gambar, lapisan awal biasanya membedakan tepi dan tekstur; setiap lapisan berikutnya membedakan fitur yang semakin mendetail sampai klasifikasi akhir diprediksi pada lapisan terluar. Secara umum, semakin mirip tugas baru (yang modelnya telah di-tuning) dengan tugas asli, semakin berguna bobot lapisan dalam yang telah dilatih sebelumnya untuk tugas baru yang terkait, dan dengan demikian semakin sedikit lapisan yang perlu diperbarui.

Metode penyempurnaan parsial termasuk hanya memperbarui istilah bias seluruh lapisan model (bukan bobot spesifik-node)⁴ dan metode fine tuning/penyempurnaan “jarang” yang hanya memperbarui beberapa subset dari keseluruhan bobot di seluruh model.⁵

Alih-alih menyempurnakan parameter yang ada pada model terlatih, metode aditif menambahkan parameter atau lapisan tambahan pada model, membekukan bobot terlatih, dan hanya melatih komponen yang baru. Pendekatan ini membantu mempertahankan stabilitas model dengan memastikan bahwa bobot asli terlatih tidak berubah.

Hal ini dapat meningkatkan waktu pelatihan, namun dapat menurunkan kebutuhan memori secara signifikan karena ada jumlah yang lebih sedikit gradien dan status pengoptimalan yang perlu disimpan: menurut Lialin, dkk, melatih semua parameter model membutuhkan memori GPU 12–20 kali lebih banyak daripada bobot model sendiri.⁶ Penghematan memori lebih lanjut dapat dicapai melalui kuantisasi bobot model yang dibekukan: pengurangan presisi yang digunakan untuk merepresentasikan parameter model, secara konseptual mirip dengan menurunkan bitrate file audio.

Salah satu sub-cabang metode aditif adalah prompt tuning. Secara konseptual, ini mirip dengan rekayasa prompt, yang mengacu pada penyesuaian “prompt keras”—yaitu prompt yang ditulis oleh manusia dalam bahasa alami—untuk memandu model ke arah hasil yang diinginkan, misalnya, dengan menentukan nada tertentu atau dengan memberikan contoh yang memfasilitasi few-shot learning atau pembelajaran singkat. Prompt tuning memperkenalkan prompt lunak yang ditulis AI: penyematan vektor yang dapat dipelajari, yang digabungkan ke prompt keras pengguna. Alih-alih melatih ulang model, prompt tuning memerlukan pembekuan bobot model dan sebagai gantinya, melatih prompt lunak itu sendiri. Prompt tuning yang cepat dan efisien memungkinkan model untuk beralih antartugas tertentu dengan lebih mudah, meskipun dengan mengorbankan interpretabilitas.

Subset lain dari injeksi penyempurnaan aditif modul adaptor—lapisan khusus tugas baru yang ditambahkan ke neural networks—dan melatih modul adaptor ini sebagai pengganti penyempurnaan dari bobot model yang telah dilatih sebelumnya (yang dibekukan). Sesuai dengan makalah asli, yang mengukur hasil pada model bahasa terselubung BERT, adaptor mencapai kinerja yang setara dengan penyempurnaan penuh saat melatih hanya 3,6% dari parameter.⁷

Metode berbasis reparameterisasi seperti Low Rank Adaptation (LoRA ) memanfaatkan transformasi peringkat rendah dari matriks berdimensi tinggi (seperti matriks besar bobot model yang telah dilatih sebelumnya dalam model transformator). Representasi peringkat rendah ini menghilangkan informasi dimensi tinggi yang tidak penting untuk menangkap struktur dimensi rendah yang mendasari bobot model, yang sangat mengurangi jumlah parameter yang dapat dilatih. Ini secara dramatis mempercepat penyempurnaan dan mengurangi memori yang diperlukan untuk menyimpan pembaruan model.

LoRA tidak langsung mengoptimalkan matriks bobot model, melainkan mengoptimalkan matriks pembaruan bobot model (atau bobot delta), yang dimasukkan ke dalam model. Matriks pembaruan bobot tersebut, pada gilirannya, direpresentasikan sebagai dua matriks yang lebih kecil (yaitu, peringkat yang lebih rendah), sehingga sangat mengurangi jumlah parameter yang harus diperbarui,—yang, pada akhirnya, secara dramatis mempercepat penyempurnaan dan mengurangi memori yang diperlukan untuk menyimpan pembaruan model. Bobot model terlatih tetap beku.

Manfaat tambahan dari LoRA adalah, karena apa yang dioptimalkan dan disimpan bukanlah bobot model baru, melainkan perbedaan (atau delta) antara bobot asli yang telah dilatih sebelumnya dan bobot yang telah di-tuning, maka LoRA spesifik-tugas yang berbeda dapat “ditukar” sesuai kebutuhan untuk mengadaptasikan model yang telah dilatih sebelumnya, yang parameter aktualnya tidak berubah, ke dalam contoh penggunaan tertentu.

Berbagai turunan LoRA telah dikembangkan, seperti QLoRA, yang selanjutnya mengurangi kompleksitas komputasi dengan mengukur model transformator sebelum LoRA.

Fine tuning atau penyempurnaan adalah bagian penting dari siklus pengembangan LLM, yang memungkinkan kemampuan linguistik mentah dari model dasar untuk disesuaikan untuk berbagai contoh penggunaan, dari chatbot hingga pengodean ke domain lain, baik kreatif maupun teknis.

LLM dilatih sebelumnya menggunakan pembelajaran terawasi mandiri pada korpus besar data yang tidak berlabel. Model bahasa autoregresif, seperti GPT OpenAI, Gemini Google atau model Llama Meta, dilatih untuk memprediksi kata berikutnya secara berurutan hingga selesai. Dalam pra-pelatihan, model diberikan awal contoh kalimat yang diambil dari data pelatihan dan secara berulang kali ditugaskan untuk memprediksi kata berikutnya dalam urutan hingga akhir sampel. Untuk setiap prediksi, kata berikutnya dari contoh kalimat asli berfungsi sebagai kebenaran dasar.

Meskipun pra-pelatihan ini menghasilkan kemampuan pembuatan teks yang kuat, itu tidak menghasilkan pemahaman aktual tentang maksud pengguna. Pada tingkat fundamental, LLM autoregresif tidak benar-benar menjawab prompt; mereka hanya menambahkan teks ke dalamnya. Tanpa panduan yang sangat spesifik dalam bentuk rekayasa prompt, LLM terlatih (yang belum di-tuning) hanya memprediksi, dengan cara yang koheren secara tata bahasa, apa yang mungkin menjadi kata berikutnya dalam urutan tertentu yang dimulai oleh prompt. Jika memasukkan prompt “ajari cara membuat resume”, LLM mungkin merespons dengan “menggunakan Microsoft Word”. Ini adalah cara yang valid untuk melengkapi kalimat, tetapi tidak selaras dengan tujuan pengguna. Model ini mungkin sudah memiliki pengetahuan substansial tentang penulisan resume yang diperoleh dari konten relevan yang termasuk dalam korpus pra-pelatihannya, tetapi tanpa fine tuning, pengetahuan ini mungkin tidak dapat diakses.

Oleh karena itu, proses fine tuning memiliki peran yang krusial, tidak hanya dalam menyesuaikan model fondasi untuk nada dan contoh penggunaan yang unik bagi Anda atau bisnis, tetapi juga dalam membuatnya sesuai untuk penggunaan praktis.

Penyetelan instruksi adalah bagian dari penyempurnaan diawasi (SFT), yang sering digunakan untuk penyempurnaan LLM untuk penggunaan chatbot, yang mempersiapkan LLM untuk menghasilkan respons mengatasi kebutuhan pengguna secara lebih langsung: dengan kata lain, untuk mengikuti instruksi dengan lebih baik. Contoh berlabel, mengikuti format (prompt, respons), di mana contoh prompt terdiri dari tugas-tugas yang berorientasi pada instruksi, seperti “terjemahkan kalimat berikut dari bahasa Inggris ke bahasa Spanyol” atau “klasifikasikan kalimat berikut sebagai Positif atau Negatif”, mendemonstrasikan cara merespons prompt yang menunjukkan berbagai contoh penggunaan, seperti menjawab pertanyaan, meringkas, atau menerjemahkan. Dalam memperbarui bobot model untuk meminimalkan kesalahan antara output model dan sampel berlabel, LLM belajar untuk menambahkan teks pada prompt dengan cara yang lebih berguna dan secara umum mengikuti instruksi dengan lebih baik.

Melanjutkan contoh prompt sebelumnya yaitu “tunjukkan cara menulis resume”, kumpulan data yang digunakan untuk SFT dapat berisi sejumlah pasangan (prompt, respons) yang menunjukkan bahwa cara yang diinginkan untuk merespons prompt yang diawali dengan ajari cara menulis resume adalah dengan memberikan saran langkah demi langkah, bukan hanya melengkapi kalimat.

Meskipun instruction tuning dapat mengajarkan model perilaku yang nyata dan lugas seperti cara menyusun responsnya, mengajarkan kualitas manusia yang abstrak seperti sifat suka menolong, keakuratan faktual, humor, atau empati bisa jadi sangat melelahkan dan sulit untuk diajarkan melalui contoh berlabel.

Untuk menyelaraskan hasil model dengan perilaku manusia yang ideal, terutama untuk contoh penggunaan percakapan seperti chatbot, SFT dapat dilengkapi dengan pembelajaran penguatan, lebih khusus lagi, pembelajaran penguatan dari masukan manusia (RLHF). RLHF, yang juga disebut pembelajaran penguatan dari preferensi manusia, membantu fine tuning model untuk kualitas yang kompleks, tidak terdefinisi dengan baik, atau sulit ditentukan melalui contoh yang terpisah.

Pertimbangkan komedi: untuk mengajarkan sebuah model menjadi “lucu” dengan SFT tidak hanya membutuhkan biaya dan tenaga kerja untuk menulis (atau mendapatkan) lelucon yang cukup untuk membentuk pola yang dapat dipelajari, tetapi juga mengharuskan apa yang dianggap lucu oleh seorang ilmuwan data selaras dengan apa yang dianggap lucu oleh pengguna. RLHF pada dasarnya menyediakan alternatif urun daya secara matematis: meminta LLM untuk membuat lelucon dan meminta penguji manusia untuk menilai kualitasnya. Penilaian ini dapat digunakan untuk melatih model penghargaan untuk memprediksi jenis lelucon yang akan menerima masukan positif, dan pada gilirannya model penghargaan tersebut dapat digunakan untuk melatih LLM melalui pembelajaran penguatan. 

Lebih praktis, RLHF bertujuan untuk mengatasi tantangan eksistensial LLM, seperti halusinasi, mencerminkan bias sosial yang melekat dalam data pelatihan atau mengatasi input pengguna yang kasar atau tidak sopan.

Fine tuning dapat digunakan untuk berbagai tujuan, mulai dari penyesuaian, penambahan pengetahuan inti model, hingga perluasan model ke tugas dan domain yang benar-benar baru.

• Menyesuaikan gaya: Model dapat disempurnakan untuk mencerminkan nada yang diinginkan merek, mulai dari menerapkan pola perilaku yang kompleks dan gaya ilustrasi yang unik hingga modifikasi sederhana seperti memulai setiap pertukaran dengan sapaan yang sopan.
   

• Spesialisasi: Kemampuan linguistik umum LLM dapat diasah untuk tugas-tugas tertentu. Sebagai contoh, model Llama 2 dari Meta dirilis sebagai model dasar, varian yang disesuaikan dengan chatbot (Llama-2-chat), dan varian yang disetel dengan kode (Code Llama). 
   

• Menambahkan pengetahuan khusus domain: Meskipun LLM telah dilatih sebelumnya dengan korpus data yang sangat besar, mereka tidak tahu semua hal. Menggunakan sampel pelatihan tambahan untuk melengkapi pengetahuan model dasar sangat relevan dalam konteks hukum, keuangan, atau medis, yang biasanya memerlukan penggunaan kosakata khusus dan esoterik yang mungkin belum terwakili secara memadai dalam prapelatihan.
   

• Pembelajaran dengan beberapa contoh: Model yang telah memiliki pengetahuan digeneralisasi yang kuat sering kali dapat disempurnakan untuk teks klasifikasi yang lebih spesifik dengan menggunakan contoh demonstrasi yang relatif sedikit. 
   

• Mengatasi kasus edge: Anda mungkin ingin agar model Anda menangani situasi tertentu yang tidak mungkin tercakup dalam prapelatihan dengan cara tertentu. Penyempurnaan model pada contoh berlabel dari situasi semacam itu adalah cara yang efektif untuk memastikan bahwa situasi tersebut ditangani dengan tepat.
   

• Menggabungkan data kepemilikan: Perusahaan Anda mungkin memiliki pipeline data eksklusif sendiri, yang sangat relevan dengan contoh penggunaan spesifik Anda. Fine tuning atau penyempurnaan memungkinkan pengetahuan ini dimasukkan ke dalam model tanpa harus melatihnya dari awal.