Apa yang dimaksud dengan parameter-efficient fine-tuning (PEFT)?

Jaringan neural yang dilatih untuk tugas-tugas umum seperti pemrosesan bahasa alami (NLP) atau klasifikasi gambar dapat berspesialisasi dalam tugas baru yang terkait tanpa harus dilatih ulang sepenuhnya. PEFT adalah cara hemat sumber daya untuk membangun model yang berspesialisasi tinggi tanpa harus selalu memulai dari awal.

PEFT bekerja dengan mengunci sebagian besar parameter model dan lapisan terlatih sekaligus menambahkan beberapa parameter yang dapat dilatih, yang dikenal sebagai adaptor, ke lapisan akhir untuk tugas hilir yang telah ditentukan sebelumnya.

Model yang telah disempurnakan mempertahankan semua pembelajaran yang diperoleh selama pelatihan sekaligus mengkhususkan diri pada tugas-tugas hilir masing-masing. Banyak metode PEFT yang semakin meningkatkan efisiensi dengan gradient checkpointing, sebuah teknik penghematan memori yang membantu model belajar tanpa menyimpan banyak informasi sekaligus.

Penyempurnaan dengan parameter yang efisien akan menyeimbangkan efisiensi dan kinerja untuk membantu organisasi memaksimalkan sumber daya komputasi sekaligus meminimalkan biaya penyimpanan. Ketika disetel dengan metode PEFT, model berbasis transformator seperti GPT-3, LLaMA, dan BERT dapat menggunakan semua pengetahuan yang terkandung dalam parameter terlatih sekaligus berkinerja lebih baik daripada jika mereka tidak mendapatkan penyempurnaan.

PEFT sering digunakan selama pembelajaran transfer, di mana model yang dilatih dalam satu tugas diterapkan pada tugas terkait kedua. Misalnya, model yang dilatih dalam klasifikasi gambar dapat digunakan untuk mendeteksi objek. Jika model dasar terlalu besar untuk dilatih ulang sepenuhnya atau jika tugas baru berbeda dari aslinya, PEFT dapat menjadi solusi ideal.

Metode penyempurnaan penuh tradisional melibatkan sedikit penyesuaian pada semua parameter di LLM terlatih untuk menyesuaikannya untuk tugas-tugas tertentu. Tetapi dengan perkembangan dalam kecerdasan buatan (AI) dan pembelajaran mendalam yang telah menyebabkan model tumbuh lebih besar dan lebih kompleks, proses penyempurnaan menjadi terlalu menuntut sumber daya dan energi komputasi.

Selain itu, setiap model yang disempurnakan memiliki ukuran yang sama dengan aslinya. Semua model ini membutuhkan ruang penyimpanan yang besar, sehingga semakin meningkatkan biaya bagi organisasi yang menggunakannya. Meskipun fine-tuning memang menciptakan machine learning (ML) yang lebih efisien, proses fine-tuning LLM dengan sendirinya menjadi tidak efisien.

PEFT menyesuaikan beberapa parameter yang paling relevan dengan contoh penggunaan model yang dimaksudkan untuk memberikan kinerja model khusus sekaligus mengurangi bobot model untuk penghematan biaya komputasi dan waktu yang signifikan.

Fine-tuning parameter yang efisien membawa banyak manfaat yang membuatnya populer di kalangan organisasi yang menggunakan LLM dalam pekerjaan mereka:

• Peningkatan efisiensi
  
  
• Time to value yang lebih cepat
  
  
• Tidak ada kelupaan yang membawa bencana
  
  
• Risiko overfitting yang lebih rendah
  
  
• Permintaan data yang lebih rendah
  
  
• AI yang lebih dapat diakses
  
  
• AI yang lebih fleksibel

Sebagian besar model bahasa besar yang digunakan dalam AI generatif (gen AI) didukung oleh unit pemrosesan grafis (GPU) mahal yang dibuat oleh produsen seperti Nvidia. Setiap LLM menggunakan sumber daya komputasi dan energi dalam jumlah besar. Menyesuaikan hanya parameter yang paling relevan memberikan penghematan besar pada biaya energi dan komputasi cloud.

Time-to-value adalah jumlah waktu yang dibutuhkan untuk mengembangkan, melatih, dan menerapkan LLM sehingga dapat mulai menghasilkan nilai bagi organisasi yang menggunakannya. Karena PEFT hanya mengubah beberapa parameter yang dapat dilatih, dibutuhkan waktu yang jauh lebih sedikit untuk memperbarui model untuk tugas baru. PEFT dapat memberikan kinerja yang sebanding dengan proses fine-tuning penuh dengan waktu dan biaya yang sangat singkat.

Kelupaan yang membawa bencana terjadi ketika LLM kehilangan atau "melupakan" pengetahuan yang diperoleh selama proses pelatihan awal ketika mereka dilatih ulang atau disesuaikan untuk contoh penggunaan baru. Karena PEFT mempertahankan sebagian besar parameter awal, ia juga melindungi dari kelupaan yang membawa bencana.

Overfitting adalah ketika model terlalu dekat dengan data pelatihannya selama proses pelatihan, membuatnya tidak dapat menghasilkan prediksi yang akurat dalam konteks lain. Model transformator yang disetel dengan PEFT jauh lebih rentan terhadap overfitting karena sebagian besar parameternya tetap statis.

Dengan berfokus pada beberapa parameter, PEFT menurunkan persyaratan data pelatihan untuk proses fine-tuning. Fine-tuning penuh membutuhkan set data pelatihan yang jauh lebih besar karena semua parameter model akan disesuaikan selama proses fine-tuning.

Tanpa PEFT, biaya pengembangan LLM khusus terlalu tinggi untuk ditanggung oleh banyak organisasi kecil atau menengah. PEFT membuat LLM tersedia bagi tim yang mungkin tidak memiliki waktu atau sumber daya untuk melatih dan menyempurnakan model.

PEFT memungkinkan ilmuwan data dan profesional lainnya untuk menyesuaikan LLM umum untuk contoh penggunaan individu. Tim AI dapat bereksperimen dengan pengoptimalan model tanpa perlu khawatir akan menghabiskan sumber daya komputasi, energi, dan penyimpanan.

Tim AI memiliki berbagai teknik dan algoritma PEFT yang mereka miliki, masing-masing dengan keunggulan dan spesialisasi relatifnya. Banyak alat PEFT paling populer dapat ditemukan di Hugging Face dan banyak komunitas GitHub lainnya.

• Adaptor
  
  
• LoRA
  
  
• QLoRA
  
  
• Penyetelan awalan
  
  
• Penyetelan prompt
  
  
• P-tuning

Adaptor adalah salah satu teknik PEFT pertama yang diterapkan pada model pemrosesan bahasa alami (NLP). Para peneliti berusaha keras untuk mengatasi tantangan dalam melatih model untuk berbagai tugas hilir sekaligus meminimalkan bobot model. Modul adaptor adalah jawabannya: tambahan kecil yang menyisipkan beberapa parameter khusus tugas yang dapat dilatih ke dalam setiap lapisan transformator model.

Diperkenalkan pada tahun 2021, adaptasi peringkat rendah model bahasa besar (LoRA) menggunakan matriks dekomposisi peringkat rendah kembar untuk meminimalkan bobot model dan mengurangi bagian parameter yang dapat dilatih lebih jauh.

QLoRA adalah versi lanjutan dari LoRA yang mengkuantifikasi atau menstandarkan bobot setiap parameter yang telah dilatih menjadi hanya 4 bit dari bobot 32-bit pada umumnya. Dengan demikian, QLoRa menawarkan penghematan memori yang signifikan dan memungkinkan untuk menjalankan LLM hanya pada satu GPU.

Secara khusus dibuat untuk model pembuatan bahasa alami (NLG), penyempurnaan awalan menambahkan vektor kontinu khusus tugas, yang dikenal sebagai awalan, ke setiap lapisan transformator sekaligus menjaga semua parameter tetap dikunci. Hasilnya, model yang disempurnakan dengan awalan menyimpan lebih dari seribu kali lipat lebih sedikit parameter daripada model yang disempurnakan sepenuhnya dengan kinerja yang sebanding.

Tuning prompt menyederhanakan tuning awalan dan melatih model dengan menyuntikkan prompt yang disesuaikan ke dalam data input atau pelatihan. Prompt keras dibuat secara manual, sementara prompt lunak adalah serangkaian angka yang dihasilkan AI yang mengambil pengetahuan dari model dasar. Prompt lunak terbukti mengungguli prompt keras yang dibuat manusia selama penyetelan.

P-tuning adalah variasi dari penyetelan prompt yang dirancang untuk tugas natural language understanding (NLU). Alih-alih menggunakan prompt yang dibuat secara manual, P-tuning memperkenalkan pelatihan dan pembuatan prompt otomatis yang mengarah ke prompt pelatihan yang lebih berdampak dari waktu ke waktu.