Apa itu penyetelan prompt?

Penyetelan prompt adalah teknik penyempurnaan dengan efisiensi parameter (PEFT) yang mengadaptasi model terlatih berskala besar pada berbagai tugas baru tanpa memperbarui miliaran parameternya. Sebaliknya, teknik ini mempelajari satu kumpulan kecil vektor yang dapat dilatih—disebut prompt vektor atau token virtual—yang dimasukkan ke dalam ruang input model. Semua vektor ini bertindak sebagai sinyal berkelanjutan, mengendalikan model yang dikunci ke arah perilaku yang diharapkan dan menjaga model inti tetap utuh. Perspektif ini secara drastis mengurangi biaya komputasi dan penyimpanan, sehingga ideal untuk organisasi yang perlu menyesuaikan model berskala besar di berbagai contoh penggunaan. ^{1, 2}

Rekayasa prompt bergantung pada pembuatan instruksi teks yang cerdas (prompt teks) untuk mendapatkan perilaku yang tepat dari model. Meskipun efektif dalam beberapa kasus, prompt teks rapuh dan sulit dioptimalkan dalam skala besar. Itu berarti dalam rekayasa prompt, perubahan kecil dalam kata-kata dapat menyebabkan variasi kinerja yang signifikan dan tidak dapat diprediksi, sehingga sulit untuk dioptimalkan secara sistematis. Namun,penyempurnaan lengkap memperbarui semua parameter model, yang secara komputasi mahal dan menggunakan sangat banyak penyimpanan—terutama untuk model dengan bobot ratusan miliar. Penyetelan prompt menciptakan keseimbangan: proses ini menggunakan penanaman berkelanjutan alih-alih teks diskret, hanya melatih vektor kecil ini dan mencapai kinerja yang mendekati penyempurnaan penuh pada banyak tugas dan juga jauh lebih efisien. ^{2, 3}

Pendekatan penyetelan prompt didasarkan pada komponen inti yang bekerja sama untuk mengadaptasi model terlatih berskala besar. Metode ini menggunakan model yang dikunci, mempelajari sekumpulan penanaman prompt vektor melalui pengoptimalan berbasis gradien dan dipandu oleh kumpulan data khusus tugas. Semua elemen ini memungkinkan adaptasi dengan efisiensi parameter tanpa melatih ulang seluruh model. ^{1, 2}

Model dikunci terlatih: Sebuah model bahasa besar (LLM) atau transformator visual berfungsi sebagai model inti. Model ini tetap dikunci selama pelatihan, sehingga mempertahankan pengetahuan umumnya sekaligus mengurangi biaya komputasi dan penyimpanan.⁴

Penanaman prompt vektor: Prompt ini adalah vektor dapat dilatih yang juga dikenal sebagai token virtual yang melekat atau disisipkan ke dalam input yang dipecah menjadi token. Mereka bertindak sebagai sinyal berkelanjutan yang mengontrol model menuju tugas output tanpa mengubah bobot internalnya.⁴

Kumpulan data khusus tugas: Kumpulan data berlabel yang selaras dengan tugas hilir sangat penting untuk pengoptimalan prompt vektor yang diawasi.

Pengoptimalan berbasis gradien: Hanya parameter prompt vektor dan modul output kecil (opsional) yang diperbarui menggunakan pengoptimal, sedangkan model inti tetap dikunci. Metode ini memastikan bahwa tercapai efisiensi dan stabilitas selama eksekusi tugas.⁴

Seperti yang ditunjukkan pada gambar, penyetelan prompt bekerja dengan memasukkan satu kumpulan kecil vektor yang dapat dilatih ke dalam input model dikunci terlatih. Prompt ini bekerja sebagai instruksi tersembunyi yang memandu model mencapai tugas sasaran tanpa memperbarui miliaran parameter.

Di luar komponen inti ini, beberapa pilihan desain sangat memengaruhi kinerja:

Panjang prompt: Jumlah token virtual dalam prompt vektor adalah hiperparameter yang penting. Berbagai peneliti melakukan eksperimen dan menemukan bahwa panjang optimal berbeda-beda pada tiap tugas. Misalnya, tugas klasifikasi sederhana mungkin bekerja paling baik dengan prompt yang lebih pendek (misalnya kurang dari 20 token), sementara tugas pelabelan urutan yang kompleks mungkin memerlukan prompt yang lebih panjang (misalnya sekitar 100 token).⁵

Penempatan prompt: Elemen ini mengoptimalkan tempat prompt, apakah muncul sebagai vektor tambahan di awal, akhir, atau disisipkan dalam urutan input.

Strategi inisialisasi: Memulai prompt vektor dengan nilai acak, sampel penanaman, atau token khusus tugas dapat memengaruhi kecepatan dan akurasi konvergensi.⁴

Elemen tambahan ini tidak wajib tetapi direkomendasikan untuk mencapai hasil yang optimal.

Mari kita pahami tugas analisis sentimen yang memberikan penjelasan yang jelas mengenai mekanisme dan manfaat penyetelan prompt. Misalkan tujuannya adalah untuk mengadaptasi model dengan 175 miliar parameter untuk mengklasifikasikan ulasan film sebagai "positif" atau "negatif". Pendekatan penyempurnaan penuh akan sangat mahal dan lambat. Dengan penyetelan prompt, prosesnya adalah sebagai berikut:

Mulai dengan model terlatih yang dikunci: Model inti 175 miliar parameter tetap tidak tersentuh sama sekali, mempertahankan penyimpanan pengetahuan umum yang sangat banyak yang dipelajari selama prapelatihan.⁵

Tambahkan prompt vektor: Satu kumpulan kecil vektor yang dapat dilatih (misalnya 20 token virtual) dilekatkan ke penanaman input dari setiap ulasan film. Semua vektor ini bukan teks yang dapat dibaca manusia; mereka merupakan penanaman berkelanjutan yang ada dalam ruang dimensi tinggi yang sama dengan kosakata model (misalnya, ruang dimensi dengan 12.288 elemen numerik untuk model dengan skala ini). Melalui pengoptimalan, semua vektor ini belajar mengodekan sinyal berkelanjutan yang spesifik untuk tugas tertentu, yang mengarahkan perilaku model.

Masukkan input: Misalnya,

[Prompt Vektor] Film ini sangat fantastis!

Dalam contoh ini, misalkan kita menginisialisasi 20 token prompt vektor untuk tugas analisis sentimen. Setelah pelatihan, input mungkin terlihat seperti ini secara internal:

Di sini, setiap v1 adalah vektor prompt berdimensi tinggi yang dipelajari. Tujuan pelatihan adalah untuk menemukan nilai optimal untuk vektor yang memandu model yang dikunci untuk mengklasifikasikan sentimen teks berikutnya dengan benar.

Hanya melatih prompt vektor: Dengan menggunakan kumpulan data ulasan film yang diberi label, proses pelatihan dimulai. Melalui propagasi balik, gradien kesalahan dihitung tetapi langkah pengoptimalan hanya memperbarui parameter penanaman prompt vektor. Pendekatan ini hanya melibatkan penyetelan beberapa ribu parameter, bukan 175 miliar bobot model.⁵

Menerapkan dengan modularitas: Setelah pelatihan selesai, kumpulan 20 vektor yang dihasilkan merupakan keseluruhan adaptasi khusus tugas. Untuk mengadaptasi model dasar yang sama untuk tugas yang berbeda, seperti deteksi spam, seseorang cukup melatih serangkaian prompt vektor baru pada kumpulan data spam dan menukarnya pada waktu inferensi

Teknik ini memberikan manfaat efisiensi yang sangat signifikan. Alih-alih menyimpan salinan lengkap model terpisah untuk setiap tugas—model dengan 175 miliar parameter dapat memerlukan penyimpanan hingga 350 GB—kita hanya perlu menyimpan parameter prompt spesifik tugas yang mungkin hanya berukuran beberapa KB.¹ Modularitas ini membuat penyetelan prompt menjadi solusi praktis dan hemat biaya untuk adaptasi model berskala besar.²

Penyetelan prompt hadir dengan banyak manfaat dalam aplikasi real-time, tetapi penting untuk memahami keterbatasannya.

Kekuatan utama dari penyetelan prompt adalah efisiensi, modularitas, dan pelestarian pengetahuan model dasar.

Parameter yang luar biasa dan efisiensi biaya: Keuntungan yang paling signifikan adalah pengurangan drastis dalam parameter yang dapat dilatih. Hanya dengan memperbarui satu kumpulan kecil vektor dari prompt vektor—sering mewakili kurang dari 1% dari total model, penyetelan prompt menurunkan biaya komputasi dan penyimpanan secara drastis. Strategi ini menjadikan adaptasi model dasar masif realistis untuk dilakukan oleh organisasi dengan sumber daya komputasi terbatas.

Modularitas dan penerapan yang dapat diskalakan: Karena setiap tugas terangkum dalam satu kumpulan parameter prompt yang kecil dan independen, satu model inti yang dikunci dapat disesuaikan untuk banyak tugas hanya dengan menukar file prompt ringan ini pada waktu inferensi. Arsitektur “plug-and-play” ini sangat modular dan menghindari kebutuhan untuk menyimpan dan mengelola salinan model terpisah berukuran beberapa gigabyte untuk setiap aplikasi.

Mitigasi kehilangan informasi yang telah dipelajari secara drastis: Penyempurnaan penuh berisiko menimpa atau menurunkan pengetahuan yang dilatih pada model saat mempelajari tugas baru. Dengan menjaga bobot model inti tetap dikunci sepenuhnya, penyetelan prompt mempertahankan penyimpanan pengetahuan umum yang luas yang dipelajari selama prapelatihan, sehingga model dapat digunakan kembali untuk tujuan lain tanpa kehilangan kemampuan intinya.

Efisiensi data: Dibandingkan dengan penyempurnaan penuh, yang sering kali membutuhkan kumpulan data berlabel dalam jumlah besar untuk setiap tugas baru, penyetelan prompt dapat mencapai kinerja yang sangat baik dengan kumpulan data yang lebih kecil dan sederhana.

Terlepas dari kelebihannya, penyetelan prompt bukannya tanpa kekurangan, yang meliputi keterbatasan dalam kekuatan ekspresi, kesulitan pelatihan, dan kurangnya kemampuan interpretasi.

Kekuatan ekspresi terbatas: Batasan teoretis utama adalah bahwa penyetelan prompt dan vektor tambahan di awal kurang ekspresif daripada metode seperti LoRa atau penyempurnaan penuh. Analisis formal telah menunjukkan bahwa semua metode ini berfungsi dengan menambahkan bias pada output blok perhatian, tetapi tidak dapat mengubah pola perhatian yang dipelajari model secara mendasar. Ini berarti penyetelan prompt sangat efektif dalam memunculkan dan menggabungkan keterampilan yang sudah ada dalam model, tetapi dapat gagal dalam mempelajari tugas yang benar-benar baru yang membutuhkan pola penalaran baru.

Ketidakstabilan pelatihan dan sensitivitas hiperparameter: Salah satu tantangan praktis yang paling signifikan adalah sensitivitas metode ini terhadap hiperparameter. Proses pelatihan bisa jadi sulit untuk dipadukan dan sangat bergantung pada pilihan laju pembelajaran dan strategi inisialisasi prompt serta panjangnya, sering kali membutuhkan penyetelan yang cermat dan ekstensif untuk mencapai hasil yang optimal.

Masalah interpretabilitas “kotak hitam”: Keterbatasan utama dan terus-menerus adalah kurangnya kemampuan interpretasi yang melekat pada prompt vektor. Karena merupakan vektor berdimensi tinggi yang berkelanjutan dan dioptimalkan melalui penurunan gradien, vektor ini tidak sesuai dengan teks yang dapat dibaca oleh manusia. Sifat “kotak hitam” ini membuatnya sulit untuk memahami apa yang telah dipelajari oleh prompt, mengapa ia mengarahkan model dengan cara tertentu, dan cara melakukan debug ketika gagal.

Ketergantungan pada skala model: Efektivitas metode penyetelan prompt tingkat input asli berkorelasi dengan skala model inti. Meskipun menjadi kompetitif dengan penyempurnaan penuh pada model dengan lebih dari 10 miliar parameter, kinerjanya signifikan pada model yang lebih kecil dan lebih umum digunakan.

Prinsip penyetelan prompt telah terbukti sangat mudah beradaptasi, jauh melampaui aplikasi awal mereka dalam pemrosesan bahasa alami. Teknik ini sekarang menjadi pendorong utama untuk menyesuaikan model secara efisien dalam domain multimodal, pemrosesan suara, dan untuk paradigma pembelajaran tingkat lanjut.

Penyetelan prompt multimodal (model bahasa visi): Penyetelan prompt adalah teknik penting untuk mengadaptasi model bahasa visi (VLM) terlatih seperti CLIP ke tugas visual hilir. Dalam konteks ini, prompt dapat direkayasa untuk satu atau kedua modalitas.⁷

Aplikasi dalam pemrosesan ucapan: Paradigma penyetelan prompt berhasil diperluas ke domain pemrosesan ucapan. Dalam aplikasi ini, ekspresi ucapan mentah dikodekan ke dalam unit akustik diskret dan satu kumpulan prompt vektor khusus tugas yang dapat dipelajari dilekatkan ke urutan ini. Kerangka kerja ini terpadu dan memungkinkan adaptasi satu model ucapan terlatih untuk beragam tugas berbeda. Ini termasuk pencarian kata kunci, klasifikasi niat yang diucapkan, dan bahkan pengenalan ucapan otomatis (ASR), sekaligus melatih sekumpulan kecil prompt khusus tugas.

Pembelajaran multitugas dan multibahasa: Untuk lebih meningkatkan efisiensi dan generalisasi, para peneliti telah melampaui pelatihan prompt satu tugas yang terisolasi. Metode yang lebih lanjut kini berfokus pada pembelajaran prompt bersama yang dapat ditransfer ke berbagai tugas atau bahasa.

• Penyetelan prompt multitugas (MPT): Pendekatan ini menyaring pengetahuan dari berbagai tugas sumber menjadi satu prompt bersama yang dapat ditransfer. Prompt bersama ini kemudian dapat secara efisien diadaptasi ke tugas target baru, yang hanya membutuhkan 0,035% dari parameter model per tugas dan menunjukkan kinerja yang kuat dalam skenario pembelajaran dengan beberapa contoh.
• Penyempurnaan multibahasa: Studi pada model multibahasa telah menemukan bahwa penyempurnaan multitugas pada gabungan kumpulan data dan prompt khusus bahasa Inggris dapat secara signifikan meningkatkan kinerja model tanpa contoh pada tugas yang tidak berbahasa Inggris. Metode ini menunjukkan bahwa model mempelajari kemampuan pemecahan masalah pada tugas yang, sampai batas tertentu, tidak bergantung pada bahasa.

Dalam bidang penelitian kecerdasan buatan, machine learning, dan AI generatif, penyetelan prompt muncul sebagai metode penting untuk penyetelan model yang efisien pada model AI . Tidak seperti pelatihan model lengkap yang mengubah semua bobot model dan berisiko mengalami overfitting dengan data pelatihan terbatas, teknik ini berfokus pada pengoptimalan prompt input yang melekat pada teks input. Melalui proses otomatisasi dan iterasi, tujuannya adalah untuk menemukan prompt optimal yang menciptakan prompt efektif untuk tugas tertentu, sebuah proses yang keberhasilannya sering tergantung pada ukuran model. Pendekatan ini menawarkan alternatif yang dapat diskalakan pada pelatihan ulang yang ekstensif dan melengkapi strategi lain seperti RAG, memperkuat perannya sebagai landasan untuk menyesuaikan model dasar.