Menerapkan model kecerdasan buatan (AI) untuk tugas-tugas kompleks seperti meringkas laporan, menjawab pertanyaan, atau menerjemahkan dokumen sering kali disertai dengan tantangan yang signifikan. Semua model ini biasanya memerlukan pelatihan ulang yang ekstensif dengan kumpulan data yang besar dan beranotasi serta proses penyempurnaan yang mahal. Setiap tugas baru menambah kompleksitas, memperlambat inovasi, meningkatkan biaya, dan membatasi skalabilitas AI di berbagai contoh penggunaan.
Sekarang, bayangkan pendekatan yang berbeda. Bagaimana jika model AI dapat beradaptasi dengan tugas baru secara instan, tanpa perlu pelatihan ulang atau data tambahan? Ini adalah janji pembelajaran dalam konteks (ICL) yang memungkinkan model AI mempelajari tugas secara dinamis hanya dengan memberikan contoh dalam sebuah prompt. Ini menghilangkan hambatan machine learning (ML) tradisional dan menawarkan solusi yang lebih cepat, lebih mudah beradaptasi, dan hemat biaya.
Pembelajaran dalam konteks (ICL) adalah kemampuan AI tingkat lanjut yang diperkenalkan dalam makalah penelitian yang sangat berpengaruh "Model Bahasa adalah Pelajar Prompt Dengan Beberapa Contoh," yang meluncurkan GPT-3.1 Tidak seperti pembelajaran yang diawasi, di mana sebuah model menjalani fase pelatihan dengan propagasi balik untuk mengubah parameternya, ICL sepenuhnya bergantung pada model bahasa yang telah dilatih sebelumnya dan menjaga agar parameternya tidak berubah.
Model AI menggunakan prompt sebagai panduan sementara untuk menyimpulkan tugas dan menghasilkan output yang diharapkan. ICL bekerja dengan mengenali hubungan antara contoh dalam prompt yang juga dikenal sebagai pasangan input/output dan menerapkan pemetaan yang sama ke input baru. Proses ini meniru penalaran manusia, di mana kita memecahkan masalah baru dengan menarik analogi dari pengalaman sebelumnya. Proses ini memanfaatkan pola dan pengetahuan yang dipelajari selama prapelatihan dan secara dinamis beradaptasi dengan tugas baru, menjadikannya sangat fleksibel dan efisien.
Pada intinya, pembelajaran dalam konteks bekerja dengan mengondisikan model bahasa besar (LLM) pada prompt yang mencakup serangkaian contoh (pasangan input/output atau contoh dalam konteks) yang biasanya ditulis dalam bahasa alami sebagai bagian dari urutan input. Semua contoh ini yang sering diambil dari kumpulan data, tidak digunakan untuk melatih kembali model tetapi dimasukkan langsung ke jendela konteks. Jendela ini menunjukkan jumlah teks yang dapat diproses sekaligus oleh LLM, berfungsi sebagai memori sementara untuk menghasilkan respons yang koheren dan merupakan bagian dari model yang memproses input berurutan.
Ikuti protokol dan biarkan prompt yang terdiri dari k contoh dalam bentuk pasangan input/output:
C={(x1 ,y1 ),(x2 ,y2 ),...,(xk ,yk )}
Berdasarkan input baru x dan calon ruang output Y={y1,...,ym}, model menghitung probabilitas dari setiap kemungkinan output yang dikondisikan pada prompt:
P(yj ∣ x,C)
Prediksi ditentukan dengan memilih opsi yang memiliki probabilitas tertinggi:
Model tidak memperbarui bobotnya selama proses ini. Sebaliknya, memanfaatkan arsitektur transformator pembelajaran mendalam, model mempelajari pola secara dinamis dengan hanya menggunakan contoh dalam prompt saat ini.
Untuk melihat metode ini dalam praktiknya, pertimbangkan tugas klasifikasi sentimen. Prompt mungkin terlihat seperti ini:
Ulasan: Film ini fantastis → Sentimen: Positif
Ulasan: Saya benci alur ceritanya → Sentimen: Negatif
Ulasan: Musiknya menyenangkan → Sentimen:
Model menyelesaikan baris terakhir dengan memprediksi "Positif", melanjutkan struktur yang diamati pada pemetaan label input sebelumnya. Contoh ini menampilkan pembelajaran dengan beberapa contoh di mana model menyimpulkan tugas dan menghasilkan respons yang sesuai berdasarkan beberapa contoh.
Mengingat keberhasilan model AI bergantung pada apa yang ditunjukkan dalam prompt, rekayasa prompt memainkan peran penting dalam ICL. Rekayasa prompt mengacu pada pembuatan prompt berkualitas tinggi, informatif, dan terstruktur dengan baik yang memandu model secara efektif. Prompt sering kali menggunakan templat bahasa alami yang dipilih secara saksama agar sesuai dengan apa yang telah dilihat oleh model selama pemaparan data prapelatihan. Variasi dalam kata-kata, format label, urutan contoh, dan bahkan tanda baca dapat memengaruhi kinerja model, terutama pada model yang lebih kecil atau kasus edge.
Yang terpenting, rekayasa prompt bukanlah mekanisme terpisah tetapi seperangkat teknik yang beroperasi dalam konsep pembelajaran dalam konteks yang lebih luas. Misalnya:
Prompting tanpa contoh: tugas dijelaskan tanpa memberikan contoh apa pun
prompting dengan satu contoh: hanya satu contoh yang disertakan untuk menggambarkan tugas
Prompting dengan beberapa contoh: beberapa contoh diberikan
Prompting rantai pemikiran: setiap contoh mencakup langkah-langkah penalaran perantara untuk memandu logika model
Strategi prompting ini sering dikombinasikan dengan desain prompt dengan beberapa contoh dan dievaluasi pada tolok ukur yang menguji generalisasi. Bahkan pasangan input/output dengan label acak dapat meningkatkan kinerja, menyoroti bahwa format dan distribusi prompt sama pentingnya seperti label itu sendiri.
Ketika kami beralih melampaui prompt ICL terkendali ke sistem dunia nyata yang kompleks, tantangan bergeser dari menyusun input statis ke mempraktikkan rekayasa konteks. Ini adalah disiplin ilmu yang baru muncul dan berfokus pada desain sistematis dari semua input yang dibutuhkan LLM untuk bekerja dengan andal dalam skenario dunia nyata.
Rekayasa konteks adalah praktik merancang sistem dinamis yang mengumpulkan dan memberikan informasi, alat, dan instruksi yang tepat kepada LLM dalam format yang tepat agar LLM dapat menyelesaikan tugas dengan andal. Tidak seperti rekayasa prompt statis, rekayasa konteks berfokus pada pembuatan input lengkap yang relevan dengan tugas dari berbagai sumber seperti input pengguna, interaksi sebelumnya, output alat, dan data eksternal pada saat eksekusi. Ini memastikan bahwa LLM tidak hanya menerima data yang diperlukan tetapi juga dalam struktur yang dapat mereka interpretasikan secara efektif. Pendekatan ini sangat penting dalam sistem agen yang kompleks di mana kegagalan sering kali berasal dari konteks yang tidak ada atau diformat dengan buruk ketimbang keterbatasan model. Dengan mengintegrasikan alat, mekanisme pengambilan, dan memori ke dalam proses pembuatan prompt, rekayasa konteks menjembatani kesenjangan antara potensi model dan kinerjanya di dunia nyata.
Meskipun penjelasan awal memandang ICL sebagai pengulangan pola di tingkat permukaan atau prediksi token berikutnya, penelitian yang lebih baru menunjukkan proses yang lebih dalam. Salah satu penjelasan yang menarik memandang ICL sebagai bentuk kesimpulan Bayesian, sebuah metode untuk memperkirakan probabilitas dengan memperbarui keyakinan dengan bukti.2 Dalam pandangan ini, model melihat prompt dengan beberapa contoh atau satu contoh dan menyimpulkan konsep laten (tugas atau struktur yang tidak terlihat, seperti "ini adalah klasifikasi sentimen") dari prompt. Ketika lebih banyak contoh dalam konteks ditambahkan, model menjadi lebih percaya diri mengenai tugas apa yang dilakukannya, sehingga meningkatkan prediksinya tanpa mengubah parameter model.
Penjelasan lain menghubungkan ICL dengan penurunan gradien, metode pengoptimalan inti di balik sebagian besar sistem machine learning untuk meminimalkan kesalahan. Penelitian terbaru menunjukkan bahwa model transformator dapat menyimulasikan proses pembelajaran secara internal, terutama untuk tugas-tugas sederhana seperti regresi linier. Meskipun tidak ada pembaruan parameter aktual yang terjadi, model berperilaku seolah-olah menyesuaikan diri dengan prompt dengan menggunakan siklus dalam penalaran. Seluruh proses ini terjadi dalam jendela konteks model.
Temuan ini menunjukkan bahwa ICL melibatkan perilaku seperti pembelajaran internal selama inferensi, bahkan dalam tahap penyiapan tanpa contoh atau dengan beberapa contoh. Alih-alih menjadi alat prediksi statis, LLM beradaptasi dengan struktur tugas secara real-time menggunakan prompt bahasa alami. Perpaduan antara inferensi dan pembelajaran tersirat ini menjadikan ICL cara yang ampuh untuk menangani tugas-tugas baru tanpa pelatihan ulang.
1. Skala model dan sensitivitas parameter
Efektivitas ICL sangat dipengaruhi oleh skala dan desain LLM. Model yang berukuran lebih besar menunjukkan kemampuan tidak terduga yang lebih kuat di ICL. Sementara model yang lebih kecil sering kali kesulitan untuk menyamai kemampuan pembelajaran dalam konteks karena tidak memiliki kapasitas parameter untuk membangun representasi tugas-tugas kompleks secara efektif.
2. Kualitas dan bias data prapelatihan
Efektivitas pembelajaran dalam konteks bergantung pada variasi dan kualitas data prapelatihan. Model yang dilatih pada kumpulan data yang sempit atau bias dapat mereplikasi keterbatasan tersebut selama inferensi, yang mengarah ke masalah generalisasi dan keadilan yang buruk.
3. Transfer domain dan generalisasi
Meskipun LLM menunjukkan kemampuan adaptasi yang mengesankan, kinerja mereka dapat menurun dalam tugas yang sangat spesifik domain tertentu. Untuk bidang khusus seperti hukum atau kedokteran, demonstrasi khusus domain atau bahkan penyempurnaan tradisional mungkin masih diperlukan.
4. Etika dan keadilan
ICL dapat secara tidak sengaja membawa dan memperkuat bias sosial yang ada dalam data pelatihan. Karena prompt dapat memengaruhi perilaku model, memastikan output yang etis dan adil dalam interaksi real-time yang dinamis tetap menjadi tantangan utama.
5. Masalah privasi dan keamanan
Sistem berbasis ICL yang beroperasi dalam aplikasi dunia nyata dapat secara tidak sengaja mengingat atau mereproduksi informasi sensitif jika data tersebut ada dalam korpus prapelatihan. Kemungkinan ini menimbulkan masalah privasi penting, terutama dalam domain perawatan kesehatan, hukum, dan asisten yang dipersonalisasi.
6. Sensitivitas dan stabilitas prompt
ICL sensitif terhadap desain prompt. Perubahan kecil dalam jumlah, urutan, atau pemformatan contoh dalam konteks dapat menyebabkan pergeseran besar dalam output, sehingga sulit untuk menjamin kinerja yang konsisten.
1. Model pelatihan
Untuk membuat LLM secara alamiah lebih baik dalam pembelajaran dalam konteks, para peneliti menggali peningkatan selama atau segera setelah pelatihan model.3 Salah satu arahan utama adalah prapelatihan dengan data terstruktur, di mana pasangan input/output atau klaster tugas diatur secara eksplisit. Pendekatan ini membantu model menjadi lebih peka terhadap pola tugas dan hubungan dan tidak hanya mengandalkan distribusi bahasa yang luas.
Pendekatan lain yang efektif adalah distilasi meta, di mana model dihadapkan pada bentuk pengetahuan yang disuling dan abstrak; pasangan contoh pendek dan sangat informatif yang menyampaikan esensi dari sebuah tugas (misalnya, "Plot yang kuat → positif," "Akting lemah → negatif"). Metode ini memungkinkan model untuk menggeneralisasi dengan cepat selama inferensi dengan konsumsi demonstrasi minimal.
Pelatihan pemanasan menyempurnakan model antara prapelatihan dan inferensi aktual dengan menggunakan contoh yang selaras dengan tugas dalam bentuk prompt. Misalnya, melihat beberapa contoh “Judul → Kategori” sebelum pengujian meningkatkan kemampuannya untuk menggeneralisasi ke konten terkait tanpa pelatihan ulang.
Penyetelan instruksi adalah strategi penting lainnya, di mana model dilatih menggunakan ribuan tugas yang ditulis sebagai instruksi bahasa alami (misalnya, “Klasifikasikan suasana hati kalimat”). Strategi ini meningkatkan generalisasi dengan beberapa contoh dan tanpa contoh dengan menyelaraskan perilaku model lebih dekat dengan panduan manusia.
2. Merancang prompt
Desain prompt selama inferensi memainkan peran penting dalam memanfaatkan ICL. Salah satu teknik yang paling berdampak adalah pemilihan demonstrasi; memilih contoh yang tepat dengan menggunakan metrik kemiripan, skor ketidakpastian, atau retriever terlatih.
Pemformatan ulang demonstrasi memodifikasi bagaimana contoh disusun. Alih-alih polos (pasangan input/output), beberapa metode menggunakan rantai penalaran (misalnya, “Premis → Penalaran → Kesimpulan”) untuk meningkatkan keselarasan dengan representasi internal model.
Faktor halus namun penting lainnya adalah pengaturan demonstrasi. Menata contoh dari yang sederhana ke kompleks, seperti memulai dengan pernyataan cetak pemrograman dasar sebelum melanjutkan ke siklus, membantu model membangun konteks secara bertahap, sehingga meningkatkan pemahaman dan kualitas output.
Terakhir, format instruksi dan prompting rantai pemikiran meningkatkan tugas-tugas yang membutuhkan penalaran tinggi dengan memandu model secara eksplisit melalui langkah-langkah perantara. Pendekatan ini sangat berguna dalam domain seperti aritmetika atau penalaran logis, di mana perincian seperti "Langkah 1: Kurangi 3 dari 8 → Langkah 2: Jawabannya adalah 5" meningkatkan akurasi dibandingkan dengan format pertanyaan-jawaban langsung.
Deteksi anomali: Dengan menggunakan pembelajaran dalam konteks, LLM dapat diberikan beberapa contoh berlabel dari aktivitas jaringan normal dan tidak normal. Model ini kemudian dapat secara akurat mengklasifikasikan kejadian lalu lintas baru sebagai normal atau mencurigakan, sehingga memungkinkan pemantauan yang fleksibel dan efisien tanpa pelatihan ulang yang ekstensif. Pendekatan ini dapat diterapkan secara luas untuk berbagai tugas keamanan siber dan manajemen jaringan.
Sebagai contoh, sebuah makalah penelitian menyajikan contoh penerapan pembelajaran dalam konteks dengan LLM, khususnya GPT-4, untuk deteksi otomatis gangguan jaringan di lingkungan nirkabel.4 Alih-alih metode tradisional yang membutuhkan data berlabel ekstensif dan penyempurnaan yang mahal, mereka merancang tiga pendekatan pembelajaran dalam konteks: ilustratif, heuristik, dan interaktif. Semua metode ini memandu GPT-4 untuk mengidentifikasi jenis serangan dengan memberikan beberapa contoh berlabel dalam prompt dan memasukkan pertanyaan khusus domain untuk meningkatkan akurasi. Diuji pada kumpulan data nyata dengan 9 jenis serangan denial-of-service terdistribusi (DDoS), hasilnya menunjukkan peningkatan kinerja. Peningkatan ini menunjukkan akurasi dan Skor F1 meningkat sekitar 90%, dengan GPT-4 mencapai lebih dari 95% hanya dengan 10 contoh. Contoh ini menunjukkan bagaimana pembelajaran dalam konteks memungkinkan LLM beradaptasi dengan cepat dan bekerja secara efektif dalam skenario keamanan siber di dunia nyata dengan data pelatihan yang minimal.
Pemrosesan bahasa alami (NLP) khusus domain: ICL memungkinkan LLM untuk berkinerja baik pada tugas-tugas khusus dengan menggunakan contoh yang relevan dalam prompt. Pendekatan ini memecahkan tantangan tugas pemrosesan bahasa alami (NLP) khusus domain di mana data berlabel mungkin langka atau penyempurnaan tidak dapat dilakukan. Rute ini memungkinkan model untuk beradaptasi dan menghasilkan hasil yang akurat hanya berdasarkan isyarat kontekstual yang diberikan selama inferensi.
Sebuah studi menunjukkan bahwa LLM dapat secara efektif menganalisis laporan keselamatan penerbangan melalui ICL, mengatasi tantangan seperti sparsitas semantik dan kebutuhan akan penyempurnaan yang mahal dari segi komputasi.5 Penelitian ini menggunakan BM25 (algoritma pencarian informasi yang digunakan untuk memeringkat dokumen berdasarkan relevansinya dengan permintaan pencarian) untuk memilih contoh yang paling relevan untuk prompt. Model ini secara signifikan meningkatkan akurasi klasifikasinya dengan mencapai akurasi hingga 80,24% dan skor F1 84,15% dengan delapan contoh. Dengan memberikan contoh relevan berkualitas tinggi dalam prompt, model ini dapat menggeneralisasi pemahamannya untuk mengklasifikasikan laporan yang tidak terlihat secara akurat. Meningkatkan jumlah contoh yang dipilih dengan baik biasanya meningkatkan kinerja, karena model mendapatkan lebih banyak konteks dan lebih baik dalam menangkap pola yang mendasari dalam data. Pendekatan ini menunjukkan bahwa ICL dengan pemilihan contoh strategis memungkinkan LLM untuk memahami dan mengklasifikasikan data penerbangan khusus secara efektif, memberikan solusi praktis untuk tugas NLP yang khusus domain.
Analisis sentimen: ICL memungkinkan LLM untuk menganalisis sentimen dengan memberikan beberapa sampel teks berlabel (misalnya, "Layanan hebat → positif," "Produk buruk → negatif"). Ketika diberi kalimat baru yang tidak berlabel, model dapat menyimpulkan sentimen dengan akurasi tinggi. Pendekatan ini merampingkan tugas dalam analitik pengalaman pelanggan, penambangan opini, dan pemantauan merek.
Pembelajaran dalam konteks merupakan perubahan mendasar dalam cara kita berinteraksi dengan dan mengekstrak kecerdasan dari model bahasa besar. Hal ini memungkinkan model untuk beradaptasi dengan tugas baru secara dinamis menggunakan deskripsi tugas dan beberapa contoh, ICL menghadirkan fleksibilitas, efisiensi, dan aksesibilitas ke sistem AI. Teknik ini menjembatani kesenjangan antara model statis, model yang sudah terlatih, dan kebutuhan dunia nyata yang dinamis, sehingga satu model dapat melakukan berbagai tugas hanya dengan mengamati beberapa contoh. Seiring kemajuan penelitian di seluruh algoritma pembelajaran, strategi prapelatihan, desain prompt, dan pengoptimalan demonstrasi, ICL siap untuk menjadi landasan AI tujuan umum, membuka jalan bagi sistem yang lebih adaptif, dapat ditafsirkan, dan dapat diskalakan di berbagai industri.
1. Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., ... & Amodei, D. (2020). Language models are few-shot learners. Advances in neural information processing systems, 33, 1877-1901.
2. Xie, S. M., & Min, S. (2022). How does in-context learning work? A framework for understanding the differences from traditional supervised learning. A framework for understanding the differences from traditional supervised learning.
3. Dong, Q., Li, L., Dai, D., Zheng, C., Ma, J., Li, R., ... & Sui, Z. (2022). A survey on in-context learning. arXiv preprint arXiv:2301.00234.
4. Zhang, H., Sediq, A. B., Afana, A., & Erol-Kantarci, M. (2024). Large language models in wireless application design: In-context learning-enhanced automatic network intrusion detection. arXiv preprint arXiv:2405.11002.
5. Yang, Y., Shi, D., Zurada, J., & Guan, J. (2024, September). Application of Large Language Model and In-Context Learning for Aviation Safety Prediction. Pada Konferensi Internasional ke-17 Tahun 2024 tentang Teori Komputer dan Rekayasa Lanjutan (ICACTE) (hal. 361-365). IEEE.