Prompting tanpa contoh adalah metode rekayasa prompt yang bergantung pada prapelatihan model bahasa besar (LLM) untuk menyimpulkan respons yang sesuai. Berbeda dengan metode rekayasa prompt lainnya seperti prompting dengan beberapa contoh, model tidak diberikan contoh output ketika melakukan prompting dengan teknik tanpa contoh.1
Salah satu janji model dasar adalah bahwa mereka dapat disesuaikan dengan banyak contoh penggunaan tanpa memerlukan data pelatihan tambahan. Dalam prompting tanpa contoh, model diperintahkan untuk menghasilkan respons tanpa menerima contoh output yang diinginkan untuk contoh penggunaan tersebut. Prompting tanpa contoh adalah aplikasi dari pembelajaran tanpa contoh, pola machine learning yang meminta model untuk membuat prediksi tanpa data pelatihan.
Pada contoh di bawah ini, model Granite-3-8b-instruct IBM dari Series Granite IBM diperintah menggunakan prompting tanpa contoh pada contoh penggunaan klasifikasi.2 Dalam hal ini, model diminta untuk mengklasifikasikan masalah TI sebagai bagian dari kelas "Tinggi" atau kelas "Rendah", yang mengindikasikan urgensi masalah tersebut. Dalam contoh ini, model menyimpulkan label klasifikasi "Tinggi" untuk prompt (seperti yang digambarkan oleh output yang dicetak tebal), sebuah respons yang tepat dalam konteks ini.
Catatan: Prompt dijalankan di IBM watsonx.ai Prompt Lab menggunakan mode “Freeform”.
Tetapkan nama Kelas untuk masalah yang diuraikan menjadi Tinggi, Sedang, atau Rendah. Prediksi hanya nama Kelas untuk edisi terakhir. Berikan deskripsi singkat mengapa nama Kelas itu yang dipilih.
Nama kelas: Tinggi
Deskripsi: Masalah yang memiliki biaya bisnis yang tinggi, berdampak pada banyak pengguna, atau keduanya.
Nama kelas: Sedang
Deskripsi: Masalah yang berada di antara tinggi dan rendah.
Nama kelas: Rendah
Deskripsi: Masalah yang berdampak pada beberapa pengguna, tidak memiliki biaya bisnis yang tinggi, atau keduanya.
Masalah: Pengguna melaporkan bahwa mereka tidak dapat mengunggah file.
Kelas: Tinggi
Deskripsi: Masalah ini dianggap tinggi karena berdampak pada banyak pengguna dan memiliki biaya bisnis yang tinggi. Ketidakmampuan untuk mengunggah file dapat menghalangi pengguna untuk menyelesaikan tugas mereka, yang dapat menyebabkan penundaan dan penurunan produktivitas. Selain itu, masalah ini dapat berdampak pada beberapa departemen atau tim, yang selanjutnya meningkatkan biaya bisnis.
Strategi prompting tanpa contoh sering kali merupakan strategi rekayasa prompt default ketika menugaskan model dengan masalah baru.1 Contoh ini menunjukkan bagaimana model diharapkan untuk menghasilkan kesimpulan yang tepat tanpa adanya contoh respons yang eksplisit. Skenario prompting tanpa contoh meniru pembelajaran manusia dalam menerapkan pengetahuan sebelumnya untuk memecahkan masalah baru.3
Gambar-2 - Komponen sebuah prompt
Meskipun tidak diberikan contoh prompt, model ini diberikan detail tentang cara menyelesaikan tugas:1
Instruksi: Pertama, instruksi yang diberikan kepada model adalah untuk "Menetapkan nama Kelas untuk masalah yang diuraikan..."
Konteks: Selanjutnya, konteks untuk model mencakup deskripsi nama kelas.
Input data: Model menerima input data untuk menjalankan tugas klasifikasi dengan prompt “Masalah: Pengguna melaporkan bahwa mereka tidak dapat mengunggah file.”
Indikator output: Atau, model dapat menerima indikator output, dalam hal ini teks "Kelas:" yang memberi isyarat kepada model untuk merespons dengan nama kelas masalah. Indikator output menunjukkan pada model jenis output apa yang akan dihasilkan untuk jenis respons tertentu.
Format khusus dari prompt ini adalah untuk masalah klasifikasi saat ini. Contoh penggunaan lain mungkin memerlukan format yang berbeda untuk prompt dan mungkin tidak berisi instruksi, konteks, input, dan komponen indikator output yang sama.1 Model yang berbeda mungkin memerlukan format yang berbeda untuk prompt. Pastikan untuk mengikuti instruksi apa pun yang diberikan tentang cara memformat prompt untuk model tertentu. Dalam contoh ini, sebagai hasil dari prapelatihan pada model dan prompt yang dibuat dengan baik ini menggunakan komponen yang dijelaskan, model merespons dengan output yang sesuai untuk tugas ini.
Berbeda dengan prompting tanpa contoh, prompting dengan beberapa contoh memberikan model contoh input dan output yang diharapkan untuk tugas tersebut.1 Gambar sebelumnya menunjukkan perbedaan antara prompting tanpa contoh dan prompting dengan beberapa contoh, dan prompting dengan satu contoh juga ditampilkan sebagai kasus khusus.
Dengan menggunakan model IBM Granite-3-8b-instruct yang sama, contoh "Masalah" dan "Kelas" yang sesuai untuk tugas ini diberikan.2 Tiga contoh input dan output yang diberikan menggambarkan strategi prompting dengan beberapa contoh. Untuk menanggapi prompt ini, model membuat prediksi yang masuk akal untuk kelas "Sedang" (seperti yang disorot dalam huruf tebal).
Catatan: Prompt dijalankan dengan IBM watsonx.ai Prompt Lab dengan menggunakan mode "Freeform".
Tetapkan nama Kelas untuk masalah yang diuraikan menjadi Tinggi, Sedang, atau Rendah. Saya telah memberikan beberapa contoh masalah dan nama Kelas yang sesuai. Prediksi hanya nama Kelas untuk masalah terakhir. Berikan deskripsi singkat mengapa nama Kelas itu yang dipilih.
Nama kelas: Tinggi
Deskripsi: Masalah yang memiliki biaya bisnis yang tinggi, berdampak pada banyak pengguna, atau keduanya.
Nama kelas: Sedang
Deskripsi: Masalah yang berada di antara tinggi dan rendah.
Nama kelas: Rendah
Deskripsi: Masalah yang berdampak pada beberapa pengguna, tidak memiliki biaya bisnis yang tinggi, atau keduanya.
Masalah: Pengguna baru melaporkan bahwa mereka tidak dapat membuat akun.
Kelas: Tinggi
Masalah: Pengguna melaporkan bahwa label menyebabkan tumpang tindih dalam fungsi analitik aplikasi.
Kelas: Rendah
Masalah: Pengguna di Amerika Serikat melaporkan bahwa aplikasi macet saat mencoba melakukan pembelian.
Kelas: Tinggi
Masalah: Pengguna melaporkan bahwa gambar tidak dimuat di aplikasi.
Kelas: Sedang
Penjelasan: Masalah gambar yang tidak dimuat di aplikasi memengaruhi pengalaman pengguna dan dapat menyebabkan frustrasi, tetapi tidak memiliki biaya bisnis yang tinggi atau berdampak pada banyak pengguna. Oleh karena itu, masalah ini diklasifikasikan sebagai masalah tingkat menengah.
Prompting dengan beberapa contoh, yang merupakan strategi dari paradigma pembelajaran dengan beberapa contoh, biasanya digunakan untuk meningkatkan kinerja model dibandingkan prompting tanpa contoh pada sebuah tugas.1 Dalam contoh ini, model AI menghasilkan kesimpulan yang berguna, baik dalam skenario prompting tanpa contoh maupun prompting dengan beberapa contoh. Dalam memutuskan apakah akan menggunakan prompting tanpa contoh atau dengan beberapa contoh, orang harus mempertimbangkan kendala masalah dan kinerja yang ditunjukkan dari kedua strategi. Reynolds dan McDonell (2021) menemukan bahwa dengan perbaikan dalam struktur prompt, prompting tanpa contoh dapat mengungguli prompting dengan beberapa contoh dalam beberapa skenario.4 Schulhoff et al. (2024) menemukan hasil yang berbeda dengan membandingkan kinerja beberapa strategi prompting.5
Keuntungan
Batasan
Kemajuan dalam metode pelatihan untuk LLM telah meningkatkan output model untuk prompting tanpa contoh di berbagai contoh penggunaan.7
Buletin Think
Tetaplah menjadi yang terdepan dalam berita industri terbaru, alat AI, dan tren baru dalam rekayasa prompt dengan Buletin Think. Selain itu, dapatkan akses ke artikel penjelas, tutorial, dan insight pakar baru—dikirimkan langsung ke kotak masuk Anda. Lihat Pernyataan Privasi IBM.
Prompting tanpa contoh bergantung pada pengetahuan yang telah dilatih pada model dasar dan fleksibilitasnya untuk beradaptasi dengan prompt dan memberikan respons yang sesuai.1
Meningkatkan respons dalam skenario tanpa contoh adalah fokus para peneliti.1 Akurasi respons prompting tanpa contoh sering digunakan untuk membandingkan kinerja model saat menguji metode pelatihan model baru.7 Dua peningkatan yang menghasilkan kinerja prompting tanpa contoh yang lebih baik adalah penyetelan instruksi dan pembelajaran penguatan dengan masukan manusia (RLHF).8, 9
Dalam penyetelan instruksi, sebuah model disempurnakan menggunakan pembelajaran yang diawasi pada kumpulan data yang mencakup instruksi untuk berbagai tugas dan hasil dari tugas-tugas tersebut. Kumpulan data mencakup tugas-tugas seperti perangkuman teks, konversi, dan pemahaman bacaan. Strategi penyempurnaan dengan kumpulan data instruksional ini menghasilkan kinerja prompting tanpa contoh yang lebih baik pada tugas baru dalam kategori ini.8
Contoh lain dari penggunaan penyempurnaan untuk meningkatkan hasil prompting tanpa contoh adalah penyempurnaan RLHF, di mana pembelajaran penguatan mempelajari kebijakan yang memandu model untuk mendapatkan output yang lebih baik. Dalam proses 3 langkah ini, model pertama-tama disempurnakan menggunakan kumpulan data instruksional di mana manusia memberikan respons target. Kemudian model memproyeksikan output ke beberapa prompt yang diberi peringkat oleh manusia. Terakhir, output yang diberi peringkat digunakan untuk melatih model pembelajaran penguatan yang mempelajari kebijakan untuk memilih output terbaik berdasarkan peringkat yang diberikan oleh manusia.12
Langkah terakhir ini menggunakan kemampuan pembelajaran penguatan untuk menggunakan konsekuensi (hadiah atau hukuman) dari tindakan (keputusan atau jalan yang diambil) untuk mempelajari strategi (atau kebijakan) karena membuat keputusan yang baik. Dalam hal ini, ruang masalah adalah semua strategi potensial yang mungkin digunakan dalam pemilihan output yang baik oleh model sebagai responsnya.9
Dibandingkan dengan machine learning tradisional yang diawasi untuk pemrosesan bahasa alami (NLP), prompting tanpa contoh tidak memerlukan data pelatihan berlabel. Praktisi kecerdasan buatan dan ilmuwan data dapat menggunakan teknologi AI generatif dari model bahasa besar dalam skenario prompting tanpa contoh untuk berbagai contoh penggunaan, termasuk:10
Klasifikasi teks
Seperti yang ditunjukkan pada contoh sebelumnya yang mengklasifikasikan prioritas masalah TI dengan model granite-3-8b-instruct dari IBM, model dapat mencapai klasifikasi tanpa contoh sebelumnya yang merupakan bagian dari kelas yang berbeda. Kemampuan ini ideal untuk situasi di mana data pelatihan berlabel terbatas atau tidak ada. Tutorial klasifikasi tanpa contoh ini menunjukkan implementasi dari contoh penggunaan ini.
Ekstraksi informasi
Berdasarkan badan teks dan pertanyaan, LLM dapat mengekstrak informasi yang diminta sesuai dengan prompt.
Menjawab pertanyaan
Dengan menggunakan pengetahuan model yang telah dilatih sebelumnya, pengguna dapat meminta respons atas pertanyaan.
Peringkasan teks
Berdasarkan teks dan instruksi untuk perangkuman teks, model bahasa besar dapat menjalankan tugas ini dalam skenario prompt tanpa contoh tanpa memerlukan contoh ringkasan teks lain.
Pembuatan
LLM menghasilkan data dalam bentuk teks, kode, gambar, dan lainnya untuk contoh penggunaan yang ditetapkan.
Percakapan
Biasanya menggunakan model yang disetel untuk obrolan (seperti seri chat-GPT yang terkenal), LLM dapat berinteraksi dengan pengguna dalam mode obrolan, menyelesaikan banyak contoh penggunaan sebelumnya.
Untuk contoh penggunaan yang kompleks seperti tugas penalaran dengan banyak langkah, baik prompting tanpa contoh maupun prompting dengan beberapa contoh mungkin gagal menghasilkan respons yang sesuai dari model. Teknik perintah tingkat lanjut, termasuk rantai pemikiran dan pohon pemikiran, dapat lebih berhasil dalam kasus ini.
Rantai pemikiran: Prompting rantai pemikiran (CoT) adalah strategi yang memberikan tugas pada model dengan menentukan tugas yang lebih besar sebagai serangkaian langkah terpisah yang harus diselesaikan. Penjelasan langkah perantara ini meningkatkan kemampuan model untuk menghasilkan respons yang benar. CoT juga memungkinkan transparansi yang lebih baik tentang proses pemecahan masalah karena adanya penjelasan mengenai langkah-langkah perantara. Teknik rekayasa prompt ini menunjukkan keberhasilan di berbagai bidang, termasuk meningkatkan kinerja chatbot layanan pelanggan, membantu menata pemikiran para peneliti dan penulis, serta menghasilkan deskripsi langkah demi langkah untuk masalah pendidikan matematika dan sains.11
Pohon pemikiran: Prompting pohon pemikiran (ToT) menghasilkan pohon teks percabangan yang berisi potensi langkah selanjutnya dan kemungkinan solusi yang sesuai bagi masalah. Struktur pohon ini memungkinkan model untuk menjelajahi beberapa jalur dan melacak mundur, jika perlu, ketika sebuah jalur tidak menghasilkan solusi yang dapat diterima. Ini dirancang untuk memperkirakan strategi penalaran manusia saat membandingkan jalur potensial dengan solusi. Strategi umum untuk menjelajahi solusi adalah breadth-first-search (BFS) dan depth-first-search (DFS) selain pencarian heuristik dan pendekatan pembelajaran penguatan. Para peneliti telah menggunakan penerapan ini untuk memecahkan teka-teki seperti sudoku dan Game of 24.12, 13
1. E. Saravia. "Prompt Engineering Guide." https://github.com/dair-ai/Prompt-Engineering-Guide (diakses Oktober 2024).
2. "Granite 3.0 Language Models," IBM Research, Yorktown Heights, NY, Oktober 2024. https://github.com/ibm-granite/granite-3.0-language-models/blob/main/paper.pdf
3. B. Romera-Paredes, P. Torr, "An embarrassingly simple approach to zero-shot learning," in ICML, 2015, hal. 2152–2161, https://proceedings.mlr.press/v37/romera-paredes15.pdf.
4. L. Reynolds, K. McDonell, "Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm", Februari 2021, https://doi.org/10.48550/arXiv.2102.07350.
5. S. Schulhoff, M. Ilie, N. Balepur, K. Kahadze, A. Liu, C. Si, Y. Li, A. Gupta, H. Han, S. Schulhoff, P. S. Dulepet, S. Vidyadhara, D. Ki, S. Agrawal, C. Pham, G. Kroiz, F. Li, H. Tao, A. Srivastava et al. "The Prompt Report: A Systematic Survey of Prompting Techniques," Desember 2024, https://doi.org/10.48550/arXiv.2406.06608.
6. Y. Li, Yinheng, "A Practical Survey on Zero-shot Prompt Design for In-context Learning," in RANLP, Juli 2023, hal. 641‑647, https://acl-bg.org/proceedings/2023/RANLP%202023/pdf/2023.ranlp-1.69.pdf.
7. H. Touvron, T. Lavril, G. Izacard, X. Martinet, M.-A. Lachaux, T. Lacroix, B. Rozi`ere, N. Goyal, E. Hambro, F. Azhar, A. Rodriguez, A. Joulin, E. Grave dan G. Lample, “LLaMA: Open and efficient foundation language models,” Februari 2023, https://doi.org/10.48550/arXiv.2302.13971.
8. J. Wei, M. Bosma, V. Y. Zhao, K. Guu, A. W. Yu, B. Lester, N. Du, A. M. Dai and Q. V. Le, "Finetuned Language Models are Zero-Shot Learners," di ICLR, 2022, https://doi.org/10.48550/arXiv.2109.01652.
9. L. Ouyang, J. Wu, X. Jiang, D. Almeida, C. L. Wainwright, P. Mishkin, C. Zhang, S. Agarwal, K. Slama, A. Ray, J. Schulman, J. Hilton, F. Kelton, L. Miller, M. Simens, A. Askell, P. Welinder, P. Christiano, J. Leike, dan R. Lowe, “Training language models to follow instructions with human feedback,” in NeurIPS, 2022, https://proceedings.neurips.cc/paper_files/paper/2022/file/b1efde53be364a73914f58805a001731-Paper-Conference.pdf.
10. P. Liu, W. Yuan, J. Fu, Z. Jiang, H. Hayashi, dan G. Neubig, “Pre-train, prompt and predict: A systematic survey of prompting methods in Natural Language Processing,” ACM Computing Surveys, vol. 55, no. 9, hal. 1–35, Januari 2023, https://dl.acm.org/doi/pdf/10.1145/3560815.
11. J. Wei, X. Wang, D. Schuurmans, M. Bosma, B. Ichter, F. Xia, E. Chi, Q. Le, dan D. Zhou, “Chain-of-thought prompting elicits reasoning in large language models,” Januari 2023, https://doi.org/10.48550/arXiv.2201.11903.
12. J. Long, "Large Language Model Guided Tree-of-Thought," Mei 2023, https://doi.org/10.48550/arXiv.2305.08291.
13. S. Yao, D. Yu, J. Zhao, I. Shafran, T. L. Griffiths, Y. Cao, dan K. Narasimhan, "Tree of Thoughts: Deliberate Problem Solving with Large Language Models," Desember 2023, https://doi.org/10.48550/arXiv.2305.10601.