RAG vs. penyempurnaan vs. rekayasa prompt

Model AI generatif dilatih pada kumpulan data besar-besaran, yang sebagian besar diperoleh dari internet. Pengembang kecerdasan buatan biasanya tidak memiliki akses ke data ceruk, seperti data kepemilikan dan internal perusahaan. Ketika organisasi ingin menerapkan model bahasa besar (LLMs) untuk kebutuhan tertentu, mereka perlu mengubah cara kerja model gen AI untuk menghasilkan output yang diinginkan dan perilaku.

Rekayasa prompt, RAG, dan penyempurnaan semuanya membantu mengoptimalkan output LLM untuk contoh penggunaan target. Dengan mereka, ilmuwan data bisa mendapatkan kinerja hilir yang lebih baik, akurasi spesifik domain yang lebih besar, dan output yang memenuhi persyaratan pemformatan, bahasa, atau peraturan yang relevan.

Perbedaan antara rekayasa prompt, RAG, dan penyempurnaan/fine-tuning mencakup empat area perbedaan utama:

• Pendekatan

• Tujuan

• Persyaratan sumber daya 

• Aplikasi

Rekayasa prompt mengoptimalkan input untuk mengarahkan model menuju output yang lebih baik. Penyempurnaan LLM melatih mereka dengan kumpulan data khusus domain untuk meningkatkan kinerja dalam tugas hilir. RAG menghubungkan LLM ke database dan mengotomatiskan pengambilan informasi untuk menambah prompt dengan data yang relevan untuk akurasi yang lebih baik.

RAG, rekayasa prompt, dan penyempurnaan memiliki hasil yang sama pada skala umum: meningkatkan kinerja model untuk memaksimalkan nilai bagi perusahaan yang menggunakannya. Namun lebih khusus lagi, rekayasa prompt harus mengarahkan model untuk memberikan hasil yang diinginkan pengguna. RAG bertujuan untuk memandu model untuk memberikan output yang lebih relevan dan akurat. 

Sementara itu, model yang disempurnakan dilatih ulang pada sekumpulan data eksternal yang terfokus untuk meningkatkan kinerja dalam contoh penggunaan tertentu. Ketiga metode ini tidak saling eksklusif dan sering kali digabungkan untuk hasil yang optimal. 

Rekayasa prompt adalah hal yang paling sedikit memakan waktu dan sumber daya di antara ketiga teknik pengoptimalan tersebut. Rekayasa prompt dasar dapat dilakukan secara manual tanpa investasi apa pun ke dalam komputasi tambahan.

RAG membutuhkan keahlian ilmu data untuk mengatur kumpulan data perusahaan dan membangun pipeline data yang menghubungkan LLM ke sumber data tersebut. Penyempurnaan bisa dibilang yang paling berat karena persiapan data dan proses pelatihan sangat intensif dalam hal komputasi dan memakan waktu.

Rekayasa prompt adalah yang paling fleksibel dan unggul dalam situasi terbuka dengan berbagai output yang berpotensi beragam, seperti ketika meminta LLM untuk membuat konten dari awal. Keberhasilan pembuatan gambar, video, dan teks berkembang dengan prompt yang kuat.

Fine-tuning/penyempurnaan menyempurnakan model untuk pekerjaan yang sangat terfokus—ketika ilmuwan data membutuhkan model untuk melakukan satu hal dengan sangat baik. RAG adalah solusi ideal di mana informasi yang akurat, relevan, dan terkini adalah yang terpenting, seperti pada layanan pelanggan chatbot.

Rekayasa prompt menawarkan berbagai metode untuk memberikan model instruksi eksplisit tentang cara berperilaku. Dengan arahan yang jelas, perilaku model dapat dibentuk dengan lebih tepat tanpa harus berinvestasi dalam sistem pengambilan atau pelatihan yang membutuhkan sumber daya yang intensif.

RAG menyambungkan LLM ke data real-time yang dimiliki yang seharusnya tidak dapat diakses oleh LLM. Model RAG dapat menghasilkan jawaban yang lebih akurat dengan tambahan konteks data internal daripada yang bisa dihasilkan tanpa data tersebut.

Model yang diatur dengan baik biasanya mengungguli model dasar yang sesuai, seperti yang ada di rangkaian produk GPT, saat menerapkan pelatihannya dengan data khusus domain. Dengan akses yang lebih besar ke pengetahuan eksternal, LLM yang disesuaikan memiliki pemahaman yang lebih baik tentang domain tertentu dan terminologinya.

Rekayasa prompt adalah proses menciptakan prompt efektif yang memandu model menuju output yang diinginkan tanpa memperluas dasar pengetahuannya. Proses rekayasa prompt tidak secara signifikan mengubah parameter model yang sudah dilatih sebelumnya.

Tujuan rekayasa prompt adalah untuk membuat prompt yang menyebabkan output memenuhi persyaratan spesifik dari contoh penggunaan yang dimaksud. Pelatihan lebih lanjut dan akses data yang lebih besar tidak dapat mengimbangi prompt yang buruk.

Rekayasa prompt bekerja dengan mengubah struktur dan konten prompt input berdasarkan output model sebelumnya. Dengan setiap iterasi, teknisi prompt mempelajari bagaimana model merespons input sebelumnya, kemudian menggunakan hasil tersebut untuk menginformasikan prompt berikutnya. Tujuannya adalah untuk memodifikasi perilaku model melalui instruksi yang jelas.

Rekayasa prompt yang baik didasarkan pada permintaan yang memberi tahu model pemrosesan bahasa alami (NLP) dengan tepat apa yang harus dilakukan. Proses rekayasa prompt melibatkan eksperimen dengan konten, struktur, dan bahasa prompt untuk menemukan format optimal yang mengarah ke output yang dibutuhkan dari model.

Bandingkan model machine learning dengan seorang juru masak rumahan yang ingin membuat makan malam yang lezat. Rekayasa prompt akan dianalogikan sebagai teman atau kerabat yang lebih berpengetahuan yang membantu mereka merencanakan pendekatan mereka terhadap makanan. Dengan saran yang kuat tentang apa yang harus dibuat dan bagaimana, juru masak rumahan yang bersemangat lebih cenderung menghasilkan sesuatu yang lezat.

RAG adalah kerangka arsitektur data yang menghubungkan LLM ke data lain, seperti data kepemilikan organisasi, yang sering kali disimpan di data lakehouses. Sistem RAG menambahkan data yang relevan ke prompt LLM sehingga LLM dapat menghasilkan jawaban yang lebih akurat.

Generasi dengan dukungan pengambilan data beroperasi dengan mencari data yang relevan dengan kueri pengguna, kemudian menggunakan data tersebut untuk membuat prompt yang lebih informatif. Mekanisme pengambilan informasi ditambahkan untuk menambah prompt untuk LLM dan membantunya menghasilkan respons yang lebih relevan.

Model RAG menghasilkan jawaban melalui proses empat tahap:

1. Kueri: seorang pengguna mengirimkan kueri, yang menginisialisasi sistem RAG.

1. Pencarian informasi: algoritme atau API yang kompleks menyisir dasar pengetahuan internal dan eksternal untuk mencari informasi yang relevan. 

1. Integrasi: data yang diambil dipadankan dengan kueri pengguna dan diberikan kepada model RAG untuk menjawab. Hingga saat ini, LLM belum memproses kueri.

1. Respons: menggabungkan data yang diambil dengan pelatihannya sendiri dan pengetahuan yang tersimpan, LLM menghasilkan respons yang kaya dan akurat secara kontekstual.

Saat mencari melalui dokumen, sistem RAG menggunakan pencarian semantik. Basis data vektor mengatur data berdasarkan kesamaan, sehingga memungkinkan pencarian berdasarkan makna, bukan berdasarkan kata kunci. Teknik pencarian semantik memungkinkan algoritme RAG menjangkau kata kunci yang sudah lewat dari maksud kueri dan mengembalikan data yang paling relevan.

Sistem RAG membutuhkan konstruksi dan pemeliharaan arsitektur data yang ekstensif. Teknisi data harus membangun pipeline data yang diperlukan untuk menghubungkan lakehouse data organisasi mereka dengan LLM dan menggunakan RAG. Sistem RAG juga memerlukan rekayasa prompt yang tepat untuk menemukan data yang tepat dan memastikan LLM tahu apa yang harus dilakukan dengannya.

Sekali lagi, bayangkan model gen AI sebagai koki rumahan amatir. Mereka tahu dasar-dasar memasak tetapi tidak memiliki informasi terbaru dan pengetahuan ahli dari koki yang terlatih dalam masakan tertentu. RAG seperti memberi juru masak rumahan buku masak untuk masakan itu. Dengan menggabungkan pengetahuan umum mereka tentang memasak dengan resep-resep dalam buku resep, para juru masak rumahan dapat membuat hidangan khusus masakan favorit mereka dengan mudah.

Fine-tuning adalah proses melatih ulang model yang telah dilatih sebelumnya pada sekumpulan data pelatihan yang lebih kecil dan lebih terfokus untuk memberikannya pengetahuan spesifik domain. Model ini kemudian menyesuaikan parameternya-pedoman yang mengatur perilakunya-dan penyematannya agar lebih sesuai dengan kumpulan data tertentu.

Fine-tuning/penyempurnaan bekerja dengan mengekspos model ke kumpulan data contoh berlabel. Model ini meningkatkan pelatihan awalnya saat memperbarui bobot modelnya berdasarkan data baru. Fine-tuning adalah metode pembelajaran yang diawasi, yang berarti data yang digunakan dalam pelatihan diurutkan dan diberi label. Sebaliknya, sebagian besar model dasar mengalami pembelajaran tanpa pengawasan, di mana data tidak diurutkan—model harus mengategorikannya sendiri.

Sekali lagi, jika Anda membayangkan model AI gen sebagai juru masak rumahan, maka proses fine-tuning atau penyempurnaan akan seperti mengikuti kursus memasak dalam masakan tertentu. Sebelum mengikuti kursus, juru masak rumahan akan memiliki pemahaman umum tentang dasar-dasar memasak. Namun setelah menjalani pelatihan kuliner dan memperoleh pengetahuan khusus, mereka akan jauh lebih mahir dalam memasak jenis makanan tersebut.

Model dapat disempurnakan sepenuhnya, yang memperbarui semua parameternya, atau disempurnakan dengan cara yang hanya memperbarui parameter yang paling relevan. Proses terakhir ini dikenal sebagai penyempurnaan halus efisien parameter (PEFT) dan merupakan cara hemat biaya untuk membuat model lebih efektif dalam domain tertentu.

Fine-tuning model memerlukan komputasi yang intensif dan memerlukan beberapa GPU bertenaga yang berjalan bersamaan—apalagi memori untuk menyimpan LLM itu sendiri. PEFT memungkinkan pengguna LLM untuk melatih ulang model mereka pada pengaturan perangkat keras yang lebih sederhana sambil mengembalikan peningkatan kinerja yang sebanding dalam contoh penggunaan model yang dimaksudkan, seperti dukungan pelanggan atau analisis sentimen. Fine-tuning utamanya unggul dalam membantu model mengatasi bias, yaitu kesenjangan antara prediksi model dan hasil nyata di dunia. 

Prapelatihan terjadi pada awal proses pelatihan. Bobot atau parameter model diinisialisasi secara acak dan model memulai pelatihan pada kumpulan data awalnya. Prapelatihan berkelanjutan memperkenalkan model terlatih ke kumpulan data baru tanpa label dalam praktik yang dikenal sebagai pembelajaran transfer. Model yang sudah terlatih "mentransfer" apa yang telah dipelajari sejauh ini ke informasi eksternal yang baru.

Sebaliknya, fine tuning menggunakan data berlabel untuk mengasah kinerja model dalam contoh penggunaan yang dipilih. Fine tuning unggul dalam mengasah keahlian model pada tugas-tugas tertentu, sementara prapelatihan berkelanjutan dapat memperdalam keahlian domain model.