Apa itu kustomisasi LLM?

Proses pembuatan LLM khusus dirancang untuk menerapkan model umum ke konteks yang lebih spesifik. Meskipun berbagai metode penyesuaian LLM tersedia, proses umum cenderung mengikuti serangkaian langkah serupa.

1. Persiapan data: Kinerja model yang optimal bergantung pada data pelatihan yang kuat. Pembuat model dan ilmuwan data harus mengumpulkan dan menyusun kumpulan data pelatihan yang spesifik untuk domain tertentu dan relevan dengan tujuan model yang dimaksud. Dengan basis pengetahuan data berkualitas tinggi, respons model lebih mungkin akurat dan berguna.
    

2. Pemilihan model: Daftar LLM sangat banyak dan beragam. Model AI memiliki ukuran, efektivitas, penggunaan sumber daya komputasi, dan arsitektur yang bervariasi, dan semuanya memengaruhi kinerja. Memilih model yang tepat membutuhkan pemahaman tentang tujuan dan keterbatasan proyek machine learning.
    

3. Penyesuaian model: Di sini, spesialis machine learning mengubah model dasar menjadi alat khusus. Output model akan disesuaikan dengan tugas hilir tertentu. Pengembang harus memahami cara kerja model dasar dan metode penyesuaian yang dipilih untuk berhasil mengoptimalkan perilaku model.
    

4. Iterasi: Algoritma ML memiliki kinerja terbaik ketika dilatih dengan proses langkah demi langkah, bukan dengan melakukan penyesuaian besar-besaran. Pengembang dapat mengukur efek dari teknik penyesuaian pada setiap langkah dan menggunakan temuan tersebut sebagai dasar untuk iterasi berikutnya.
    

5. Pengujian: Setelah pelatihan selesai, tetapi sebelum digunakan dalam dunia nyata, model diuji untuk memastikan kinerjanya yang andal. Pengembang memastikan bahwa adaptasi mereka efektif dan bahwa model menerapkan pengetahuan spesifik yang baru diperolehnya tanpa mengalami lupa katastropik.
    

6. Penerapan model: Model khusus diterapkan ke dalam lingkungan produksinya, seperti aplikasi atau API yang didukung AI, dan tersedia untuk contoh penggunaan tertentu di dunia nyata.

Tergantung pada contoh penggunaan dan output yang diinginkan, pengembang dan spesialis machine learning memilih dari berbagai metode penyesuaian LLM. Semua jenis penyesuaian LLM dapat membentuk kinerja model AI generatif (genAI) untuk tugas hilir tertentu.

Teknik penyesuaian LLM meliputi:

• Retrieval augmented generation (RAG)
  
  
• Penyempurnaan
  
  
• Rekayasa prompt

Generasi dengan dukungan pengambilan data (RAG) menghubungkan LLM dengan sumber data eksternal untuk memperluas basis pengetahuannya. Ketika pengguna kirim kueri, sistem RAG mencari informasi yang relevan dalam basis data yang dipasangkan, lalu menggabungkannya dengan kueri untuk memberikan konteks lebih banyak kepada LLM ketika menghasilkan respons.

RAG menggunakan penanaman untuk mengubah basis data, kode sumber, atau informasi lain dalam basis data vektor yang dapat dicari. Penanaman secara matematis memplot setiap titik data dalam ruang vektor tiga dimensi. Untuk menemukan data yang relevan, model pengambilan informasi dalam sistem RAG mengubah kueri pengguna menjadi menanamkan dan menemukan menanamkan serupa dalam basis data vektor.

Sistem RAG biasanya mengikuti urutan standar yang sama:

1. Prompting: Pengguna mengirimkan prompt ke antarmuka pengguna, seperti chatbot yang didukung AI.
    

2. Pengiriman kueri: Model pengambilan informasi mengubah prompt menjadi penyematan dan mengirim kueri ke database untuk data serupa.
    

3. Pengambilan: Model pengambilan mengambil data yang relevan dari database.
    

4. Pembuatan: Sistem RAG menggabungkan data yang diambil dengan kueri pengguna dan mengirimnya ke LLM, yang menghasilkan respons.
    

5. Pengiriman: Sistem RAG mengembalikan respons yang dihasilkan kepada pengguna.

RAG mendapatkan namanya karena cara sistem RAG mengambil data yang relevan dan menggunakannya untuk menambah respons yang dihasilkan LLM. Sistem RAG yang lebih kompleks memperkenalkan komponen tambahan untuk menyempurnakan proses dan lebih meningkatkan kualitas respons.

Pemberian akses kepada LLM terhadap pengetahuan khusus domain memungkinkan LLM untuk mengintegrasikan data tersebut ke dalam proses pembuatan responsnya. Hal ini meningkatkan akurasi dan keandalan solusi AI tanpa investasi biaya yang terlalu signifikan, terutama jika data eksternal sudah tersedia dan siap untuk machine learning.

Misalnya, model RAG yang dirancang untuk menjawab pertanyaan dapat memberikan jawaban yang lebih baik ketika dapat menemukan jawaban yang benar dalam basis pengetahuan tertautnya.

Menggunakan RAG dengan model yang lebih kecil dapat membantu mereka tampil di tingkat yang lebih tinggi. Model bahasa kecil (SLM) menawarkan persyaratan komputasi yang lebih rendah, waktu pelatihan yang lebih cepat, dan latensi yang lebih sedikit dalam inferensi. Membangun sistem RAG di sekitar SLM akan mempertahankan manfaat-manfaat ini sambil memanfaatkan akurasi konteks khusus yang ditawarkan RAG.

Menyesuaikan LLM melibatkan penyesuaian berulang pada pengaturan internal yang memandu perilakunya. Pengaturan ini dikenal sebagai parameter model atau bobot, dan mereka mengontrol bagaimana model memproses dan mengevaluasi data.

Selama pelatihan, algoritma pembelajaran model menyesuaikan parameter hingga kinerja optimal tercapai. Pada saat itu, proses pelatihan dinilai telah berhasil diselesaikan.

LLM tingkat lanjut, terutama transformer seperti GPT milik OpenAI dan Llama milik Meta, dapat memiliki miliaran parameter. Karena model-model ini begitu besar, penyempurnaan penuh sering kali sangat mahal dan memakan waktu.

Metode penyempurnaan yang lebih bernuansa menyesuaikan beberapa parameter model atau menambahkan parameter baru dengan tujuan untuk mempertahankan kinerja pelatihan sekaligus meningkatkan kemahiran dengan tugas-tugas tertentu.

Metode penyempurnaan halus yang terkenal meliputi:

• Penyempurnaan efisien parameter (PEFT)
  
  
• Pembelajaran penguatan dengan masukan manusia (RLHF)
  
  
• Penyempurnaan berkelanjutan (CFT)

PEFT mengunci sebagian besar parameter model yang terlatih dan berfokus pada penyesuaian yang paling relevan dengan tugas baru. Dengan melakukan ini, PEFT menghabiskan sumber daya komputasi yang jauh lebih sedikit daripada penyempurnaan penuh. PEFT adalah bidang yang luas dengan banyak implementasi.

Pembelajaran transfer memanfaatkan pengetahuan model terlatih untuk tugas-tugas baru, menerapkan apa yang sudah diketahui dalam konteks baru. Hal ini bekerja paling baik ketika tugas baru terkait dengan tugas asli, seperti ketika menggunakan pengklasifikasi untuk mengenali dan mengklasifikasikan kategori atau jenis objek baru.

Dalam contoh ini, jenis pembelajaran transfer yang diterapkan dikenal sebagai pembelajaran multitugas: di mana sebuah model disesuaikan dengan beberapa tugas sekaligus. Di sini, tugas-tugas baru itu adalah pengenalan objek dan klasifikasi.

Adaptasi peringkat rendah (LoRA) adalah pendekatan modular untuk penyempurnaan yang menambahkan parameter tambahan ke model yang telah dilatih sebelumnya. LoRA mengunci parameter model yang telah dilatih sebelumnya dan menambahkan suplemen yang dikenal sebagai matriks berdimensi rendah yang menyesuaikan respons model agar sesuai dengan persyaratan kasus penggunaan atau tugas tertentu.

Bayangkan LoRa sebagai satu set topi ajaib yang memungkinkan pemakainya untuk melakukan keterampilan terkait. Kenakan topi koki ajaib dan masak makanan bintang lima. Kenakan helm pekerja ajaib dan bangun rumah. Kenakan helm sepeda motor ajaib dan menangkan Isle of Man TT. Kenakan topi baseball ajaib dan bawa pulang kemenangan dalam pertandingan baseball.

Pembelajaran penguatan dengan masukan manusia (RLHF) menggunakan model penghargaan bermitra untuk menyempurnakan model terlatih untuk tugas-tugas subjektif yang kompleks. Model ML tidak dapat menilai apakah sebuah tulisan bersifat memikat, tetapi manusia dapat melakukannya, dan manusia tersebut dapat mengajarkan model tersebut untuk meniru preferensi mereka.

Dengan RLHF, manusia melatih model hadiah untuk tugas baru. Tugas model hadiah adalah berhasil memprediksi bagaimana manusia akan bereaksi terhadap input yang diberikan. Sedangkan pelatihan model standar menghukum kesalahan, pelatihan hadiah memberi insentif kepada kinerja yang baik.

Kemudian, model insentif tersebut mengajarkan model dasar cara berperilaku, berdasarkan preferensi para pelatih manusia. Setelah dilatih, model hadiah dapat melatih model dasar tanpa manusia dalam siklusnya (HITL).

Seperti semua jenis machine learning, model tidak berpikir kritis, atau bahkan berpikir sama sekali. Sebaliknya, model secara matematis memilih hasil yang paling mungkin cocok dengan preferensi pelatih manusianya.

Penyesuaian berkelanjutan (CFT) adalah jenis pembelajaran berkelanjutan yang secara berurutan menyesuaikan model dengan tugas-tugas baru. Menggunakan penyetelan instruksi—melatih model menggunakan pasangan input instruksional berlabel dan output terkait — model ini disesuaikan dengan kumpulan data yang lebih luas untuk tugas-tugas hilir. CFT sering mengajarkan model untuk melakukan tugas yang sama pada distribusi data yang berbeda.

Salah satu risiko dari semua jenis pembelajaran berkelanjutan adalah lupa yang fatal: ketika sebuah model kehilangan kemampuan untuk melakukan tugas-tugas lama setelah diadaptasi untuk tugas-tugas baru. Untungnya, para peneliti ML telah mengembangkan beberapa teknik mitigasi untuk membantu para pengembang menghindari bencana lupa dalam mengejar pembelajaran yang berkelanjutan.

Penyempurnaan mengadaptasi model dengan contoh penggunaan baru sambil menghindari biaya pengembangan model baru. Banyak jenis penyempurnaan lebih lanjut meningkatkan efisiensi dengan hanya menyesuaikan sejumlah kecil parameter. Penyempurnaan juga sangat berguna dalam situasi di mana tidak ada cukup data untuk melatih model dari awal.

Juga dikenal sebagai pembelajaran dalam konteks atau pembelajaran berbasis prompt, rekayasa prompt mencakup informasi yang relevan dalam prompt untuk membantu LLM menghasilkan respons yang lebih baik. Selama inferensi—ketika model memberikan prompt kepada pengguna—pengguna biasanya memberikan instruksi eksplisit dan contoh untuk diikuti.

Misalnya, model yang diminta untuk melakukan peringkasan teks dapat memanfaatkan prompt yang menunjukkan cara memformat ringkasannya—misalnya sebagai daftar butir. Prompt yang lebih komprehensif membantu model mengembalikan jenis respons yang diharapkan pengguna.

Para peneliti pembelajaran mendalam telah mengembangkan berbagai jenis teknik rekayasa prompt. Beberapa perkembangan penting meliputi:

• Prompting dengan beberapa contoh: Model diberi beberapa contoh output (dikenal sebagai shot), untuk digunakan sebagai acuan dalam merespons. Model dapat mengikuti contoh dan mendasarkan responsnya pada shot yang diberikan oleh pengguna dalam prompt.
   

• Prompt rantai pemikiran (CoT): Prompt ini mencakup metode penalaran langkah demi langkah untuk diikuti oleh model. Model menyusun pembuatan responsnya sesuai dengan CoT yang disediakan oleh pengguna. Prompt CoT adalah teknik lanjutan yang memerlukan pemahaman yang terampil tentang cara LLMs menghasilkan respons.

Tidak seperti banyak teknik penyesuaian LLM lainnya, rekayasa prompt tidak memerlukan pengodean atau pengembangan tambahan. Sebaliknya, insinyur prompt harus memahami dengan baik konteks di mana LLM akan diterapkan agar mereka dapat merancang prompt yang efektif dan berdasarkan informasi yang akurat.

Jika diimplementasikan dengan benar, rekayasa prompt adalah teknik pemrosesan bahasa alami (NLP) yang bernilai yang memungkinkan siapa pun—terutama pemula dalam kecerdasan buatan (AI)—untuk menyesuaikan LLM. Bersamaan dengan ketersediaan LLM sumber terbuka dan alat AI sumber terbuka yang meluas, rekayasa prompt adalah gerbang yang dapat diakses untuk machine learning yang mendorong eksperimen, keingintahuan, dan ketekunan.