Banyak faktor yang harus dipertimbangkan dalam memilih model yang akan bekerja dengan baik untuk proyek Anda.

Lisensi model dapat membatasi penggunaan model tersebut. Sebagai contoh, lisensi model dapat mencegah model tersebut digunakan sebagai bagian dari aplikasi komersial.

Kumpulan data yang digunakan untuk melatih model pelatihan memiliki dampak langsung pada seberapa baik model bekerja untuk aplikasi tertentu dan secara signifikan memengaruhi risiko bahwa model dapat menghasilkan respons yang tidak masuk akal, menyinggung, atau tidak diinginkan. Demikian pula, model yang dilatih dengan data yang memiliki hak cipta atau data pribadi dapat membuat penggunanya bertanggung jawab secara hukum. IBM menyediakan transparansi penuh atas data pelatihan dan ganti rugi dari klaim hukum yang timbul dari model-modelnya.

Ukuran model, jumlah parameter yang dilatih, dan ukuran jendela konteksnya (seberapa panjang bagian teks yang dapat diterima model) memengaruhi kinerja model, kebutuhan sumber daya, dan keluaran. Seringkali kita berpikir bahwa "model yang lebih besar pasti lebih baik" dan memilih model dengan 20 miliar parameter, namun dari segi kebutuhan sumber daya dan peningkatan akurasi (jika ada), hal ini tidak dapat dibenarkan. Penelitian terbaru menunjukkan bahwa model yang lebih kecil dapat secara signifikan mengungguli model yang lebih besar untuk beberapa solusi.

Setiap penyempurnaan yang diterapkan pada model dapat memengaruhi kesesuaiannya untuk suatu tugas. Misalnya, IBM menawarkan dua versi model Granite: satu disetel untuk aplikasi obrolan umum, dan yang lain disetel untuk mengikuti instruksi.

Pertimbangan lain ketika memilih model termasuk:

• Pemilihan parameter model, misalnya suhu model, untuk menyeimbangkan pembuatan teks seperti manusia dan respons faktual. Mengatur suhu model ke nilai yang tinggi akan menghasilkan respons yang konsisten tetapi berpotensi tidak menarik atau terlalu singkat, sementara mengatur suhu ke nilai yang rendah akan memperkenalkan lebih banyak variasi ke dalam respons, tetapi akan menambah ketidakpastian dalam panjang dan isi respons.

• Pemilihan dan penerapan pembatas model untuk melindungi dari hasil yang tidak efektif atau menyinggung.

Pilihan model tergantung pada aplikasi, jenis data, dan persyaratan dukungan bahasa. Model penyematan mungkin harus diperluas untuk secara akurat mengkodekan dan mencari istilah atau akronim khusus industri atau klien.

Basis data vektor hanyalah satu opsi untuk mengimplementasikan penyimpanan data penyematan. Watson Discovery menyediakan alat dan fungsionalitas tambahan yang dapat meningkatkan kinerja dan akurasi solusi RAG; dan beberapa database 'tradisional' menyediakan penyimpanan dan pencarian vektor, dan/atau pencarian kesamaan yang akan mendukung solusi RAG.

Ada juga banyak opsi untuk basis data vektor. Basis data dalam memori sederhana yang disematkan langsung dalam aplikasi GenAI memberikan kinerja run-time yang sangat baik tetapi mungkin tidak berskala dengan baik ke kumpulan data besar, dan dapat menimbulkan tantangan operasional yang signifikan untuk tetap terkini, atau untuk menskalakan ke konfigurasi multi-server. Basis data lain yang menggunakan arsitektur server pusat lebih mudah dioperasikan dan diskalakan, tetapi mungkin tidak memenuhi kebutuhan kinerja solusi tertentu.

Ada sejumlah metode yang tersedia untuk mengintegrasikan model pengambilan dan pembuatan. Mengambil bagian K teratas dan menggunakannya untuk menambah kueri pengguna adalah hal yang sederhana dan bijaksana, tetapi bisa jadi kurang memberikan nuansa yang diperlukan untuk menjawab pertanyaan yang kompleks. Pencarian sederhana dengan kata kunci juga dapat menghasilkan hasil yang memuaskan.

Solusi yang lebih kompleks dapat menggunakan LLM untuk menghasilkan beberapa kueri dari kueri asli pengguna dan menggunakannya untuk mengambil sekumpulan bagian yang lebih besar. Logika tambahan dapat ditambahkan untuk mengurutkan lebih lanjut dan memilih bagian yang diambil dengan relevansi tertinggi.

Memproses data sebelum memasukkannya ke dalam sistem RAG merupakan langkah penting untuk memastikan bahwa data input dalam format yang sesuai untuk model. Metode sederhana melibatkan pemecahan data input menjadi potongan-potongan berukuran tetap dengan tumpang tindih, misalnya, 10 karakter terakhir dari sebuah potongan adalah 10 karakter pertama yang sama dengan karakter berikutnya, tetapi hal ini dapat menghilangkan nuansa dalam data input.

Pra-pemrosesan yang lebih canggih dapat memanipulasi teks input untuk menghapus akhiran kata umum, misalnya. stopper, stopping, dan stopped semua menjadi stop; hilangkan kata 'stop' yang tidak informatif seperti the, as, is, dan sejenisnya; dan teknik-teknik lainnya. Hal ini secara substansial dapat meningkatkan relevansi informasi yang diambil, tetapi menambah kompleksitas pada fase penyematan data dan permintaan pengguna.

Bahkan teknik yang lebih maju dapat beroperasi pada kalimat penuh, untuk menjaga sebanyak mungkin makna dalam teks.

Mengevaluasi kinerja sistem RAG dapat menjadi tantangan karena sifat tugas yang kompleks. Metrik evaluasi umum meliputi kebingungan, kefasihan, relevansi, dan koherensi - serta metrik BLU dan ROUGE. Penting untuk memilih metrik yang selaras dengan tujuan spesifik tugas dan hasil yang diinginkan.

RAG membutuhkan teks biasa, dan pilihan metode konversi memiliki dampak besar pada kualitas data. Misalnya, saat mengonversi file PDF, bagaimana tabel, gambar, dan elemen metadata lainnya ditangani.

Menghasilkan respons seperti manusia dari LLM membutuhkan sumber daya komputasi yang substansial dan seringkali dapat memakan waktu beberapa detik tergantung pada ukuran model, kompleksitas kueri pengguna, dan jumlah informasi tambahan yang diteruskan ke model. Solusi yang perlu melayani sekelompok besar pengguna atau memerlukan waktu respons yang cepat mungkin perlu menerapkan mekanisme untuk men-cache respons model terhadap kueri yang sering terjadi.

Menanamkan informasi kepemilikan, yang berpotensi rahasia, dan berpotensi berisi informasi identifikasi pribadi ke dalam prompt LLM adalah inti dan penting untuk pola RAG. Organisasi yang menggunakan platform model host harus mengetahui kebijakan penyedia seperti retensi data prompt dan kebijakan penggunaan (mis. apakah penyedia menangkap data prompt dan menggunakannya untuk pelatihan ulang model?), kontrol untuk mencegah data prompt yang cepat 'bocor' ke pengguna lain, dll; dan menyeimbangkannya dengan kebijakan dan kontrol keamanan informasi mereka sendiri.

Meskipun transmisi beberapa informasi hak milik tidak dapat dihindari, organisasi dapat membatasi risikonya dengan hanya menyertakan referensi dokumen atau URL ke informasi paling sensitif dalam data yang diproses. Misalnya, daripada menanamkan tabel diskon harga ke dalam data RAG, sertakan hanya deskripsi tabel dan referensi atau tautan ke dokumen internal atau situs web dalam konten.

Keamanan tingkat transportasi sederhana (TLS) pada komunikasi antar zona mungkin cukup untuk memenuhi persyaratan keamanan data tetapi arsitek mungkin perlu mempertimbangkan untuk memberikan perlindungan tambahan dengan menambahkan komponen untuk mengenkripsi dan mendekripsi prompt dan respons sebelum meneruskannya melintasi batas zona.

Tipe koneksi antara zona penerapan memiliki dampak pada beberapa persyaratan non-fungsional. Menggunakan koneksi jaringan pribadi virtual (VPN) melalui Internet publik adalah opsi berbiaya rendah, tetapi mungkin tidak sepenuhnya menghilangkan masalah keamanan, dan mungkin tidak dapat memenuhi waktu respons atau persyaratan throughput solusi. Sambungan jaringan pribadi ke lingkungan hosting model memiliki biaya yang jauh lebih tinggi tetapi menawarkan keamanan yang jauh lebih baik dan memberikan kemampuan kepada para arsitek untuk mengontrol latensi jaringan dan bandwidth.