Pencarian generatif adalah kombinasi model AI generatif dengan kemampuan pencarian; memperluas kemampuan pengambilan dan solusi pencarian dengan kemampuan pembuatan konten dan ringkasan model bahasa besar (LLM). Arsitektur konseptual Pencarian Generatif ditunjukkan pada diagram di bawah ini
Dokumen klien, termasuk dokumen Word, PDF, data web, dan teks terstruktur dan tidak terstruktur lainnya, dicerna ke dalam komponen Analisis Konten dan disiapkan untuk pencarian semantik.
Seorang pengguna mengirim pertanyaan menggunakan antarmuka pengguna Analisis Konten.
Komponen Analisis Konten menggunakan pertanyaan pengguna untuk mengidentifikasi dokumen dan bagian informasi yang paling relevan dengan pertanyaan tersebut. Bergantung pada pertanyaan pengguna, komponen ini mengirimkan pertanyaan tersebut bersama dokumen dan potongan informasi yang relevan ke LLM untuk menghasilkan respons yang menyerupai bahasa manusia.
LLM mengembalikan respons yang dihasilkan yang kemudian diteruskan ke pengguna.
Pemetaan rangkaian produk IBM® watsonx ke pola pencarian generatif ditunjukkan pada diagram di bawah ini. IBM® watson Discovery digunakan untuk menyediakan penyerapan dokumen, pemahaman dokumen, dan analisis konten dan insight komponen Analisis Konten. IBM® watsonx.ai digunakan untuk memilih, tuning, menguji, dan menerapkan model bahasa besar yang digunakan untuk memperluas watson Discovery.
Beberapa klien tidak memiliki akses ke watsonx.ai di wilayah lokal mereka, atau memiliki kekhawatiran terkait keamanan maupun persyaratan regulasi yang menghalangi penggunaan solusi watsonx.ai berbasis SaaS. Untuk klien tersebut, kami menyediakan watsonx.ai sebagai sekumpulan layanan berbasis kontainer yang dapat diterapkan pada Red Hat OpenShift yang berjalan di pusat data milik klien, atau di dalam virtual private cloud (VPC) pada infrastruktur penyedia layanan cloud.
Keputusan dan Pertimbangan Arsitektur
Banyak faktor yang harus dipertimbangkan dalam memilih model yang akan bekerja dengan baik untuk proyek Anda.
Lisensi model dapat membatasi penggunaan model tersebut. Sebagai contoh, lisensi model dapat mencegah model tersebut digunakan sebagai bagian dari aplikasi komersial.
Kumpulan data yang digunakan untuk melatih model memiliki dampak langsung terhadap seberapa baik model bekerja untuk aplikasi tertentu, serta sangat memengaruhi risiko bahwa model dapat menghasilkan respons yang tidak masuk akal, menyinggung, atau tidak diinginkan. Demikian pula, model yang dilatih pada data berhak cipta atau pribadi dapat membuka pengguna mereka untuk tanggung jawab hukum. IBM® menyediakan transparansi data pelatihan penuh dan ganti rugi dari klaim hukum yang timbul dari modelnya.
Ukuran model, yang merujuk pada jumlah parameter pelatihan, dan ukuran jendela konteksnya, yang menunjukkan panjang teks yang dapat diterima model, memengaruhi kinerja model, kebutuhan sumber daya komputasi, serta berdampak pada biaya dan throughput sistem. Meskipun pendekatan "semakin besar semakin baik" mungkin terlihat menarik dengan memilih model berparameter 20 miliar, kebutuhan sumber daya yang tinggi serta peningkatan (jika ada) akurasi yang belum tentu signifikan bisa jadi tidak sebanding. Studi terbaru menunjukkan bahwa model yang lebih kecil dapat secara signifikan mengungguli yang lebih besar untuk beberapa solusi.
Setiap penyempurnaan yang diterapkan pada model dapat memengaruhi kesesuaiannya untuk suatu tugas. Misalnya, IBM menawarkan dua versi model Granite: satu disetel untuk aplikasi obrolan umum, dan yang lain disetel untuk mengikuti instruksi.
Pertimbangan lain ketika memilih model termasuk:
Pemilihan parameter model, misalnya suhu model, untuk menyeimbangkan pembuatan teks seperti manusia dan respons faktual. Mengatur suhu model ke nilai yang tinggi akan menghasilkan respons yang konsisten tetapi berpotensi tidak menarik atau terlalu singkat, sementara mengatur suhu ke nilai yang rendah akan memperkenalkan lebih banyak variasi ke dalam respons, tetapi akan menambah ketidakpastian dalam panjang dan isi respons.
Pemilihan dan penerapan pembatas model untuk melindungi dari hasil yang tidak efektif atau menyinggung.
Bahasa data klien dan prompt pengguna juga harus diperhitungkan. Mayoritas LLM dilatih pada teks bahasa Inggris dan sering dapat menerjemahkan antara bahasa Inggris dan bahasa lain dengan berbagai tingkat keahlian. Aplikasi yang memerlukan dukungan multibahasa atau lokalisasi bahasa mungkin perlu menggunakan beberapa model yang dilatih untuk masing-masing bahasa yang didukung, atau menerapkan tahap penerjemahan untuk mengubah input multibahasa ke dalam bahasa Inggris atau bahasa 'dasar' lainnya.
Beberapa klien mungkin ingin memiliki mekanisme masukan untuk terus menyempurnakan tanggapan sistem. Seiring waktu, masukan ini dapat meningkatkan konfigurasi watson Discovery (misalnya, dengan menyempurnakan parameter pencarian) dan untuk penyempurnaan LLM.
Klien di industri yang diatur mungkin ingin memasukkan lapisan pemantauan tambahan untuk mematuhi peraturan, dan memberikan transparansi kepada pengguna tentang bagaimana pertanyaan mereka ditangani dan peran AI dalam menghasilkan tanggapan.
Seperti halnya sistem terintegrasi lainnya, terus memantau kinerja, kepuasan pengguna, dan masalah potensial apa pun. Bersiaplah untuk menskalakan infrastruktur seiring dengan meningkatnya permintaan pengguna.