Beranda
Architectures
Hibrida
Percakapan dengan Agen Assist
Sistem dukungan bertingkat dalam suatu organisasi dapat menggunakan asisten percakapan yang didukung Model Bahasa Besar, atau chatbot, serta agen manusia, yang menawarkan bantuan efisien dan komprehensif kepada pengguna akhir.
- Pembuatan augmentasi pada pengambilan
- Percakapan dengan bantuan agen
- Pencarian generatif
- Penalaran, pengetahuan, dan bahasa modular
- Ringkasan dokumen
- Modernisasi dan pembuatan kode
- Pembuatan kode untuk Ansible
- Pembuatan kode untuk Z
- Pengembangan Perangkat Lunak AI yang Ditingkatkan dengan Agen
Arsitektur untuk percakapan dengan bantuan agen ditunjukkan pada diagram di atas. Langkah-langkah utama dalam alur arsitektur adalah:
Dokumen Enterprise seperti manual produk, dokumen tanya jawab umum, materi penawaran, prospektus, tiket dukungan yang terselesaikan, dan lain-lain dimasukkan ke dalam contoh IBM watsonx Discovery dan disiapkan untuk pencarian semantik.
Pengguna mengirim permintaan, masalah, atau pertanyaan melalui antarmuka di situs web organisasi, aplikasi khusus, atau platform lainnya. Interaksi ini difasilitasi oleh IBM watsonx Assistant, yang bertindak sebagai antarmuka utama untuk interaksi berbasis obrolan.
Untuk permintaan yang memerlukan pengambilan data dari dokumen organisasi atau basis pengetahuan, IBM Watsonx Discovery dipanggil untuk mencari dan mengambil bagian informasi yang paling relevan dengan permintaan pengguna.
watsonx Assistant kemudian mengirim permintaan pengguna dan informasi relevan yang diambil dari watsonx Discovery ke Model Bahasa Besar (LLM) yang dihosting di watsonx.ai.
LLM mensintesis permintaan pengguna dan informasi yang diberikan beserta pengetahuan tertanam LLM dan menghasilkan respons mirip manusia yang diteruskan kembali ke watsonx.ai yang, mungkin setelah diformat dan diproses lainnya, disajikan kepada pengguna.
Jika pengguna tidak puas dengan respons yang dihasilkan (misalnya, permintaan mereka bernuansa, rumit, atau memerlukan pengetahuan khusus), mereka dapat memilih agar watsonx Assistant meneruskan panggilan ke agen manusia. Demikian pula, interaksi dapat secara otomatis diteruskan jika respons LLM terdeteksi kurang meyakinkan, atau berpotensi menyinggung. Pengguna dapat memilih untuk berinteraksi dengan perwakilan manusia kapan saja. watsonx Assistant dengan lancar mengalihkan interaksi ke agen manusia melalui sistem manajemen pusat kontak perusahaan.
Agen manusia, dengan akses penuh ke riwayat obrolan watsonx Assistant, membantu pengguna dalam menyelesaikan permintaan, masalah, atau pertanyaan mereka.
Setelah resolusi diberikan, sistem, melalui watsonx Assistant, dapat meminta masukan dari pengguna. Masukan ini membantu menyempurnakan interaksi di masa mendatang dengan menganalisis pertanyaan yang sering terlewat atau meningkat dan memungkinkan organisasi untuk menyempurnakan LLM yang dihosting di Watsonx.ai dan/atau mengubah parameter pencarian Watsonx Discovery untuk meningkatkan kinerja.
Pemetaan portofolio produk AI IBM watsonx ke arsitektur konseptual ditunjukkan pada diagram di bawah ini. watsonx Assistant menyediakan kemampuan interaksi komponen Asisten Virtual, sementara watsonx Discovery, sebuah tambahan untuk watsonx Assistant, menyediakan kemampuan penyerapan dokumen dan pencarian semantik. Lingkungan pengembangan dan hosting model watsonx.ai digunakan untuk memilih, menyetel, menguji, dan menerapkan model bahasa besar.
Beberapa klien tidak memiliki watsonx.ai yang tersedia di wilayah lokal mereka, atau mungkin memiliki masalah keamanan atau persyaratan peraturan yang membuat mereka tidak dapat menggunakan studio AI kelas enterprise watsonx.ai. Untuk klien-klien ini, kami menawarkan watsonx.ai sebagai seperangkat layanan terkontainerisasi yang dapat diterapkan di Red Hat Openshift yang berjalan di pusat data klien, di dalam virtual private cloud (VPC) di infrastruktur penyedia layanan cloud, atau lokasi lainnya.
Keputusan dan Pertimbangan Arsitektur
Pilihan Model Pembuatan
Banyak faktor yang harus dipertimbangkan dalam memilih model yang akan bekerja dengan baik untuk proyek Anda.
Lisensi model dapat membatasi penggunaan model tersebut. Sebagai contoh, lisensi model dapat mencegah model tersebut digunakan sebagai bagian dari aplikasi komersial.
Kumpulan data yang digunakan untuk melatih model pelatihan memiliki dampak langsung pada seberapa baik model bekerja untuk aplikasi tertentu dan secara signifikan memengaruhi risiko bahwa model dapat menghasilkan respons yang tidak masuk akal, menyinggung, atau tidak diinginkan. Demikian pula, model yang dilatih dengan data yang memiliki hak cipta atau data pribadi dapat membuat penggunanya bertanggung jawab secara hukum. IBM menyediakan transparansi penuh atas data pelatihan dan ganti rugi dari klaim hukum yang timbul dari model-modelnya.
Ukuran model, jumlah parameter yang dilatih, dan ukuran jendela konteksnya (seberapa panjang bagian teks yang dapat diterima model) memengaruhi kinerja model, kebutuhan sumber daya, dan keluaran. Seringkali kita berpikir bahwa "model yang lebih besar pasti lebih baik" dan memilih model dengan 20 miliar parameter, namun dari segi kebutuhan sumber daya dan peningkatan akurasi (jika ada), hal ini tidak dapat dibenarkan. Penelitian terbaru menunjukkan bahwa model yang lebih kecil dapat secara signifikan mengungguli model yang lebih besar untuk beberapa solusi.
Setiap penyempurnaan yang diterapkan pada model dapat memengaruhi kesesuaiannya untuk suatu tugas. Misalnya, IBM menawarkan dua versi model Granite: satu disetel untuk aplikasi obrolan umum, dan yang lain disetel untuk mengikuti instruksi.
Pertimbangan lain ketika memilih model termasuk:
Pemilihan parameter model, misalnya suhu model, untuk menyeimbangkan pembuatan teks yang mirip manusia dan respons faktual. Mengatur suhu model ke nilai yang tinggi akan menghasilkan respons yang konsisten tetapi berpotensi tidak menarik atau terlalu singkat, sementara mengatur suhu ke nilai yang rendah akan memperkenalkan lebih banyak variasi ke dalam respons tetapi akan menambah ketidakpastian dalam panjang dan konten respons.
Pemilihan dan penerapan pagar pembatas model untuk melindungi dari hasil yang tidak efektif atau menyinggung.
Bahasa data klien dan prompt pengguna juga harus diperhitungkan. Mayoritas LLM dilatih pada teks bahasa Inggris dan sering kali dapat menerjemahkan antara bahasa Inggris dan bahasa lain dengan berbagai tingkat keahlian. Aplikasi yang memerlukan dukungan multibahasa atau bahasa lokal mungkin memerlukan penggunaan beberapa model yang dilatih dalam setiap bahasa yang didukung, atau penerapan langkah penerjemahan untuk menerjemahkan input multibahasa ke dalam bahasa Inggris atau bahasa 'dasar' lainnya.