Rangkuman adalah kemampuan untuk memadatkan dokumen yang panjang menjadi rangkuman ringkas yang menangkap poin-poin penting dari karya yang lebih besar. Dari perspektif teknologi, peringkasan merupakan tugas yang menantang karena membutuhkan berbagai kemampuan: memahami bagian-bagian teks yang panjang, mengidentifikasi poin dan topik utama, serta menghasilkan teks baru yang menangkap maksud dari karya yang lebih besar. Untungnya, Model Bahasa Besar (LLM) sangat cocok untuk tugas-tugas ini. Dengan memanfaatkan LLM, arsitek dapat membangun solusi yang membantu pengguna meminimalkan kebutuhan membaca dokumen panjang secara mendetail, sehingga meningkatkan produktivitas sekaligus memberikan pengalaman pengguna yang lebih baik.
Arsitektur
Diagram di atas menunjukkan dua bentuk pola peringkasan. Bentuk pola yang paling sederhana adalah varian Stuff. Dalam pola ini:
- Isi dokumen dibaca dan 'diisi', yaitu. disalin secara keseluruhan, ke dalam prompt LLM.
- Templat prompt biasanya digunakan untuk 'membungkus' konten dengan arahan dan kata kunci guna mengarahkan model target agar menghasilkan ringkasan.
- Prompt yang dihasilkan dikirimkan ke LLM terlatih yang menghasilkan ringkasan sebagai tanggapan.
Pendekatan Stuff sangat efektif untuk dokumen berukuran kecil, tetapi tidak berfungsi untuk dokumen yang terlalu besar untuk jendela konteks LLM, atau untuk koleksi dokumen. Untungnya, tersedia varian Map-Reduce untuk situasi ini. Pada tahap Map dalam varian ini, setiap dokumen dan/atau subbagian dokumen dimasukkan ke dalam prompt LLM menggunakan pendekatan Stuff. Ringkasan yang dikembalikan untuk setiap dokumen dan/atau potongan dikumpulkan oleh aplikasi, kemudian diserahkan ke LLM (4) untuk menghasilkan ringkasan keseluruhan dari pekerjaan dan/atau kumpulan dokumen yang lebih besar. LLM yang sama dapat digunakan untuk fase Map dan Reduce; namun, dalam banyak kasus model Reduce perlu disetel agar mampu menghasilkan ringkasan agregat tanpa kehilangan detail utama.
Peringkasan secara konseptual mirip dengan tugas penerjemahan mesin: kita menginginkan LLM untuk 'menerjemahkan' dokumen panjang menjadi ringkasan yang lebih singkat. Dengan demikian, model encoder-decoder seperti BART dan T5 sangat cocok untuk solusi peringkasan. Mayoritas LLM yang sesuai untuk peringkasan dilatih menggunakan satu atau lebih set data pelatihan publik yang diambil dari sumber-sumber seperti berita, Wikipedia, undang-undang, dan publikasi ilmiah, tetapi umumnya memerlukan penyelarasan sebelum dapat menghasilkan ringkasan yang dapat diterima untuk proses bisnis yang ditargetkan serta data input yang digunakan.
Proses bisnis yang kompleks biasanya memerlukan beberapa model yang telah disetel dengan baik untuk menghasilkan ringkasan bagi kelompok pengguna yang berbeda. Misalnya, proses klaim asuransi berpotensi memerlukan LLM yang disesuaikan untuk peringkasan dan perutean klaim, deteksi penipuan dan investigasi, serta untuk meringkas laporan dari penyedia layanan seperti konsultan medis atau teknik.
Ringkasan merupakan pola solusi kandidat untuk berbagai skenario bisnis di mana pengguna harus secara rutin membaca dan memahami dokumen besar, tetapi tidak selalu memerlukan pemahaman mendalam tentang isi dokumen hingga tahap selanjutnya dalam proses bisnis.
Penggunaan kandidat meliputi:
Ajudikasi klaim asuransi. Klaim asuransi, terutama klaim kesehatan komersial dan kelompok yang kompleks, sering dibaca beberapa kali selama proses pengajuan dan ajudikasi. Sering kali, klaim pertama kali dibaca untuk menentukan departemen dan/atau penilai yang tepat untuk menangani klaim tersebut. Pembacaan berikutnya diperlukan untuk memahami dan menindaklanjuti laporan penilaian independen, menentukan cakupan, serta menilai potensi penipuan. Solusi peringkasan yang mengekstrak poin-poin relevan dari teks berpotensi secara signifikan meningkatkan proses ini.
Kontrak. Kontrak komersial sering kali rumit dan sulit dipahami, bahkan untuk transaksi yang relatif sederhana. Solusi peringkasan yang mampu merangkum syarat dan ketentuan utama kontrak dalam bahasa yang lebih sederhana dapat memberikan manfaat besar bagi pebisnis, pengacara, dan paralegal di berbagai industri.
Abstrak medis. Penyusunan abstrak medis dari catatan pasien merupakan tugas yang sulit dan memerlukan keahlian substansial agar dapat dilakukan dengan benar. Solusi peringkasan yang mampu mengekstrak berbagai elemen kunci dari catatan pasien yang panjang serta membantu pencatatan pengodean (menggunakan ICD-10 atau skema pengodean diagnostik lainnya) dapat meningkatkan kecepatan dan konsistensi proses abstraksi.
Dukungan produk dan layanan. Staf dukungan pelanggan sering diminta untuk mengambil alih atau terlibat dalam upaya penyelesaian masalah yang dapat mencakup banyak interaksi antara pelanggan dan tim dukungan. Solusi peringkasan yang secara akurat merangkum kasus dukungan dapat mengurangi waktu yang dibutuhkan staf pendukung untuk memahami konteks suatu kasus dan idealnya juga mengurangi waktu yang diperlukan untuk menyelesaikannya.
Solusi peringkasan mengharuskan arsitek membuat sejumlah keputusan penting untuk memenuhi persyaratan fungsional dan nonfungsional dari solusi tersebut.
Pilihan Model Pembuatan
Seperti yang didokumentasikan di atas, banyak LLM mampu melakukan peringkasan teks 'out of the box'. Jika kemampuan bawaan model memenuhi persyaratan solusi, arsitek harus mempertimbangkan faktor-faktor seperti ukuran model (yang memengaruhi persyaratan infrastruktur), kualitas respons, dan kecepatan inferensi. Jika penyelarasan diperlukan, arsitek juga harus mempertimbangkan jumlah data penyetelan serta kompleksitas proses penyetelan yang dibutuhkan untuk menyesuaikan model dasar yang dipilih dengan kebutuhan spesifik mereka
Metrik Evaluasi
Mengevaluasi kinerja solusi AI generatif dapat menjadi tantangan karena sifat kualitatif dari tugas yang mereka lakukan, yaitu bagaimana menentukan bahwa satu model menghasilkan ringkasan yang “lebih baik” dibandingkan yang lain. Metrik umum meliputi kebingungan, kefasihan, relevansi, dan koherensi; serta metrik BLU dan ROUGE. Seorang arsitek harus memilih metrik yang selaras dengan persyaratan fungsional solusi dan tujuan bisnis secara keseluruhan.