Apa itu pembagian tugas agen?

Model bahasa besar (LLM) tidak dapat memproses seluruh urutan input berbasis teks yang besar. Jendela konteks model pemrosesan bahasa alami (NLP) menentukan jumlah maksimum konten yang dapat diterima oleh model dengan tetap mempertahankan pemahaman kontekstual. Sistem machine learning (ML) menggunakan teknik pemotongan untuk memecah dokumen menjadi potongan yang sesuai dengan jendela konteks LLM.

Pengembangan retrieval-augmented generation (RAG)—menghubungkan LLM ke sumber data eksternal—mengharuskan pembuatan sistem pemotongan. Sistem RAG muncul untuk membantu mengatasi masalah halusinasi: ketika LLM akan memberikan jawaban yang tidak mencerminkan hasil atau informasi dunia nyata.

Sistem RAG membantu LLM menghasilkan jawaban yang lebih akurat dan lebih berguna dengan memasangkannya dengan basis pengetahuan tambahan. Dalam banyak kasus, basis pengetahuan RAG adalah basis data vektor yang berisi dokumen yang memberikan akses LLM yang terhubung ke pengetahuan khusus domain. Model penanaman mengubah dokumen menjadi vektor matematika, lalu melakukan hal yang sama untuk kueri pengguna.

Sistem RAG menemukan penanaman dalam basis data vektor yang menunjukkan informasi yang relevan dan cocok dengan permintaan pengguna. Kemudian, LLM menggunakan data yang diambil untuk memberikan jawaban yang lebih relevan dan akurat kepada pengguna.

Tetapi karena keterbatasan jendela konteks, LLM tidak dapat memproses satu dokumen sekaligus. Pemotongan muncul sebagai solusinya. Dengan memecah dokumen menjadi beberapa bagian, LLM dapat secara efisien menemukan bagian yang relevan secara real-time dengan tetap mempertahankan pemahaman kontekstual.

Pemotongan agen memungkinkan LLM untuk membuat potongan bermakna yang membantu mereka memberikan jawaban yang lebih baik, seperti pada contoh penggunaan RAG. Beberapa metode pemotongan juga mempertimbangkan semantik, sementara yang lain memecah dokumen menjadi potongan kecil dengan panjang yang tetap.

Metode pemotongan lainnya meliputi:

Strategi pemotongan paling sederhana, pemotongan ukuran tetap membagi teks menjadi blok dengan ukuran yang sama, berdasarkan karakter preset atau jumlah token. Token adalah jumlah minimum teks yang dapat diproses oleh LLM—seringkali satu kata atau sebagian dari satu.

Untuk menghindari pemutusan kalimat, banyak implementasi pemotongan ukuran tetap menyertakan fitur tumpang tindih yang mengulangi akhir satu potongan pada awal potongan berikutnya. Pemotongan ukuran tetap sederhana dan ringan secara komputasi, tetapi kaku, tidak dapat memperhitungkan kepadatan konten atau struktur dokumen dan dapat membuat potongan yang tidak koheren secara semantik.

Pemotongan rekursif menggunakan daftar hierarkis pemisah teks yang telah ditentukan sebelumnya untuk memecah teks dengan cara yang lebih koheren. Pemisah mencakup struktur yang terjadi secara alami seperti paragraf, kalimat atau kata-kata. Dalam dokumen pengodean Python, pemisah dapat menyertakan definisi kelas dan fungsi.

Dibandingkan dengan pemotongan ukuran tetap, pemotongan rekursif menciptakan potongan yang lebih koheren dengan mengikuti pemisahan yang terjadi secara alami di dalam teks. Penggunaan penurunan harga juga dapat membantu algoritma pemotongan, atau pemotong, mencari tahu di mana membuat pembagian. RecursiveCharacterTextSplitter adalah pemotong populer yang tersedia di LangChain.

Tetapi jika teks tidak memiliki pemisah yang jelas, algoritma pemotongan rekursif tidak akan tahu di mana harus membuat potongan baru. Pemotongan rekursif juga lebih intensif secara komputasi daripada pemotongan ukuran tetap.

Fragmentasi semantik menggunakan model menanamkan untuk membuat representasi matematis dari setiap kalimat. Kemudian, algoritma pemotongan membuat potongan kalimat yang secara semantik mirip, membuat potongan baru dibuat jika mendeteksi perubahan semantik. Pemotongan semantik dikaitkan dengan Greg Kamradt, yang mendiskusikan teknik ini di Github.¹

Pemotongan semantik sadar konteks, membangun potongan di sekitar aliran alami dan makna semantik dokumen. Ketika topik berubah, potongan baru dibuat. Namun, masalah dapat muncul ketika paragraf membahas beberapa topik atau jika ambang batas pemotongan tidak diatur dengan benar untuk jenis dan struktur dokumen.

Pemenggalan semantik lebih intensif secara komputasi daripada pemenggalan rekursif dan ukuran tetap dan membutuhkan model canggih untuk mengidentifikasi konten semantik dalam teks.

Potongan agen adalah contoh otomatisasi agen: menggunakan agen AI untuk mengotomatiskan alur kerja. Dalam hal ini, alur kerja yang diotomatiskan secara cerdas adalah proses menentukan cara membagi dokumen menjadi potongan kecil yang sesuai dengan jendela konteks LLM.

AI agen mengacu pada penggunaan sistem AI untuk membuat keputusan otonom dan mengambil tindakan tanpa campur tangan manusia. Dengan pemotongan agen, agen bertindak sendiri untuk menentukan cara memisahkan teks dan memberi label pada potongan tersebut.

Pemotongan agen diambil dari metode pemotongan lainnya untuk membuat bagian yang tumpang tindih dan pemisahan rekursif, kemudian menerapkan AI generatif (gen AI) untuk melabeli setiap bagian dengan metadata untuk memudahkan pengambilan RAG.

Pemotongan agen masih dalam tahap eksplorasi. Kreator berbagi dan mendiskusikan pendekatan mereka di GitHub. Ini sering dibangun dengan bahasa pengodean Python menggunakan kerangka kerja LLM seperti Llamaindex dan Langchain bersama dengan LLM sumber terbuka yang tersedia di Huggingface. 

Alur kerja AI umum untuk pemotongan agen mungkin berisi langkah-langkah ini:

Menggunakan alat otomatisasi cerdas, teks diekstraksi dari dokumen sumber, seperti PDF, dan dibersihkan. Pembersihan teks melibatkan penghapusan elemen yang tidak perlu seperti nomor halaman dan catatan kaki sehingga LLM hanya berisi teks mentah.

Algoritma pemotongan rekursif membagi teks menjadi potongan kecil untuk menghindari memotong kalimat menjadi beberapa bagian. Seperti halnya pemotongan semantik, pemotongan agen secara dinamis membagi teks berdasarkan makna, struktur, dan kesadaran konteks dengan menggunakan teknik tumpang tindih chunk.

LLM, seperti GPT dari OpenAI memproses, menggabungkan, dan memperkaya potongan. Potongan yang lebih kecil digabungkan menjadi yang lebih besar yang mempertahankan koherensi semantik. LLM memperkaya setiap potongan dengan metadata yang mencakup judul dan ringkasan konten potongan. Metadata yang dihasilkan membantu penggunaan hilir seperti dengan sistem RAG agentic.

Setiap potongan diubah menjadi menanamkan dan disimpan dalam basis data vektor. Model pengambilan meminta basis data, menggunakan pencarian semantik untuk menemukan potongan dengan metadata yang relevan, dan menyertakannya dalam prompt untuk LLM di sistem RAG.

Pengaturan prompt_template di LangChain menentukan prompt input yang diberikan ke LLM. Pelajari lebih lanjut tentang cara mengoptimalkan potongan RAG dengan LangChain dan watsonx.ai.

Dibandingkan dengan metode pemotongan tradisional, kedinamisan dan pelabelan metadata dari pemotongan agen membuatnya sangat cocok untuk implementasi RAG. Manfaat meliputi:

• Pengambilan yang efisien: Judul dan ringkasan yang dihasilkan oleh AI untuk setiap bagian dapat membantu sistem RAG menemukan informasi yang relevan dengan lebih cepat dalam kumpulan data yang terhubung.

• Tanggapan yang akurat: Pemenggalan yang koheren secara semantik dengan metadata yang dihasilkan AI dapat membantu sistem RAG dalam menambah respons yang dihasilkan dengan data yang relevan untuk jawaban yang lebih baik.

• Fleksibilitas: Pemotongan berbasis AI dapat menangani berbagai jenis dokumen. Sistem pemotongan agen dapat berintegrasi dengan berbagai LLM dan rantai RAG untuk mengimbangi pertumbuhan dan perluasan proyek.

• Pelestarian konten: Sistem pemotongan agen dibangun di atas metode pemotongan sebelumnya untuk membuat potongan yang mempertahankan makna semantik dan koherensi.