Was ist agentenbasiertes Chunking?

Große Sprachmodelle (Large Language Models, LLMs) können eine große textbasierte Eingabesequenz nicht in vollem Umfang verarbeiten. Das Kontextfenster eines Modells zur natürlichen Sprachverarbeitung (NLP) bestimmt die maximale Menge an Inhalten, die das Modell aufnehmen kann, ohne das Kontextverständnis zu beeinträchtigen. Systeme für maschinelles Lernen (ML) verwenden Aufteilungstechniken, um Dokumente in Teile zu zerlegen, die in das Kontextfenster des LLM passen.

Die Entwicklung der Retrieval-Augmented Generation (RAG), die LLMs mit externen Datenquellen verbindet, erforderte die Entwicklung von Chunking-Systemen. RAG-Systeme wurden entwickelt, um dem Problem der Halluzinationen entgegenzuwirken: wenn LLMs Antworten lieferten, die nicht den Ergebnissen oder Informationen aus der realen Welt entsprachen.

RAG-Systeme helfen LLMs, genauere und nützlichere Antworten zu generieren, indem sie diese mit zusätzlichen Wissensdatenbanken verknüpfen. In vielen Fällen handelt es sich bei RAG-Wissensdatenbanken um Vektordatenbanken, die Dokumente enthalten, die dem verbundenen LLM Zugang zu domänenspezifischem Wissen ermöglichen. Einbetten-Modelle wandeln Dokumente in mathematische Vektoren um und machen dann dasselbe für Benutzerabfragen.

Das RAG-System findet Einbettungen in seiner Vektordatenbank, die relevante Informationen darstellen und der Benutzerabfrage entsprechen. Anschließend verwendet das LLM die abgerufenen Daten, um den Benutzern relevantere und genauere Antworten zu geben.

Aufgrund der Beschränkungen des Kontextfensters ist das LLM jedoch nicht in der Lage, ein einzelnes Dokument auf einmal zu verarbeiten. Chunking erwies sich als Lösung. Durch das Zerlegen eines Dokuments in Teile kann das LLM relevante Teile in Echtzeit effizient finden und gleichzeitig ein kontextuelles Verständnis aufrechterhalten.

Agentic Chunking ermöglicht es LLMs, aussagekräftige Chunks zu erstellen, die ihnen helfen, bessere Antworten zu liefern, wie z. B. beim RAG-Anwendungsfall. Einige Abschnittsmethoden berücksichtigen auch die Semantik, während andere Dokumente in kleinere Abschnitte mit fester Länge aufteilen.

Zu den weiteren Chunking-Methoden gehören:

Die einfachste Chunking-Strategie, das Chunking in fester Größe, teilt Text basierend auf einer voreingestellten Zeichen- oder Tokenanzahl in Blöcke gleicher Größe auf. Ein Token ist die minimale Textmenge, die das LLM verarbeiten kann – oft nur ein Wort oder ein Teil davon.

Um zu vermeiden, dass Sätze aufgebrochen werden, enthalten viele Chunking-Implementierungen in fester Größe eine Überlappungs-Funktion, bei der das Ende eines Abschnitts am Anfang des nächsten wiederholt wird. Das Chunking in fester Größe ist einfach und rechnerisch leicht, aber es ist starr – es kann weder die Inhaltsdichte noch die Dokumentstruktur berücksichtigen und semantisch inkohärente Chunks erzeugen.

Bei der rekursiven Segmentierung wird eine hierarchische Liste vordefinierter Texttrennzeichen verwendet, um den Text so aufzuteilen, dass er wahrscheinlich kohärenter ist. Trennzeichen umfassen natürlich vorkommende Strukturen wie Absätze, Sätze oder Wörter. In einem Python-Codierungsdokument können Trennzeichen Klassen- und Funktionsdefinitionen enthalten.

Im Vergleich zum Chunking mit fester Größe erstellt rekursives Chunking kohärentere Chunks, indem natürlich vorkommende Trennungen im Text befolgt werden. Die Verwendung von Markdown kann dem Chunking-Algorithmus oder Chunker auch dabei helfen, herauszufinden, wo Unterteilungen vorgenommen werden sollen. RecursiveCharacterTextSplitter ist ein beliebter Chunker, der in LangChain verfügbar ist.

Wenn dem Text jedoch klare Trennzeichen fehlen, wissen die rekursiven Chunking-Algorithmen nicht, wo sie neue Chunks erstellen sollen. Das rekursive Chunking ist auch rechenintensiver als das Chunking mit fester Größe.

Beim semantischen Chunking werden Einbetten-Modelle verwendet, um mathematische Darstellungen jedes Satzes zu erstellen. Anschließend erstellt der Chunking-Algorithmus Teile semantisch ähnlicher Sätze. Beim Erstellen eines neuen Abschnitts erkennt er eine Änderung der Semantik. Semantisches Chunking wird Greg Kamradt zugeschrieben, der die Technik auf Github diskutiert hat.¹

Semantic Chunking ist kontextbezogen und baut Chunks um den natürlichen Fluss und die semantische Bedeutung des Dokuments herum auf. Wenn sich das Thema ändert, wird ein neuer Chunk erstellt. Es können jedoch Probleme auftreten, wenn Absätze mehrere Themen behandeln oder wenn die Schwelle für die Aufteilung in Abschnitte für den Dokumenttyp und die Dokumentstruktur nicht richtig festgelegt ist.

Semantisches Chunking ist rechenintensiver als rekursives und festgelegtes Chunking und erfordert fortschrittliche Modelle, um semantische Inhalte innerhalb des Textes zu identifizieren.

Agentisches Chunking ist ein Beispiel für Agentische Automatisierung: Verwendung von KI-Agenten zur Automatisierung eines Workflows. In diesem Fall handelt es sich bei dem intelligent automatisierten Workflow, um die Bestimmung, wie ein Dokument in kleinere Teile aufgeteilt werden soll, die in das Kontextfenster eines LLM passen.

Agentische KI bezieht sich auf den Einsatz von KI-Systemen, um autonome Entscheidungen zu treffen und Maßnahmen ohne menschliches Eingreifen zu ergreifen. Beim agentischen Chunking bestimmt der Agent selbst, wie der Text getrennt und die Blöcke beschriftet werden sollen.

Agentisches Chunking nutzt andere Chunking-Methoden, um überlappende Abschnitte und rekursive Aufteilungen zu erstellen, und wendet dann generative KI (Gen AI) an, um jeden Chunk mit Metadaten zu kennzeichnen, um das RAG-Abrufen zu vereinfachen.

Das agentische Chunking befindet sich noch in der Erprobungsphase. Entwickler teilen und diskutieren ihre Ansätze auf GitHub. Diese werden oft mit der Python Codierung unter Verwendung von Frameworks wie Llamaindex und Langchain zusammen mit Open-Source-LLMs erstellt, die auf Huggingface verfügbar sind. 

Ein typischer KI-Workflow für agentisches Chunking könnte die folgenden Schritte enthalten:

Mithilfe intelligenter Automatisierung wird der Text aus dem Quelldokument, z. B. einer PDF, extrahiert und bereinigt. Bei der Textbereinigung werden überflüssige Elemente wie Seitenzahlen und Fußzeilen entfernt, sodass das LLM nur Rohtext erhält.

Rekursive Chunking-Algorithmen teilen den Text in kleine Abschnitte auf, um zu vermeiden, dass Sätze in Teile zerlegt werden. Wie das semantische Chunking teilt auch das Agentic Chunking den Text dynamisch auf der Grundlage von Bedeutung, Struktur und Kontextbewusstsein mithilfe der Chunk-Overlapping-Technik auf.

LLMs, wie z. B. GPT von OpenAI, verarbeiten, kombinieren und reichern die Chunks an. Kleinere Chunks werden zu größeren kombiniert, um die semantische Kohärenz aufrechtzuerhalten. Das LLM reichert jeden Abschnitt mit Metadaten an, die einen Titel und eine Zusammenfassung des Inhalts des Abschnitts enthalten. Die generierten Metadaten unterstützen nachgelagerte Anwendungen, z. B. bei agentischen RAG-Systemen.

Jeder Abschnitt wird in ein Einbetten konvertiert und in einer Vektordatenbank gespeichert. Abrufmodelle fragen die Datenbank ab, verwenden die semantische Suche, um Chunks mit relevanten Metadaten zu finden, und nehmen sie in die Prompt für das LLM im RAG-System auf.

Die Einstellung prompt_template in LangChain bestimmt den Prompt für die Eingabe des LLM. Mehr erfahren Sie darüber, wie Sie das RAG-Chunking mit LangChain und watsonx.ai optimieren können.

Im Vergleich zu herkömmlichen Chunking-Methoden eignet sich das agentische Chunking aufgrund seiner Dynamik und Metadatenkennzeichnung hervorragend für die RAG-Implementierung. Zu den Vorteilen zählen:

• Effizientes Abrufen: Die von der KI generierten Titel und Zusammenfassungen für jeden Abschnitt können RAG-Systeme relevante Informationen in verbundenen Datensätzen schneller finden.

• Genaue Antworten: Semantisch kohärentes Chunking mit KI-generierten Metadaten kann RAG-Systemen dabei helfen, generierte Antworten mit relevanten Daten zu ergänzen, um bessere Antworten zu erhalten.

• Flexibilität: KI-gestütztes Chunking kann eine Vielzahl von Dokumenttypen verarbeiten. Agentische Chunking-Systeme können in verschiedene LLMs und RAG-Ketten integriert werden, um mit dem Projektwachstum und der Expansion Schritt zu halten.

• Aufbewahrung von Inhalten: Agentische Chunking-Systeme bauen auf früheren Chunking-Methoden auf, um Chunks zu erstellen, die die semantische Bedeutung und Kohärenz bewahren.