Was ist agentenbasierte RAG?

Retrieval-Augmented Generation ist eine Anwendung der künstlichen Intelligenz (KI), die ein generatives KI-Modell mit einer externen Wissensdatenbank verbindet. Die Daten in der Wissensdatenbank erweitern Benutzeranfragen um mehr Kontext, sodass das LLM genauere Antworten generieren kann. RAG ermöglicht es LLMs, in domänenspezifischen Kontexten genauer zu sein, ohne dass eine Feinabstimmung erforderlich ist. 

Anstatt sich ausschließlich auf Trainingsdaten zu verlassen, können RAG-fähige KI-Modelle über APIs und andere Verbindungen zu Datenquellen in Echtzeit auf aktuelle Daten zugreifen. Eine Standard-RAG-Pipeline umfasst zwei KI-Modelle: 

• Die Komponente zur Informationsbeschaffung, in der Regel ein Modell zur Einbettung, das mit einer Vektordatenbank gekoppelt ist, die die abzurufenden Daten enthält. 

• Die generative KI-Komponente, in der Regel ein LLM. 

Als Reaktion auf Benutzeranfragen in natürlicher Sprache wandelt das Einbettungsmodell die Anfrage in eine Vektoreinbettung um und ruft dann ähnliche Daten aus der Wissensdatenbank ab. Das KI-System kombiniert die abgerufenen Daten mit der Benutzeranfrage, um kontextbezogene Antworten zu generieren.

Agentische AI ist ein bestimmter Typ von KI, der selbstständig einen Handlungsablauf bestimmen und ausführen kann. Die meisten Agenten, die zum Zeitpunkt der Veröffentlichung verfügbar sind, sind LLMs mit Funktionsaufruf-Fähigkeiten, d. h. sie können Tools aufrufen, um Aufgaben auszuführen. Theoretisch sind KI-Agenten LLMs mit drei wesentlichen Merkmalen: 

• Sie haben ein Speicher, sowohl kurz- als auch langfristig, der es ihnen ermöglicht, komplexe Aufgaben zu planen und auszuführen. Der Speicher erlaubt es den Agenten auch, auf frühere Aufgaben zurückzugreifen und diese Daten zur Gestaltung zukünftiger Workflows zu nutzen. Agentenbasierte RAG-Systeme verwenden semantisches Caching, um frühere Abfragen, Kontexte und Ergebnisse zu speichern und darauf zu verweisen. 

• Sie sind in der Lage, Routing-Abfragen durchzuführen, schrittweise zu planen und Entscheidungen zu treffen. Agenten nutzen ihre Gedächtnisleistung, um Informationen zu speichern und eine angemessene Vorgehensweise als Reaktion auf komplexe Anfragen und Prompts zu planen. 

• Sie können Tool-Aufrufe über APIs durchführen. Leistungsfähigere Agenten können auswählen, welche Tools sie für den Workflow verwenden möchten, den sie als Reaktion auf Benutzerinteraktionen generieren. 

Agentenbasierte Workflows können entweder aus einem KI-Agenten oder aus Multiagentensystemen bestehen, die mehrere Agenten miteinander kombinieren. 

Agentenbasierte RAG bringt mehrere bedeutende Verbesserungen gegenüber der herkömmlichen RAG-Implementierung:

• Flexibilität: Agentenbasierte RAG-Anwendungen rufen Daten aus mehreren externen Wissensdatenbanken ab und ermöglichen die Verwendung externer Tools. Standard-RAG-Pipelines verbinden ein LLM mit einem einzelnen externen Datensatz. Beispielsweise kombinieren viele RAG-Systeme in Unternehmen einen Chatbot mit einer Wissensdatenbank, die firmeneigene Daten des Unternehmens enthält.

• Anpassungsfähigkeit: Herkömmliche RAG-Systeme sind reaktive Tools zur Datenabfrage, die relevante Informationen als Antwort auf spezifische Anfragen finden. Das RAG-System ist nicht in der Lage, sich an veränderte Kontexte anzupassen oder auf andere Daten zuzugreifen. Optimale Ergebnisse erfordern oft umfangreiche Prompt Engineering.

  Inzwischen ist die agentenbasierte RAG ein Übergang von der statischen regelbasierten Abfrage zur adaptiven, intelligenten Problemlösung. Multiagentensysteme fördern die Zusammenarbeit mehrerer KI-Modelle und die gegenseitige Überprüfung ihrer Arbeit.

• Genauigkeit: Herkömmliche RAG-Systeme validieren oder optimieren ihre eigenen Ergebnisse nicht. Die Menschen müssen beurteilen, ob das System einen akzeptablen Standard aufweist. Das System selbst hat keine Möglichkeit zu erkennen, ob es die richtigen Daten findet oder sie erfolgreich einbindet, um eine kontextbezogene Generierung zu ermöglichen. KI-Agenten können jedoch frühere Prozesse wiederholen, um die Ergebnisse im Laufe der Zeit zu optimieren.

• Skalierbarkeit: Durch die Zusammenarbeit von Netzwerken von RAG-Agenten, die Nutzung mehrerer externer Datenquellen und die Verwendung von Tool-Aufrufen und Planungsfunktionen ist die Skalierbarkeit von RAG-Agenten größer. Entwickler können flexible und skalierbare RAG-Systeme erstellen, die eine Vielzahl von Benutzeranfragen verarbeiten können. 

• Multimodalität: Agentenbasierte RAG-Systeme profitieren von den jüngsten Fortschritten bei multimodalen LLMs, um mit einer größeren Bandbreite an Typen von Daten, wie Bildern und Audiodateien, arbeiten zu können. Multimodale Modelle verarbeiten mehrere Typen strukturierter, halbstrukturierter und unstrukturierter Daten. Zum Beispiel können mehrere aktuelle GPT-Modelle neben der Standard-Textgenerierung auch visuelle und Audioinhalte generieren.

Stellen Sie sich mehrere Mitarbeiter vor, die in einem Büro arbeiten. Ein traditionelles RAG-System ist der Mitarbeiter, der gute Leistungen erbringt, wenn er bestimmte Aufgaben erhält und erfährt, wie er sie bewältigen kann. Sie zögern, die Initiative zu ergreifen, und fühlen sich unwohl, wenn sie sich nicht an ausdrückliche Anweisungen halten.

Im Vergleich dazu ist ein agentenbasiertes RAG-System ein proaktives und kreatives Team. Sie können auch gut Anweisungen befolgen, ergreifen aber gerne die Initiative und lösen Herausforderungen selbstständig. Sie scheuen sich nicht, eigene Lösungen für komplexe Aufgaben zu finden, die ihre Kollegen überfordern oder einschüchtern könnten.

Während agentenbasierte RAG-Systeme die Ergebnisse durch Funktionsaufrufe, mehrstufige Schlussfolgerungen und Multiagentensysteme optimieren, sind sie nicht immer die bessere Wahl. Mehr Agenten bei der Arbeit bedeuten höhere Kosten, und ein agentenbasiertes RAG-System erfordert in der Regel die Bezahlung von mehr Token. Während agentenbasierte RAG die Geschwindigkeit gegenüber herkömmlichen RAG erhöhen können, führen LLMs auch zu Latenzzeiten, da es länger dauern kann, bis das Modell seine Ergebnisse generiert.

Und schließlich sind Agenten nicht immer zuverlässig. Je nach Komplexität und verwendeten Agenten könnten sie Schwierigkeiten haben und sogar daran scheitern, Aufgaben zu erledigen. Agenten arbeiten nicht immer reibungslos zusammen und können um Ressourcen konkurrieren. Je mehr Akteure in einem System vorhanden sind, desto komplexer wird die Zusammenarbeit und desto größer ist die Wahrscheinlichkeit von Komplikationen. Und selbst das sicherste RAG-System kann Halluzinationen nicht vollständig ausschließen.

Agentenbasierte RAG arbeitet mit einem oder mehreren Typen von KI-Agenten in RAG-Systemen. Ein agentenbasiertes RAG-System könnte beispielsweise mehrere Informationsabrufagenten kombinieren, die jeweils auf einen bestimmten Bereich oder Typ von Datenquelle spezialisiert sind. Ein Agent fragt externe Datenbanken ab, während ein anderer E-Mails und Web-Ergebnisse durchkämmen kann.

Agentische KI-Frameworks wie LangChain und LlamaIndex sowie das Orchestrierungs-Framework LangGraph finden Sie auf GitHub. Mit ihnen ist es möglich, mit minimalen Kosten mit agentenbasierten Architekturen für RAG zu experimentieren. Wenn Open-Source-Modelle wie Granite oder Llama-3 verwendet werden, können RAG-Systemdesigner auch die Gebühren anderer Anbieter wie OpenAI senken und gleichzeitig von einer besseren Observability profitieren.

Agentenbasierte RAG-Systeme können einen oder mehrere Typen von KI-Agenten enthalten, wie z. B.:

• Routing-Agenten

• Abfrage-Planungsagenten

• ReAct-Agenten

• Planungs- und Ausführungsagenten

Routing-Agenten bestimmen, welche externen Wissensquellen und Tools verwendet werden, um eine Benutzeranfrage zu beantworten. Sie verarbeiten Prompts von Benutzern und ermitteln die RAG-Pipeline, die am wahrscheinlichsten zu einer optimalen Antwortgenerierung führt. In einem RAG-System mit einem einzigen Agenten wählt ein Routing-Agent aus, welche Datenquelle abgefragt werden soll.

Abfrage-Planungsagenten sind die Task-Manager der RAG-Pipeline. Sie verarbeiten komplexe Benutzeranfragen, um sie in schrittweise Prozesse zu zerlegen. Sie senden die daraus resultierenden Teilabfragen an die anderen Agenten im RAG-System und kombinieren dann die Antworten zu einer zusammenhängenden Gesamtantwort. Der Prozess, bei dem ein Agent zur Verwaltung anderer KI-Modelle verwendet wird, ist eine Art KI-Orchestrierung.

ReAct (Reasoning and Action) ist ein Framework für Agenten, das multiagentische Systeme erstellt, die schrittweise Lösungen erstellen und dann darauf reagieren können. Sie können auch geeignete Tools identifizieren, die helfen können. Auf Grundlage der Ergebnisse jedes Schritts können ReAct-Agenten die nachfolgenden Phasen des generierten Workflows dynamisch anpassen.

Frameworks für Planungs- und Ausführungsagenten sind eine Weiterentwicklung von ReAct-Agenten. Sie können mehrstufige Workflows ausführen, ohne den primären Agenten zu kontaktieren, wodurch Kosten gesenkt und die Effizienz gesteigert werden. Und weil der Planungsagent alle für eine Aufgabe erforderlichen Schritte durchdenken muss, sind die Abschlussquoten und die Qualität in der Regel höher.

Während agentenbasierte RAG für jede herkömmliche RAG-Anwendung geeignet sein kann, ist sie aufgrund der höheren Rechenanforderungen besser für Situationen geeignet, in denen mehrere Datenquellen abgefragt werden müssen. Zu den agentenbasierten RAG-Anwendungen gehören:

• Beantwortung von Fragen in Echtzeit: Unternehmen können Chatbots und FAQs mit RAG-Technologie bereitstellen, um Mitarbeitern und Kunden aktuelle und genaue Informationen zur Verfügung zu stellen.

• Automatisierte Unterstützung: Unternehmen, die ihren Kundensupport optimieren möchten, können automatisierte RAG-Systeme zur Bearbeitung einfacherer Kundenanfragen einsetzen. Das agentenbasierte RAG-System kann anspruchsvollere Supportanfragen an menschliches Personal weiterleiten.

• Datenverwaltung: RAG-Systeme erleichtern das Auffinden von Informationen in proprietären Datenspeichern. Mitarbeiter können schnell an die benötigten Daten gelangen, ohne selbst Datenbanken durchsuchen zu müssen.