Architektur

Die im obigen Diagramm dargestellte RAG-Architektur kann in zwei Abschnitte unterteilt werden:

• die Datenpipeline, die aus Datenvorverarbeitung, Aufnahme und Speicherung/Einbetten besteht; und
  
• die Generierungspipeline, die aus Benutzeraufforderung, Datenabruf und Antwortgenerierung besteht.

Der typische Weg zur Erstellung einer RAG-Lösung ist folgender:

1. Ein KI-Ingenieur bereitet die Kundendaten (zum Beispiel Verfahrenshandbücher, Dokumentation oder Help-Desk-Tickets usw.) während der Datenvorverarbeitung vor. Kundendaten werden transformiert und/oder angereichert, um sie für die Modellerweiterung geeignet zu machen. Transformationen können einfache Formatkonvertierungen wie die Umwandlung von PDF-Dokumenten in Text oder komplexere Transformationen wie die Übersetzung komplexer Tabellenstrukturen in Wenn-Dann-Anweisungen umfassen. Die Anreicherung kann die Erweiterung gängiger Abkürzungen, das Hinzufügen von Metadaten wie Währungsinformationen und andere Ergänzungen zur Verbesserung der Relevanz der Suchergebnisse umfassen.

2. Die angereicherten Informationen aus den Dokumenten werden in kleinere Segmente, sogenannte Chunks, aufgeteilt, um den Text effizienter zu verwalten. Dies kann mithilfe verschiedener Chunking-Strategien erfolgen, von denen jede ihre eigene Methode zur Trennung und Gruppierung der Informationen besitzt.

3. Die Chunks werden dann in eine Datenbank eingelagert, wo sie während der Nutzung der Lösung gespeichert und abgerufen werden sollen. Unterschiedliche Strategien erfordern unterschiedliche Arten von Datenbanken, manche sogar mehrere Arten von Datenbanken. Die allgemeine RAG-Lösung verwendet jedoch ausschließlich eine Vektordatenbank. In diesem Fall wird ein Einbettungsmodell verwendet, um die Chunks in eine Reihe von Vektoren umzuwandeln, die dann in der Vector DB gespeichert werden können.
   

   Das System ist jetzt für die Nutzung durch Endbenutzer bereit.

4. Endbenutzer interagieren mit einer auf generativer KI basierenden Anwendung und geben eine Abfrage ein.

5. Die auf generative KI basierende Anwendung empfängt die Anfrage und führt die verwendete Abrufstrategie aus, um die besten „K“-Informationen (wobei K nur ein Platzhalter für eine Zahl ist) zu erhalten, die nach Ansicht der Strategie der Anfrage des Benutzers am ehesten entsprechen. Wenn die Anfrage des Benutzers beispielsweise lautet: „Was ist das tägliche Auszahlungslimit für das MaxSavers-Konto“, kann die Suche Passagen wie „Das MaxSavers-Konto ist...“, „Die täglichen Auszahlungslimits sind...“ und „... Kontolimits...“ zurückgeben.

6. Die ursprüngliche Anfrage, die wichtigsten Textpassagen und eine speziell für die jeweilige Anwendung zusammengestellte Anweisung werden an den LLM gesendet.

7. Das LLM folgt dann dem Prompt, um anhand der abgerufenen Informationen eine Antwort auf die ursprüngliche Benutzeranfrage zu generieren und zu formatieren.