Von unstrukturierten Richtlinien zu fundierten Antworten: Entwicklung eines berechtigungsbewussten Wissensassistenten mit IBM watsonx Orchestrate

Um eine Richtlinie zu finden, sollte man nicht wissen müssen, welche Schule sie veröffentlicht hat, welche SharePoint-Site sie enthält oder welche Filter die aktuelle Version anzeigen. Doch das war die praktische Herausforderung für die Mitarbeiter der Swan Christian Bildung Association (SCEA), einem Netzwerk aus sieben Schulen und einer Zentrale in Western Australia.

Lehrer, Verwaltungsangestellte, Schulleiter und Mitarbeiter der Zentralverwaltung nutzten Richtlinien, Verfahren, Formulare und Betriebsdokumente, die innerhalb des Unternehmens verteilt wurden. SCEA betrieb bereits ein strukturiertes Geschäftsmanagementsystem auf Microsoft 365, wobei SharePoint kontrollierte Dokumente hielt und Power Platform Genehmigungen, Veröffentlichungen und andere Workflows ermöglichte. Dennoch mussten die Mitarbeiter immer noch die Repository-Struktur verstehen, bevor sie eine verbindliche Antwort finden konnten.

Origin Digital, ein australisches Beratungsunternehmen für digitale Transformation und IBM Collaborator, arbeitete mit dem IBM Technology Partner Symplistic.ai zusammen, um einen berechtigungsbewussten Wissensassistenten für SCEA zu entwickeln. IBM watsonx Orchestrate interpretiert Fragen und koordiniert Interaktionen, während Symplistic.ai ContentIQ über seine Dialogagentenschnittstelle autorisierte Inhalte aus SharePoint abruft. Mitarbeiter können Fragen in natürlicher Sprache stellen und erhalten Antworten, die durch Verweise auf genehmigte Quelldokumente untermauert werden.

Das SCEA-Projekt begann als Pilotprojekt zur Validierung der Architektur, des Berechtigungsmodells und der User Experience vor der Produktionsbereitstellung. Im Pilotprojekt wurde bewiesen, dass sich watsonx Orchestrate und ContentIQ in das von Origin Digital für SCEA eingesetzte Geschäftsmanagementsystem integrieren lassen.

Zwar sind die prognostizierten Produktivitätssteigerungen in der Produktion noch nicht messbar, SCEA schätzt jedoch in seiner Wirtschaftlichkeitsanalyse, dass durch einen schnelleren Informationsabruf jährlich etwa 40.000 Arbeitsstunden eingespart werden können. Diese Verbesserung entspricht einem geschätzten jährlichen Produktivitätswert von 2,2 Mio. AUD.

In diesem Beitrag untersuchen wir, warum traditionelle Enterprise Search für SCEA nicht ausreichte. Wir erläutern außerdem, wie die Abruf- und Orchestrierungsschichten zusammenarbeiten und wie Designentscheidungen die Architektur für zukünftige Assistenten wiederverwendbar machen.

Der Anwendungsfall erscheint einfach: Ein Mitarbeiter stellt eine Frage zu einer Richtlinie oder einem Verfahren und erhält die richtige Antwort. Die zugrunde liegenden Anforderungen sind anspruchsvoller.

SCEA verwaltet Inhalte sowohl auf Ebene der Zentrale als auch auf Schulebene. Einige Dokumente gelten für den gesamten Verband, während andere nur für eine bestimmte Schule gelten. Unter bestimmten Bedingungen müssen zentrale Richtlinien Vorrang vor lokalen Dokumenten haben. Fragen zu Beschäftigung, Sicherheit, Recht und Governance erfordern ebenfalls eine größere Genauigkeit und Rückverfolgbarkeit, als ein allgemeiner Chatbot bieten kann.

Strenge Zugriffsbeschränkungen führen zu einer weiteren Einschränkung. Ein Mitarbeiter einer Schule darf keine geschützten Informationen von einer anderen Schule abrufen, es sei denn, der Zugriff wurde gewährt. Daher muss der Assistent sowohl die Frage als auch die Identität, Rolle und Berechtigungen der Person verstehen, die sie stellt.

Die Architektur bewahrt das Zugriffsmodell, das SCEA bereits über Microsoft Entra ID und SharePoint pflegt. Die Entra-ID authentifiziert den Benutzer und liefert Identitätsinformationen wie Gruppenmitgliedschaft und Rollenansprüche. SharePoint bleibt die Quelle für Berechtigungen auf Dokumentebene. ContentIQ überträgt diese Berechtigungen in den Abruf, um sicherzustellen, dass Inhalte zurückgegeben werden, auf die der Benutzer zugreifen darf.

Dieser Ansatz folgt dem Prinzip der minimalen Berechtigungen: Benutzern wird nur der für ihre Rolle erforderliche Zugriff gewährt. Dadurch wird auch die Schaffung eines zweiten Autorisierungssystems für KI vermieden, das Administratoren separat von SharePoint verwalten müssten.

Der Assistent verbessert den Zugang, ohne die Governance zu umgehen. Statt eine lange Liste möglicher Dokumente zurückzugeben, kann es relevante Passagen identifizieren, eine Antwort zusammenstellen und die verwendeten Quellen angeben. Mitarbeiter verbringen weniger Zeit mit der Navigation der Repositories, während SCEA die Kontrolle über Dokumentenbesitz, Genehmigung, Veröffentlichung, Versionierung und Reviews behält.

Das Architekturdiagramm unterteilt das System in fünf Bereiche: die Benutzeroberfläche, IBM watsonx Orchestrate, Symplistic.ai ContentIQ, das Microsoft 365 Business Management System von SCEA sowie gemeinsame Identitäts- und Governance-Kontrollen.

Ein authentifizierter Mitarbeiter stellt eine Frage in natürlicher Sprache über den AI Knowledge Assistant, der für die Arbeit in Microsoft 365konzipiert ist. Die Beibehaltung der Benutzeroberfläche in einer vertrauten Umgebung senkt die Akzeptanzhürden und vermeidet die Schaffung eines weiteren eigenständigen Ziels.

Die Benutzeroberfläche sendet die Frage und den relevanten Kontext an watsonx Orchestrate. Dieser Kontext kann das Gespräch und die nachgelagerten Autorisierungsprüfungen unterstützen.

Watsonx Orchestrate bietet die Konversations- und Orchestrierungsebene. Es ermittelt die Absicht des Nutzers, plant die nächsten Schritte und sendet eine Abrufanfrage an ContentIQ.

Das Diagramm zeigt vier Phasen:

• Die Absichtserkennung identifiziert, was der Benutzer wissen möchte.
• Orchestrierung und Planung legen fest, wie die Anfrage bearbeitet wird.
• Die Abrufanfrage enthält die Abfrage sowie die Benutzeridentität für ContentIQ.
• Die Antwortgenerierung wandelt die zurückgegebenen Beweise in eine klare Antwort um.

Die Trennung von Orchestrierung und Datenabruf sorgt dafür, dass jede Ebene fokussiert bleibt. Watsonx Orchestrate verwaltet die Interaktion und den Workflow, während ContentIQ die Inhaltseinnahme, Suche, Rangfolge und Durchsetzung von Erlaubnissen übernimmt.

Diese Trennung unterstützt auch zukünftige Erweiterungen. Ein nachfolgender Assistent kann Richtlinieninformationen abrufen, einen strukturierten Geschäftsdatensatz überprüfen und einen genehmigten Workflow aufrufen, ohne dass das Team die Dialogschicht neu aufbauen muss.

ContentIQ dient als unternehmensweite Retrieval-Augmented Generation- oder RAG-Schicht.

Eine einfache RAG-Implementierung findet möglicherweise relevanten Text, ohne zu überprüfen, ob der Benutzer darauf zugreifen kann. ContentIQ führt Berechtigungsprüfungen während des Abrufs durch und nicht erst, nachdem eine Antwort generiert wurde.

Das Diagramm unterteilt den Abrufvorgang in fünf Phasen:

1. Die Abfrageverarbeitung bereitet die Frage des Benutzers für die Suche vor.
2. Die berechtigungsbasierte Suche durchsucht nur autorisierte Inhalte.
3. Die in Frage kommenden Passagen werden nach Relevanz nach Relevanz neu sortiert und gefiltert.
4. Context Assembly vereint die stärksten Beweise und Metadaten in einem Paket.
5. Die Quellenangabe bewahrt die Verknüpfungen zu den Originaldokumenten.

Während der Aufnahme werden Dokumente in kleinere Passagen, sogenannte Chunks, aufgeteilt. Jeder Chunk enthält Metadaten wie Quelle, Dokumenttyp und Zugriffsregeln. Chunking ermöglicht es dem System, den relevanten Abschnitt einer Richtlinie zurückzugeben, anstatt ein ganzes Dokument an das Modell zu senden.

Reranking bewertet die anfänglichen Suchergebnisse genauer, um die Relevanz zu verbessern. Im Rahmen des SCEA-Pilotprojekts wurde keine hierarchische Rangordnung eingeführt, die automatisch eine Richtlinie der zentralen Geschäftsstelle gegenüber einem Dokument auf Schulebene priorisiert. Diese Funktion, zusammen mit einer umfassenderen Erfassung von Dateimetadaten, bleibt Teil der Entwicklungs-Roadmap von Symplistic.ai.

ContentIQ durchsucht die im SharePoint-basierten Geschäftsmanagementsystem von SCEA gespeicherten genehmigten Inhalte. Das Repository enthält Richtlinien, Verfahren, Formulare, Vorlagen und Betriebsdokumente.

Power Automate und Power Apps unterstützen weiterhin die Genehmigung von Dokumenten, die Veröffentlichung und zugehörige Prozesse. Die KI-Architektur ersetzt diese Steuerungen nicht. Sie konsumiert Inhalte, nachdem die bestehenden Governance-Prozesse von SCEA das aktuelle und genehmigte Dokument festgelegt haben.

Diese Unterscheidung verbessert die Qualität der Antworten. Ein Sprachmodell sollte nicht entscheiden, welche Richtlinie maßgeblich ist. Das Eigentum an Dokumenten, der Status, die Versionierung und die Metadaten sollten die Autorität festlegen, bevor der Abruf beginnt.

Die gestrichelten Linien im Diagramm zeigen Identitäts- und Berechtigungsvalidierung in watsonx Orchestrate, ContentIQ und SharePoint. Microsoft Entra ID bietet Single Sign-On und rollenbasierte Zugriffskontrolle. Die rollenbasierte Zugriffskontrolle weist Berechtigungen entsprechend der Rolle oder Gruppenzugehörigkeit einer Person zu, anstatt den Zugriff für einzelne Benutzer zu konfigurieren.

ContentIQ validiert die Berechtigungen, bevor Dokumentfragmente zurückgegeben werden. SharePoint erzwingt weiterhin den Zugriff an der Quelle. Watsonx Orchestrate verwendet dann ausschließlich die autorisierten Nachweise, um eine fundierte Antwort mit Zitaten zu generieren.

Grounding bedeutet, dass die Antwort auf abgerufenen Unternehmensinhalten basiert und nicht ausschließlich auf Informationen, die während des Modelltrainings gelernt werden.

Einer der Vorteile der ausgewählten Architektur ist, dass sie die Anzahl der Komponenten minimiert, die Origin Digital für den Aufbau und die Wartung benötigt. Ein kundenspezifischer Retrieval-Stack würde kontinuierliche Anpassungen an Content-Konnektoren, Chunking, Indexaktualisierungen, Identitätszuordnung, Berechtigungssynchronisierung, Modellintegration und Überwachung erfordern. ContentIQ übernimmt einen Großteil der Komplexität des Abrufprozesses, während watsonx Orchestrate die Interaktions- und Koordinationsschicht bereitstellt.

Der Build bevorzugt eine wiederholbare Konfiguration gegenüber kundenspezifischem Engineering. Origin Digital kann Eingabe und Abruf über die ContentIQ-Benutzeroberfläche mit wenig oder keinem Code konfigurieren und dann verfügbare APIs nutzen, um den Knowledge Assistant mit Power Automate-Flows zu verbinden. Diese Kombination reduziert den Aufwand, der erforderlich ist, um das Muster für einen anderen Kunden anzupassen, während gleichzeitig Platz für kundenspezifische Integrationen bleibt.

Die Architektur bewahrt zudem die bestehenden Microsoft-Investitionen von SCEA. SharePoint bleibt das Dokumentenrepository. Power Platform verwaltet weiterhin Geschäftsprozesse und Entra ID bleibt die Identitätsbehörde. IBM watsonx Orchestrate erweitert diese Umgebung, anstatt eine Inhaltsmigration zu erfordern.

Für die Mitarbeiter haben diese Technologieentscheidungen ein praktisches Ergebnis: Es wird leichter, Antworten zu erhalten, ohne dass die Kontrolle darüber verloren geht. Eine Lehrkraft kann nach einem Verfahren fragen, entsprechende Hinweise erhalten und einer Angabe zum genehmigten Dokument folgen. Eine Schulleitung kann umfassendere Erkenntnisse gewinnen, wenn ihre Rolle einen breiteren Zugang ermöglicht.

Das Pilotprojekt unterstrich zudem eine zentrale Erkenntnis für KI in Unternehmen: Die Qualität der Datenabfrage hängt von der Qualität der Informationen ab. Klare Eigentumsrechte, konsistente Metadaten und zuverlässige Dokumentlebenszyklen helfen dem Assistenten, genehmigte Inhalte von doppeltem oder veraltetem Material zu unterscheiden.

Die erste Bereitstellung von SCEA konzentriert sich auf Richtlinien, Verfahren und operatives Wissen, aber die Architektur unterstützt eine umfassendere Roadmap. Zukünftige Assistenten können sich mit Personalwesen, Finanzen, Risikomanagement und Gesundheit, Unterrichtsmethoden und anderen betrieblichen Funktionen befassen.

Jeder Assistent kann dieselben Identitätssteuerungen, dasselbe Orchestrierungsmuster und dieselbe Grundlage für verwaltete Inhalte wiederverwenden und gleichzeitig Verbindungen zu seinen eigenen Quellen und Workflows herstellen. Watsonx Orchestrate bietet Origin Digital eine einheitliche Ebene zur Koordination dieser Funktionen, anstatt jede Funktion in einem einzigen großen Assistenten unterzubringen.

Die Wiederholbarkeit kann zudem die Gesamtbetriebskosten (TCO) senken. Origin Digital beabsichtigt, das gleiche watsonx Orchestrate- und ContentIQ-Muster auch anderen Kunden anzubieten, und hat bereits zukünftige Bereitstellungen geplant. Origin Digital kann das gleiche Implementierungsmuster in Bildungs- und Regierungsumgebungen wiederverwenden, anstatt für jede Bereitstellung eine neue Authentifizierungs-, Abruf- und Antwortpipeline zu erstellen. Separate Entwicklungs-, Test- und Produktionsumgebungen unterstützen außerdem kontrollierte Releases.

Durch die Kombination von IBM watsonx Orchestrate mit ContentIQ und der bestehenden Microsoft 365-Umgebung von SCEA wandelt die Architektur eine komplexe Dokumentensuche in ein wiederverwendbares Wissensmodell für Unternehmen um. Der SCEA-Pilot validiert das Integration. Der Low-Code-Konfigurationspfad, ContentIQ-APIs und wiederverwendbare Power Automate-Verbindungen bieten Origin Digital eine praktische Möglichkeit, dieses Modell in zukünftige Kundeneinsätze zu übertragen, ohne jedes Mal das Fundament neu aufbauen zu müssen.

Mehr über IBM watsonx Orchestrate lesen