Verbessern Sie die Observability von KI-Agenten mit Langfuse powered by watsonx Orchestrate

By Jobit Varughese

Da die Zahl der entwickelten KI-Agenten täglich wächst, setzen Unternehmen verstärkt auf autonome Systeme zur Unterstützung von Entscheidungsfindung und betrieblichen Workflows. Gleichzeitig äußern Unternehmen oft Bedenken hinsichtlich der Erklärbarkeit, der Governance und der Produktionsbereitschaft, insbesondere in Systemen mit mehreren Agenten, die zur Argumentation auf großen Sprachmodellen (LLMs) beruhen. Es ist eine Herausforderung, Agenten in Geschäftsumgebungen einzusetzen, die Antworten ohne klare Erklärung geben oder die ein inkonsistentes Verhalten zeigen.

Diese Herausforderungen können durch die Nutzung von IBM® watsonx Orchestrate® gelöst werden, das eine strukturierte Plattform bietet, die Selbsthosting, toolbasierte Argumentation, API-Aufrufe und Steuerung der Unternehmensklasse unterstützt, ohne dass individueller Orchestrierungscode erforderlich ist.

Dynamiq baute für einen großen Versicherungskunden einen Multi-Agenten-Rechtsforschungsassistenten auf, leitete Anfragen durch einen kostengünstigen IBM Granite Klassifikator, bevor er zu einem komplexeren Forschungsagenten eskalierte. Um diesen risikoreichen Workflow realisierbar zu machen, war ein umfassender Einblick in jeden einzelnen Entscheidungsschritt und jeden Tool-Aufruf erforderlich. Durch die Integration von IBM watsonx Orchestrate stellte Dynamiq sicher, dass jede Entscheidung vollständig rückverfolgbar, überprüfbar und zitierbar blieb, wodurch die Zeit für die Reviews von 90 Minuten auf 45 Minuten reduziert wurde, ohne die Governance zu beeinträchtigen.

In diesem Tutorial erfahren Sie, wie Sie einen KI-Agenten in watsonx Orchestrate mit dem watsonx Orchestrate Agent Development Kit (ADK) erstellen. In KI-Systemen auf Basis von LangChain oder LangGraph übernehmen Entwickler häufig manuelle Wiederholungsversuche, Zustandsbehandlung und asynchrone Ausführung. watsonx Orchestrate ADK erleichtert diesen Prozess durch integriertes Lebenszyklusmanagement, das konsistente, unternehmensfähige Agentenbereitstellungen ermöglicht.

Sie werden Python verwenden, um die Logik zur Risikobewertung zu erstellen, das Agentenverhalten zu definieren und Langfuse einzubinden, um das Agentenverhalten mit realen Ausführungsprotokollen zu überwachen und zu verbessern. Dieses Tutorial finden Sie auch auf GitHub.

Was ist Langfuse?

Langfuse ist eine Open-Source-Plattform für die LLM Observability-Plattform, die auf OpenTelemetry für die Überwachung von LLM-Anwendungen und -Agenten basiert. Es nutzt Telemetrie (Traces, Metriken und Protokolle), um Traces von Agentenausführungen zu überwachen, einschließlich LLM-Aufrufe, Tool-Aufrufe, Token-Nutzung, Metadaten und Latenz auf Anforderungs- und Sitzungsebene.

Es ermöglicht Entwicklern, tiefe Erkenntnisse in das Verhalten von Agenten in realen Szenarien zu gewinnen, die Ursachen fehlerhafter Ausgaben zu ermitteln und das Agentenverhalten systematisch zu optimieren, um eine höhere Zuverlässigkeit und Effizienz zu erzielen.

Anwendungsfallübersicht: Vendor Risk Intelligence

Ziel dieses Tutorials ist es, einen KI-Agenten für Enterprise Governance zu entwickeln, der das Anbieterrisiko durch deterministische, regelbasierte Analyse bewertet. Wir haben einen synthetischen Datensatz von Anbietern mit Finanzbewertungen, Sicherheitszertifikaten und Vorfallhistorie erstellt. Der Agent verarbeitet diese Daten und klassifiziert Anbieter in spezifische Risikoklassen (niedrig, mittel oder hoch), während er seine Entscheidungen begründet.

Er unterstützt außerdem interaktive Nachverfolgungen, die es den Nutzern ermöglichen, Anbieter zu vergleichen oder zu simulieren, wie sich ändernde Datenpunkte auf eine Risikobewertung auswirken würden, wodurch das hohe Maß an Prüfbarkeit gewährleistet wird, das für die Einhaltung von Unternehmensvorschriften erforderlich ist.

Nachfolgend finden Sie eine interaktive Demo des in diesem Tutorial erstellten Anbieterrisiko-Agenten. Erfahren Sie, wie der Agent Anbieter klassifiziert, auf Fragen antwortet und seine Argumentation durch Languse nachverfolgt, damit Sie eine klare Vorstellung von dem haben, was Sie entwickeln, bevor Sie beginnen.

Praktische Demo

Voraussetzungen

Um dieses Tutorial abzuschließen, benötigen Sie:

Python 3.11 oder höher auf Ihrem System installiert.
Ein watsonx Orchestrate-Konto. Für dieses Tutorial reicht ein Testkonto aus. Sie können IBM Cloud nutzen, um eine kostenlose 30-Tage-Testversion zu erstellen, wenn Sie noch kein Konto besitzen.
Ein watsonx Orchestrate API-Schlüssel aus der Orchestrate-Benutzeroberfläche (UI).
Ein auf Ihrem System installiertes watsonx Orchestrate ADK.

Schritte

Schritt 1: Melden Sie sich bei watsonx Orchestrate an

Melden Sie sich über IBM Cloud bei watsonx Orchestrate an und öffnen Sie die watsonx Orchestrate-Benutzeroberfläche. Gehen Sie zu den API-Details , nachdem Sie die Einstellungen im Profilmenü geöffnet haben. Erstellen Sie einen neuen API-Schlüssel, kopieren Sie ihn und speichern Sie ihn sicher. Während der lokalen Entwicklung wird das watsonx Orchestrate ADK mit diesem API-Schlüssel authentifiziert. watsonx Orchestrate fungiert wie ein lokales SDK (Software Development Kit) zum Erstellen und Testen von Agentenlogik.

Schritt 2: Richten Sie eine lokale Entwicklungsumgebung ein

In diesem Schritt schaffen Sie ein lokales Entwicklungsumfeld. Während dieses Tutorials betreiben Sie einen lokalen Entwicklungsserver, importieren Tools, richten Umgebungen ein und erstellen Agenten über die orchestrierte Befehlszeilenschnittstelle (CLI), die vom ADK in Powershell bereitgestellt wird. Navigieren Sie zunächst zu dem Verzeichnis, in dem Sie Ihr Projekt erstellen möchten. Erstellen Sie anschließend eine neue virtuelle Python-Umgebung:

python -m venv .venv

Es wird eine isolierte Python-Umgebung in einem .venv-Ordner erstellt. Die Verwendung einer virtuellen Umgebung stellt sicher, dass alle Abhängigkeiten für dieses Tutorial von der Python-Installation in Ihrem gesamten System getrennt sind.

Aktivieren Sie anschließend die virtuelle Umgebung. Ihr Betriebssystem bestimmt, welche Aktivierung verwendet werden soll.

Unter Windows:

.\.venv\Scripts\activate

macOS und Linux:

source ./.venv/bin/activate

Nach der Aktivierung zeigt Ihr Terminal-Prompt am Anfang .venv an, was darauf hinweist, dass Sie in einer virtuellen Umgebung arbeiten.

Schritt 3: Installieren Sie das watsonX Orchestrate ADK

Bei aktivierter virtueller Umgebung installieren Sie das watsonx Orchestrate ADK auf Ihrem lokalen Rechner. Um das ADK zu verwenden, verbinden Sie es mit Ihrer bestehenden watsonx Orchestrate-Umgebung. Führen Sie folgenden Befehl in PowerShell aus:

pip install --upgrade ibm-watsonx-orchestrate

Sie können die nächsten Schritte der ADK-Installation befolgen, indem Sie die Schritte im offiziellen Installationsdokument befolgen.

Hinweis: Dieses Tutorial führt die Laufzeit der watsonx Orchestrate Developer Edition lokal aus und verbindet sie mit der watsonx Orchestrate SaaS-Instanz mit den Zugangsdaten.

Um diese Methode auszuführen, erstellen Sie im Stammverzeichnis des Projektordners eine Datei namens .env und fügen Sie die folgenden Werte hinzu:

WO_DEVELOPER_EDITION_SOURCE=orchestrate

WO_INSTANCE=<your_watsonx_orchestrate_instance_url>

WO_API_KEY=<your_watsonx_orchestrate_api_key>

Diese .env-Datei wird für den Betrieb des Servers benötigt. In den Nächste Schritte starten Sie es mit dem Befehl orchestrate server start -e .env -l.

Schritt 4: Konfigurieren Sie die watsonx Orchestrate-Umgebung im ADK

Als Nächstes müssen Sie Ihr ADK mit einem gültigen watsonx Orchestrate API-Schlüssel einrichten, um Ihre lokale Umgebung mit watsonx Orchestrate zu verbinden.

Hinweis: Das watsonx Orchestrate ADK ist mit mehreren Umwelttypen kompatibel, darunter IBM Cloud, AWS und lokale Implementierungen. In diesem Tutorial verwenden wir die On-Prem-Umgebung und authentifizieren uns mit einem API-Schlüssel über die ADK CLI. Das ADK verwaltet die Zugangsdaten intern sicher, sodass für diese Einrichtung keine manuelle Konfiguration von Umweltvariablen implementiert wird.

Führen Sie in Ihrem Projektverzeichnis (mit aktivierter virtueller Umgebung) den folgenden Befehl aus, um Ihre watsonx Orchestrate-Umgebung hinzuzufügen:

orchestrate env add -n onprem-env -u <service-instance-url>

Hier ist service-instance-url Ihre URL der watsonx Orchestrate Instanz. Diese Informationen finden Sie in der gleichen Registerkarte API-Detail unter Einstellungen in watsonx Orchestrate Benutzeroberfläche.

Aktivieren Sie anschließend die hinzugefügte Umgebung:

orchestrate env activate onprem-env

Geben Sie nun, wenn Sie dazu aufgefordert werden, den watsonx Orchestrate-Schlüssel ein, den Sie in Schritt 1 erhalten haben. Wenn die Umgebung aktiviert wurde, werden alle nachfolgenden Befehle im Zusammenhang mit dem ADK, wie das Importieren von Agenten, Tools oder das Ausführen des Servers, in der watsonx Orchestrate-Umgebung ausgeführt.

Hinweis: Wenn Sie alles lokal mit der Developer Edition ausführen möchten, können Sie die lokale Standardumgebung wie folgt aktivieren:

orchestrate env activate local

Dadurch wird Ihr ADK auf die integrierte lokale Orchestrate-Umgebung umgeschaltet, was für lokale Tests nützlich ist.

Schritt 5: Initialisieren Sie das lokale watsonx Orchestrate-Projekt

In diesem Schritt erstellen Sie die Agenten-Framework-Vorlage, die die Definition, die Tools und den Quellcode Ihres Vendor Risk Intelligence Agents enthält. Erstellen Sie dann die Ordnerstruktur, die für die lokale ADK-basierte Entwicklung erforderlich ist:

── adk-project(vendor-risk-intel)/
── agents/
── tools/
── src/

Sie können den hier angegebenen Befehl hinzufügen, um die Struktur des Agenten zu erstellen:

mkdir -p adk-project\(vendor-risk-intel\)/{agents,src,tools}

Jeder Ordner hat einen bestimmten Zweck:

Der Ordner Agenten enthält die YAML-Datei mit den Anweisungen, den Argumentationsregeln und der Konfiguration des Agentenmodells. Er bestimmt, wie das System Nutzerfragen beantwortet. Der Tools-Ordner enthält eine YAML-Datei, die das dem Agenten bereitgestellte Tool beschreibt. Der Ordner src enthält die Python-Implementierung für benutzerdefinierte Tools und Geschäftslogik.

Schritt 6: Starten Sie den watsonx Orchestrate-Server

Starten Sie den watsonX Orchestrate-Server, damit er Ihre Importe empfangen und speichern kann, bevor Sie Tools und Agents importieren. Führen Sie diesen Befehl vom Stammverzeichnis des Projektordners aus:

orchestrate server start -e .env -l

Schritt 7: Konfigurieren Sie die Langfuse-Observability (SaaS)

Der nächste Schritt ist die Agenten-Observability, bei der man analysiert, wie sich der Agent zur Laufzeit verhält, z. B. welche Tools aufgerufen werden, Latenz und wo Fehler auftauchen. Zu diesem Zweck aktivieren Sie die Langfuse-Observability in der watsonx Orchestrate ADK-Umgebung.

In diesem Tutorial wird die Langfuse SaaS-Version verwendet, mit der Sie Traces erfassen können, ohne Langfuse lokal ausführen zu müssen.

Stellen Sie sicher, dass der watsonX Orchestrate-Server ausgeführt wird (Schritt 6), bevor Sie Langfuse konfigurieren.

Erstellen Sie als Nächstes ein Langfuse-Konto unter https://cloud.langfuse.com. Nach der Anmeldung können Sie ein neues Unternehmen und ein neues Projekt erstellen. Kopieren Sie aus den Projekteinstellungen Ihre Projekt-ID, Ihren öffentlichen Schlüssel, Ihren geheimen Schlüssel und Ihre Host-URL.

Richten Sie nun Langfuse im watsonx Orchestrate ADK mit dem nach diesem Abschnitt gezeigten Befehl ein und ersetzen Sie die Platzhalter durch Ihre kopierten Werte:

orchestrate settings observability langfuse configure `
    --url “<LANGFUSE_HOSTNAME>/api/public/otel” `
    --api-key “<LANGFUSE_SECRET_KEY>“ `
    --health-uri “https://cloud.langfuse.com” `
    --config-json “{\”public_key\”:\”<LANGFUSE_PUBLIC_KEY>\”}” `
    --project-id “<LANGFUSE_PROJECT_ID>“

Sobald dieser Befehl erfolgreich abgeschlossen ist, wird das Langfuse-Modul vollständig in die watsonx Orchestrate-Umgebung integriert. In dieser Phase werden alle Interaktionen mit den Agenten automatisch auf dem Langfuse-Modul aufgezeichnet.

Nachdem der Server nun läuft, können Sie den Agenten testen.

Schritt 8: Definieren Sie den Vendor Risk Intelligence Agent

Die Nächste Schritte ist, den Vendor Risk Intelligence Agent zu definieren. Agenten in watsonx Orchestrate ADK werden mit YAML-Dateien deklariert, die das Ziel des Agenten, die Einschränkungen der Argumentation, die Modellkonfiguration und die zulässigen Tools beschreiben.

Erstellen Sie im Verzeichnis Agenten eine Datei namens vendor-risk-agent.yaml. Diese Datei ist die Prompt-Management-Ebene des Agenten, die garantiert, dass alle Antworten auf deterministischen Argumentationen und nicht auf freien Inferenzen basieren.

Die in diesem Tutorial verwendete Agentendefinition wird im Folgenden dargestellt. Kopieren Sie die folgende Agentendefinition und fügen Sie sie in Ihre Datei agents/vendor-risk-agent.yaml ein. Speichern Sie die Datei anschließend.

spec_version: v1
kind: native
name: Vendor_Risk_Intelligence_Agent
description: Produces precise risk assessments using verified vendor profiles.
instructions: |
    You are a Vendor Risk Auditor.
    You MUST answer ALL questions by:
    1. Calling the Python tool `evaluate_all_vendor_risks`
    2. Reasoning strictly from the returned structured data
    3. Explaining answers using rules, signals, and outcomes from the tool
    4. Call evaluate_all_vendor_risks exactly once per question
    5. For definition questions, quote rules directly from the tool output
    NEVER infer meanings of financial ratings.
    NEVER guess intent.
    NEVER answer without tool evidence.
    Question handling rules:
    - Definition questions (e.g. “Does B+ mean High risk?”):
→ Explain the rule from the tool’s `rules` section.
    - Why questions (e.g. “Why is DataSecure Ltd High risk?”):
→ Cite strong and weak signals for that vendor.
    - Comparison questions (e.g. “Why is A Medium but B High?”):
→ Compare signal counts and types.
    - Policy questions (e.g. “What causes High risk?”):
→ Quote the tool’s rules exactly.
    - If the tool does not support a claim:
→ Say so explicitly.
    Use deterministic language only.
    Do not use speculative words like “might”, “could”, or “appears”.

llm: watsonx/meta-llama/llama-3-2-90b-vision-instruct
style: react
tools:
    - evaluate_all_vendor_risks

Diese Konfiguration gewährleistet, dass sich der Agent bei Was-, Warum-, Wie- und Vergleichsfragen vorhersehbar verhält. Das System verhindert Halluzinationen, indem es Annahmen über Finanzratings oder Risikobedeutungen verbietet, es sei denn, die Ausgabe des Tools definiert sie ausdrücklich.

Schritt 9: Implementieren Sie die Logik zur Lieferantenrisikobewertung

In diesem Schritt implementieren Sie das Python-Tool, das die Risikobewertung für den Anbieter durchführt. Im watsonx Orchestrate ADK wird die benutzerdefinierte Geschäftslogik mithilfe von Python-Tools implementiert, die die Agenten starten, um die Ergebnisse zu erhalten. Anstatt sich auf die Feinabstimmung eines Modells für domänenspezifisches Verhalten zu verlassen, zeigt dieses Tutorial, wie deterministische, regelbasierte Argumentationen mithilfe von Python-Tools implementiert werden können, um konsistente Ergebnisse zu gewährleisten.

Im src-Ordner erstellen Sie eine Datei namens main.py. Diese Datei enthält den von uns erstellten Lieferantendatensatz, die Risikobewertungsregeln und ein Python-Tool namens evaluate_all_vendor_risks, das die Logik für den Agenten bereitstellt.

Die Risikologik basiert auf Regeln. Im Hinblick auf Hochrisikosignale kann ein Unternehmen aufgrund seiner schlechten finanziellen Leistung, Sicherheitsvorfällen in der Vergangenheit oder regulatorischer Anfragen eine hohe Risikobewertung erhalten. Ein Unternehmen kann aufgrund fehlender Zertifizierungen, einzelner betrieblicher Vorfälle oder wetterbedingter Störungen eine mittlere Risikobewertung erhalten.

Die Funktion evaluate_all_vendor_risks wird als watsonx Orchestrate-Tool erstellt, sodass sie vom Agenten während der Ausführung aufgerufen werden kann. Das Tool liefert eine strukturierte Ausgabe, die das endgültige Risikoniveau sowie die genauen Gründe für die Klassifizierung enthält.

Hinweis: Die in diesem Tutorial enthaltene Datei main.py ist die endgültige, aktualisierte Version der Logik zur Lieferantenrisikobewertung. Die ersten Codesätze führten zu fehlerhaftem Verhalten der Agenten, die mithilfe von Langfuse-Traces analysiert wurden. Sie finden die Langfuse-Traces in den Screenshots, die in den späteren Schritten dieses Tutorials angezeigt werden.

Die vollständige Implementierung der Datei main.py, die in diesem Tutorial verwendet wird, ist im Folgenden angegeben. Kopieren und fügen Sie sie in src/main.py ein. Speichern Sie anschließend die Datei.

from ibm_watsonx_orchestrate.agent_builder.tools import tool

# =====================================================
# IN-MEMORY VENDOR DATA
# =====================================================

VENDORS = [
    {
        “name”: “CloudHostCo”,
        “financial_rating”: “A-“,
        “security_certifications”: [“ISO 27001”, “SOC2 Type II”],
        “past_incidents”: [{“type”: “Operational”, “year”: 2023}],
        “recent_news”: [“Minor service disruption in EU region”]
    },
    {
        “name”: “DataSecure Ltd”,
        “financial_rating”: “B”,
        “security_certifications”: [“SOC2 Type I”],
        “past_incidents”: [{“type”: “Security”, “year”: 2022}],
        “recent_news”: [“Suspicious login attempts on admin accounts”]
    },
    {
        “name”: “FinPay Solutions”,
        “financial_rating”: “A”,
        “security_certifications”: [“PCI-DSS”],
        “past_incidents”: [],
        “recent_news”: [“Regulatory inquiry about payment delays”]
    },
    {
        “name”: “GreenLogistics Corp”,
        “financial_rating”: “B+”,
        “security_certifications”: [“ISO 9001”],
        “past_incidents”: [{“type”: “Operational”, “year”: 2023}],
        “recent_news”: [“Weather-related disruptions in the UK”]
    }
]

REQUIRED_CERTS = {“ISO 27001”, “SOC2 Type II”, “PCI-DSS”}

# =====================================================
# RISK COMPUTATION (FIXED)
# =====================================================

def compute_vendor_risk(vendor: dict) -> dict:
    strong_signals = []
    weak_signals = []

  # ---------- Strong signals ----------

    # Financial risk ONLY for B or worse (NOT B+)
    if vendor[“financial_rating”] in {“B”, “B-“, “C”, “C-“, “D”}:
        strong_signals.append(“Weak financial rating”)

    # Security incident
    if any(i[“type”].lower() == “security” for i in vendor.get(“past_incidents”, [])):
        strong_signals.append(“Past security incident”)

    # Regulatory inquiry
    for news in vendor.get(“recent_news”, []):
        if “regulatory inquiry” in news.lower():
        strong_signals.append(“Regulatory inquiry”)
        break

    # ---------- Weak signals ----------

    # Missing key certifications
    certs = set(vendor.get(“security_certifications”, []))
    if not REQUIRED_CERTS.issubset(certs):
        weak_signals.append(“Missing key security certifications”)

    # Single operational incident
    incidents = vendor.get(“past_incidents”, [])
    if len(incidents) == 1 and incidents[0][“type”].lower() == “operational”:
        weak_signals.append(“Single operational incident”)

    # Weather-related disruptions are weak only
    for news in vendor.get(“recent_news”, []):
      if “weather” in news.lower():
        weak_signals.append(“Weather-related disruption”)
        break

    # ---------- Final decision ----------

    if len(strong_signals) >= 2:
        risk = “High”
    elif len(strong_signals) == 1 or len(weak_signals) >= 2:
        risk = “Medium”
    else:
        risk = “Low”

    return {
        “risk”: risk,
        “strong_signals”: strong_signals,
        “weak_signals”: weak_signals
    }

# =====================================================
# PYTHON TOOL
# =====================================================

@tool
def evaluate_all_vendor_risks() -> dict:
    “””
    Returns structured vendor risk assessments with explanations and rules.
    “””
    return {
        “rules”: {
            “financial_rating_rule”: “Only financial ratings of B or lower are treated as strong risk signals. B+ and above are not strong signals.”,
            “high_risk_rule”: “High risk requires two or more strong signals.”,
            “medium_risk_rule”: “Medium risk occurs with one strong signal or two or more weak signals.”,
            “weather_rule”: “Weather-related disruptions are always weak signals.”,
            “operational_rule”: “A single operational incident is a weak signal.”
        },
        “vendors”: {
            v[“name”]: {
                “financial_rating”: v[“financial_rating”],
                “risk”: compute_vendor_risk(v)[“risk”],
                “strong_signals”: compute_vendor_risk(v)[“strong_signals”],
                “weak_signals”: compute_vendor_risk(v)[“weak_signals”]
            }
            for v in VENDORS
        }
    }

Schritt 10: Importieren Sie das Python-Tool und den Agenten in watsonX Orchestrate.

In diesem Schritt müssen das Tool und der Agent für watsonx Orchestrate verfügbar gemacht werden. Dieser Vorgang erfolgt durch Importieren dieser Komponenten in die aktivierte ADK-Umgebung. Bevor Sie die Importbefehle ausführen, stellen Sie sicher, dass Sie sich im Stammordner Ihres Projekts befinden (derselbe Ordner, der die Verzeichnisse agents, src und tools enthält).

Zuerst muss das Python-Tool importiert werden, damit watsonx Orchestrate es als ausführbare Funktion registrieren kann. Führen Sie im Stammverzeichnis Ihres Projekts folgenden Befehl aus:

orchestrate tools import --kind python --file src/main.py --package-root .

Dieser Befehl packt den Python-Code in ein Modul, registriert das Tool evaluate_all_vendor_risks und ermöglicht, dass Agenten es aufrufen.

orchestrate agents import -f agents/vendor-risk-agent.yaml

Der Vendor Risk Intelligence Agent ist dann vollständig in das Python-Tool in der watsonx Orchestrate-Umgebung integriert.

Schritt 11: Testen Sie den Agenten und analysieren Sie sein Verhalten mit Langfuse

Wenn der lokale watsonx Orchestrate-Server läuft und die Observability aktiviert ist, können Sie den Agenten jetzt testen und sein Verhalten in Echtzeit analysieren.

Starten Sie die Chat-Oberfläche, indem Sie den folgenden Befehl ausführen:

orchestrate chat start

Öffnen Sie nun die Chat-Benutzeroberfläche von watsonx Orchestrate in Ihrem Browser. Wählen Sie Vendor_Risk_Intelligence_Agent aus und beginnen Sie, Fragen zum Lieferantenrisiko zu stellen.

Um zu bestätigen, dass der Agent richtig antwortet (und das Python-Tool deterministisch aufruft), sind hier ein paar Beispielfragen, die Sie zum Testen verwenden können:

Bedeutet B+ ein hohes Risiko?
Welches Risiko geht DataSecure Ltd ein?
Was sind die Kriterien für mittleres Risiko?
Welcher Anbieter hat das schwächste Finanzrating?
Wie würde sich das Risikoniveau von FinPay-Lösungen ändern, wenn ein Sicherheitsvorfall auftreten würde?
Bei welchen Anbietern kam es zu Betriebsstörungen?

Während Sie mit dem Agenten interagieren, öffnen Sie das Langfuse-Dashboard in Ihrem Browser. Jede Benutzerabfrage erzeugt einen neuen Trace, der eine Session-ID und eine Benutzer-ID enthält. Diese Traces zeichnen den vollständigen Ausführungspfad des Agenten auf. Durch Auswahl eines Trace können Sie Folgendes analysieren:

Die vollständige Eingabe und Ausgabe des Agenten
Der Aufruf des Python-Tools
Die vom Tool zurückgegebenen strukturierten Daten
Der Argumentationsprozess, der zur endgültigen Antwort führte
Latenz für jeden Schritt im Prozess
Sitzungsbasierter Gesprächsablauf für mehrere Fragen

Diese Observability hilft Ihnen, die Leistungsmetriken zu analysieren, die Engpässe wie Fehler in der Annahme, unvollständige Regeln oder unerwartetes Agentenverhalten aufzeigen.

Schritt 12: Verfeinern Sie das Agentenverhalten mithilfe von Langfuse-Erkenntnissen

Verwenden Sie nach dem Testen des Agenten Langfuse-Traces, um falsche Antworten zu identifizieren. Langfuse zeigt jeden Tool-Aufruf, jeden Argumentationsschritt und die Antwortlatenz an, sodass leicht nachvollziehbar ist, warum eine bestimmte Antwort erzeugt wurde.

In diesem Anwendungsfall ergab die Trace-Analyse, dass einige falsche Antworten auftraten, wenn der Agent finanzielle Bedeutungen ableitete oder antwortete, ohne ausdrücklich regelbasierte Beweise zu zitieren. Um diese Aktion zu ändern, wurden die Anweisungen des Agenten und der entsprechende Python-Code geändert, um das strikte regelbasierte Denken mit den erforderlichen Tool-Aktionen zu beheben.

Nach dem erneuten Import der aktualisierten Dateien wurde der Agent erneut getestet. Die neuen Traces stellen sicher, dass die Antworten fest in der strukturierten Tool-Ausgabe verwurzelt, die Erklärungen deterministisch und die Antworten auf alle beschreibenden Fragen korrekt waren.

Dieser Beobachtungs- und Optimierungsprozess zeigt, wie Langfuse eine sichere und zuverlässige Entwicklung von Agenten auf Basis von Benutzerfeedback ermöglicht.

Erkunden Sie die interaktive Demo unten, um den Vendor Risk Agent und die Langfuse-Tracing-Funktion in Aktion zu entdecken.

Zusammenfassung

Dieses Tutorial hat Sie durch die Erstellung eines strukturierten und vertrauenswürdigen KI-Agenten mit watsonx Orchestrate geführt, das für die Erstellung von Agenten der Unternehmensklasse entwickelt wurde. Durch die Integration einfacher regelbasierter Python-Logik, klarer Agentenanweisungen und wiederverwendbarer Tools haben Sie einen Anwendungsfall in der Lieferantenrisikobewertung mit minimalem Codeaufwand und maximaler Transparenz implementiert.

Durch die Integration von Langfuse ist es einfacher geworden, das Verhalten von Agenten zu erkennen und Probleme mit der Argumentation zu identifizieren, um die Genauigkeit kontinuierlich und ohne Rätselraten zu verbessern. Dieser Ansatz hilft Unternehmen dabei, Agentensysteme von Anfang bis Ende zu optimieren, komplexe Arbeitsabläufe zu automatisieren und KI-Systeme mit voller Transparenz einzusetzen.

Noch wichtiger ist jedoch, dass watsonx Orchestrate ADK und Langfuse gemeinsam Unternehmen die Möglichkeit geben, komplexe agentische Workflows und KI-Anwendungen schneller zu entwerfen, zu debuggen und zu skalieren, mit einer stärkeren Governance, klareren Argumentationen und reduzierter Entwicklungszeit.

Jobit Varughese

Technical Content Writer

IBM

ROI realisieren: Ein praktischer Leitfaden für agentische KI

Erfahren Sie, wie Sie agentische KI skalieren, um einen messbaren ROI in Ihrem gesamten Unternehmen zu erzielen. Dieses Playbook beschreibt die größten Hindernisse, die einschränken, wie man den ROI effektiv misst, und bietet ein praktisches Framework für eine erfolgreiche, unternehmensweite Einführung.

Ressourcen

Sicherung Ihrer Agenten

Inversionsangriffe auf KI-Modelle kosten mittlerweile durchschnittlich 6 Mio. USD, was die wachsenden Herausforderungen bei der Sicherung von KI-Systemen und sensiblen Daten deutlich macht.

Aufbau einer KI-nativen Fluggesellschaft im Unternehmensmaßstab

Wenn die Gewinnspannen gering sind, zählt jede Ineffizienz. Während Legacy-Systeme das Potenzial der KI in der gesamten Luftfahrtbranche weiterhin einschränken, hat Riyadh Air einen anderen Weg eingeschlagen. In Zusammenarbeit mit IBM hat Riyadh Air die weltweit erste KI-native Fluggesellschaft aufgebaut und damit eine intelligentere, schnellere und intuitivere Art des Reisens neu definiert.

The enterprise in 2030: Entwickelt für kontinuierliche Innovation

Entdecken Sie unsere fünf Prognosen über die erfolgreichsten Unternehmen im Jahr 2030 und die Schritte, die Führungskräfte unternehmen können, um sich KI-Vorteile zu verschaffen.

Gebot der KI-Governance: Sich entwickelnde Regulierungen und das Aufkommen agentischer KI

Erfahren Sie, wie sich ändernde Vorschriften und das Aufkommen von KI-Agenten den Bedarf an robusten KI-Governance-Frameworks verändern.

Agentische KI erklärt

„Techsplainers“ von IBM schlüsselt die Grundlagen der agentischen KI auf, von Schlüsselkonzepten bis hin zu realen Anwendungsfällen. Klare, kurze Folgen helfen Ihnen, die Grundlagen schnell zu erlernen.

ROI durch KI generieren: Ein taktischer Leitfaden für die Produktivität im Unternehmen

Erfahren Sie mehr über bewährte Strategien, um die Produktivität zu steigern und die Transformation von Unternehmen mit Blick auf KI und Innovation voranzutreiben.

Wie Ihr Unternehmen von KI-Agenten und -Assistenten profitieren kann

Tauchen Sie ein in diesen umfassenden Leitfaden, der die wichtigsten Anwendungsfälle und Kernfunktionen aufschlüsselt und Ihnen Schritt für Schritt Empfehlungen für die Auswahl der richtigen Lösungen für Ihr Unternehmen gibt.

Mit KI-Agenten und -Assistenten die Produktivität von Unternehmen neu definieren

Erfahren Sie, wie KI-Agenten und KI-Assistenten zusammenwirken können, um neue Produktivitätsniveaus zu erreichen.

watsonx Orchestrate™ testen

Erfahren Sie, wie generative KI-Assistenten Ihre Workloads erleichtern und die Produktivität steigern können.

Von KI-Projekten zu Gewinnen: Wie agentische KI finanzielle Erträge sichern kann

Erfahren Sie, wie Unternehmen von isolierten KI-Pilotprojekten zur Unternehmenstransformation mit agentischer KI übergehen.

Omdia-Bericht über handlungsfähige Intelligenz: Die Auswirkungen von KI-Agenten

Entdecken Sie, wie Sie sich das volle Potenzial von der generativen KI mit KI-Agenten erschließen können.

Wie KI-Agenten die Produktivität neu definieren

Lernen Sie, wie Sie mithilfe von KI kreativer und effizienter werden und sich auf eine Zukunft einstellen können, in der Sie eng mit KI-Agenten zusammenarbeiten.

Das Zeitalter der agentischen Unternehmen: Einsatz von KI in Ihrem gesamten Technologiebestand

Bleiben Sie über die neuen KI-Agenten auf dem Laufenden, die einen grundlegenden Wendepunkt in der KI-Revolution darstellen.

Die Zukunft der Agenten, der Energieverbrauch der KI, die Computernutzung von Anthropic und das Wasserzeichen von Google für KI-generierten Text

Bringen Sie sich in dieser Folge von Mixture of Experts mit unseren KI-Experten auf den neuesten Stand, wenn sie sich eingehend mit der Zukunft von KI-Agenten und mehr befassen.

Wie Comparus einen „Bankassistenten“ einsetzt

Comparus nutzte Lösungen von watsonx.ai und präsentierte eindrucksvoll das Potenzial von dialogorientiertem Banking als neues Interaktionsmodell.

Weiterführende Lösungen

KI-Agenten für Unternehmen

Entwickeln, implementieren und verwalten Sie leistungsstarke KI-Assistenten und -Agenten, die Workflows und Prozesse mit generativer KI automatisieren.

Entdecken Sie watsonx Orchestrate

IBM KI-Agenten-Lösungen

Gestalten Sie die Zukunft Ihres Unternehmens mit KI-Lösungen, denen Sie vertrauen können.

KI-Agenten-Lösungen erkunden

IBM Consulting KI-Dienstleistungen

Die KI-Services von IBM Consulting unterstützen Sie dabei, die Art und Weise, wie Unternehmen mit KI arbeiten, neu zu denken.

Erkunden Sie die Services im Bereich der künstlichen Intelligenz

Machen Sie den nächsten Schritt

Ganz gleich, ob Sie vorgefertigte Apps und Skills anpassen oder mithilfe eines KI-Studios eigene Agentenservices erstellen und bereitstellen möchten, die IBM watsonx-Plattform bietet Ihnen alles, was Sie brauchen.