Überwachungsagenten

Dashboard-Übersicht

Wenn Sie die Agentenanalyse öffnen, erhalten Sie auf dem Dashboard einen schnellen Überblick über die Leistung Ihrer Agenten. Verwenden Sie diese Ansicht, um die Gesamtaktivität zu verstehen, ungewöhnliche Muster zu erkennen und zu entscheiden, welche Agenten einer genaueren Untersuchung bedürfen.

Tabelle 1. Übersicht über das Dashboard

Details zu	Beschreibung
Gesamtzahl der Nachrichten	Sehen Sie, wie viele Nachrichten Ihre Agenten im ausgewählten Zeitraum bearbeitet haben, einschließlich erfolgreicher und fehlgeschlagener Antworten.
Fehlgeschlagene Nachrichten	Überprüfen Sie, wie viele Nachrichten zu Fehlern geführt haben (z. B. Zeitüberschreitungen oder erfolglose Antworten). Ein plötzlicher Anstieg der Fehleranzahl deutet in der Regel auf Fehlkonfigurationen, unterbrochene Werkzeugverbindungen oder unerwartetes Modellverhalten hin.
Durchschnittliche Latenzzeit	Überprüfen Sie, wie lange Ihre Mitarbeiter im Durchschnitt für eine Antwort benötigen. Eine höhere Latenz kann auf langsame Modellaufrufe, ineffiziente Werkzeugoperationen oder Engpässe im Arbeitsablauf hinweisen.
Überwachen	Zeigt an, ob die Überwachung für den ausgewählten Agenten aktiviert ist. Sie können die Überwachung für Live-Agenten ein- oder ausschalten. Weitere Informationen finden Sie unter Überwachen eines Agenten.

Die Metriken werden automatisch aktualisiert, während Ihre Agenten ausgeführt werden. Wenn ein Wert ungewöhnlich erscheint, z. B. ein starker Anstieg der Ausfallrate oder ein Sprung in der Latenz, können Sie sofort einen Drilldown zu einzelnen Agent-Datensätzen durchführen oder Traces auf Nachrichtenebene öffnen, um zu verstehen, was passiert ist. Das Dashboard spiegelt Daten von Agenten wider, die Nachrichten sowohl in Entwurfs- als auch in Live-Umgebungen verarbeitet haben.

Agentenkennzahlen anzeigen

Verwenden Sie die Agent-Analysetabelle, um die Leistung jedes Agenten auf einen Blick zu überprüfen. Es hilft Ihnen zu verstehen, wie aktiv ein Agent genutzt wird, wie oft Fehler auftreten und wie schnell er reagiert.

Die Tabelle zeigt:

Tabelle 2. Agentenkennzahlen

Details zu	Beschreibung
Name	Der Name des Agenten.
Beschreibung	Eine kurze Beschreibung des Zwecks des Agenten.
Nachrichten	Die Gesamtzahl der verarbeiteten Nachrichten.
Fehlgeschlagene Nachrichten	Die Anzahl der Meldungen, die zu Fehlern geführt haben.
Durchschnittliche Latenzzeit	Die durchschnittliche Bearbeitungszeit von Nachrichten.

Anhand dieser Informationen können Sie das Nachrichtenaufkommen der einzelnen Agenten vergleichen, Agenten mit höheren Ausfallraten oder langsameren Reaktionszeiten identifizieren und überprüfen, ob die jüngsten Änderungen die Leistung verbessert oder neue Probleme verursacht haben.

Agentenprotokolle anzeigen

Sie können das Verhalten des Agenten eingehend untersuchen, indem Sie seine Traces auf Nachrichtenebene öffnen. Klicken Sie zunächst auf den Namen des Agenten in der Tabelle „Agentenanalyse“. Dadurch wird die Ansicht „Traces“ geöffnet, in der Sie Schritt für Schritt überprüfen können, wie der Agent jede Nachricht verarbeitet hat.

Jede Zeile in der Trace-Tabelle zeigt:

Tabelle 3. Agentenspuren

Details zu	Beschreibung
Zeitmarke	Der Zeitpunkt, zu dem die Nachricht verarbeitet wurde.
Trace-ID	Eine eindeutige Kennung für die Nachricht.
Status	Ob die Antwort „Erfolgreich“ oder „Fehler“ lautete.
Model	Das große Sprachmodell, das zur Generierung der Antwort verwendet wird.
Latenzzeit	Die Gesamtzeit, die der Agent für die Verarbeitung der Nachricht benötigt hat.

Verwenden Sie die Trace-Ansicht, um Muster zu erkennen, Fehler zu untersuchen oder zu überprüfen, ob ein Agent wie erwartet reagiert hat. Traces helfen Ihnen dabei, problematische Nachrichten zu identifizieren, die Latenz zwischen Modellen oder Prompts zu vergleichen und zu überprüfen, ob sich Ihr Agent nach Updates konsistent verhält.

Für eine detailliertere Aufschlüsselung der Verarbeitung einer Nachricht durch den Agenten, einschließlich Modellentscheidungen, Tool-Ausführungen, Wissensabruf und Workflow-Aktionen, können Sie die Ansicht „Trace-Details“ öffnen. Die Seite „Trace-Details verstehen“ bietet eine strukturierte, schrittweise Ansicht jedes Abschnitts im Ausführungspfad und hilft Ihnen dabei, komplexe Probleme effektiver zu diagnostizieren.

Wichtigste Ziele und Vorteile der Überwachung

Mit der Agentenanalyse können Sie wichtige Kennzahlen wie die Gesamtzahl der Nachrichten, fehlgeschlagene Nachrichten, die durchschnittliche Latenz und Trace-Details anzeigen. Die Überwachung erweitert diese Funktion, indem sie Live-Nachrichten verfolgt, die zwischen IBM, watsonx Orchestrate und watsonx.governance ausgetauscht werden. Zusammen helfen Ihnen diese Erkenntnisse dabei:

• Überwachen Sie die Leistung von Agenten und Nutzungstrends

• Fehler und Anomalien frühzeitig erkennen

• Geschwindigkeit verbessern und Latenz reduzieren

• Verbesserung der Beobachtbarkeit und Fehlerbehebung

• Bereitstellung einer datengestützten Grundlage für die Abstimmung und Weiterentwicklung von Agenten

Voraussetzungen für die Überwachung von „ watsonx.governance “

Bevor Sie die Überwachung aktivieren, stellen Sie sicher, dass alle Anforderungen erfüllt sind:

• Der Agent muss bereitgestellt und aktiv sein. Auf dem Dashboard von „ watsonx Orchestrate “ werden nur bereitgestellte Agenten angezeigt.

• Sie benötigen „Builder“- oder „Admin“-Berechtigungen in watsonx Orchestrate.

• Sie benötigen eine aktive „ watsonx.governance “-Instanz in derselben „ IBM Cloud “-Region wie Ihre „ IBM “-Instanz unter watsonx Orchestrate.

  • Wenn Sie noch keine haben, erstellen Sie eine Instanz. Siehe „ IBM Cloud -Konto einrichten “.

• Stellen Sie sicher, dass Ihre Instanz in einer unterstützten Region bereitgestellt wird.

• Administratoren und Entwickler müssen eine Zugriffsgruppe mit folgenden Angaben konfigurieren:

  • Writer sowie Editor die Berechtigungen für watsonx Orchestrate

  • Reader sowie Editor die Berechtigungen für watsonx.governance. Siehe „Zugriffsgruppen einrichten “.

• Benutzer von watsonx.governance müssen über eine konfigurierte Datenbank verfügen:

  • Lite-Tarife enthalten standardmäßig eine Datenbank.

  • Für Essential-Pläne ist eine vom Benutzer bereitgestellte Datenbank erforderlich. Siehe „ watsonx.governance einrichten“ unter IBM Cloud.

Agentenüberwachung aktivieren

Wenn Sie die Überwachung aktivieren, beginnt das System mit der Verfolgung und Erfassung von Analysedaten zusätzlich zu den Agent-Traces, was Einblicke in die Leistung liefert und bei der Optimierung hilft. Sie können es entweder auf der Seite „Agent-Analysen“ oder auf der Seite „Agenten und Tools erstellen“ aktivieren.

Überwachungsergebnisse anzeigen

Das Dashboard bietet einen zentralen Überblick über die Leistungs- und Bewertungskennzahlen Ihrer Agenten. Das Dashboard-Symbol ist nur sichtbar, wenn die Überwachung für Ihren Agenten aktiviert ist. Das Dashboard bietet:

• Nutzungsmetriken (Anzahl der Nutzer und Anzahl der Nachrichten)

• Leistungskennzahlen (Token-Anzahl, Latenz und fehlgeschlagene Nachrichten)

• Technische Kennzahlen (Genauigkeit, Relevanz der Tool-Aufrufe und andere)

• Protokolle auf Konversations- und Nachrichtenebene

Klicken Sie auf das Dashboard-Symbol , um die Überwachungsdetails anzuzeigen.

Weitere Informationen finden Sie unter „Bewertung von KI-Agenten und agentenbasierten Anwendungen “.

Bekannte Probleme

Bekannte Probleme im Zusammenhang mit Überwachung und Analyse finden Sie unter Bekannte Probleme bei Überwachung und Analyse.