KI-Gateway

Sie können LLM-Gateways zu den folgenden LLM-Diensten erstellen:

• watsonx.ai (IBM Cloud)
• watsonx.ai (Selbst gehostet auf OpenShift mit Cloud Pak für die Daten (Version 1.0.313 und höher von Instana ))
• vLLM-compatible Inferenzdienste, einschließlich des AI-Inferenzservers „ Red Hat “ (RHAIIS) (öffentliche Vorschau)

Die Funktionen der generativen KI werden von den folgenden großen Sprachmodellen (LLMs) unterstützt.

• ibm-granite/granite-3.3-8b-instruct
• mistral-medium-2505
• mistralai/Mistral-Large-Instruct-2407
• openai/gpt-oss-120b (Kein Produkt von „ IBM “)

Im Folgenden sind die unterstützten generativen KI-Funktionen in „ Instana “ aufgeführt, die für die Verwendung mit einem LLM-Gateway konfiguriert werden können:

• KI-Assistent
• Vorfallzusammenfassung
• Untersuchung eines Vorfalls
• Kubernetes KI-Assistent
• Manuelle Aktionsgenerierung
• Scripterstellung
• SLO-Assistent
• GenAI Bewertung

Weitere Informationen zu den unterstützten Funktionen der generativen KI finden Sie unter „Observability bei generativer KI “.

Für den Zugriff auf alle Funktionen der generativen KI in der Benutzeroberfläche von „ Instana “ ist die folgende Benutzerberechtigung erforderlich:

• Zugriff auf das AI-Gateway: Ermöglicht den schreibgeschützten Zugriff auf die Benutzeroberfläche des AI-Gateways
• LLM-Gateways erstellen, konfigurieren und löschen: Ermöglicht den vollständigen Zugriff auf die Benutzeroberfläche des KI-Gateways
• Zugriff auf alle Funktionen von Gen AI: Ermöglicht den Zugriff auf KI-gestützte Funktionen in der Benutzeroberfläche von „ Instana “

Weitere Informationen finden Sie unter „Benutzerzugriff verwalten “.

Um ein LLM-Gateway einzurichten und zu konfigurieren, führen Sie die folgenden Schritte aus.

1. Eine Verbindung einrichten.

   1. Klicken Sie im Navigationsbereich auf „AI-Gateway “. Das Fenster „LLM-Gateways“ wird angezeigt.
   2. Klicken Sie auf „LLM-Gateway erstellen “. Der Assistent zum Erstellen eines LLM-Gateways wird angezeigt.
   3. Wählen Sie „Verbindung einrichten “.
   4. Wählen Sie unter „Verbindungseinstellungen“ einen der folgenden Dienste aus, der für den Zugriff auf LLM-Gateways verwendet wird:
      • IBM watsonx : Wenn Sie watsonx konfigurieren, geben Sie folgende Angaben ein:
        • watsonx API Schlüssel : Der Schlüssel „ API “ zur Authentifizierung des Zugriffs auf den Dienst „ watsonx “.
        • watsonx Projekt : Ein Name für das Projekt.
        • watsonx URL : Die URL für den Dienst „ watsonx ”.
      • vLLM : Wenn Sie einen externen vLLM-Dienst ( vLLM-based ) konfigurieren, geben Sie bitte die folgenden Angaben ein:
        • Endpunkt- URL : Die URL, auf der der Dienst „ vLLM “ gehostet wird.
        • Endpunkt- API sschlüssel (optional) : Der Authentifizierungsschlüssel für den sicheren Zugriff auf den Endpunkt.
   5. Um die Konfiguration zu überprüfen, klicken Sie auf „Verbindung testen “.
      • Für IBM watsonx : Sollte die Verbindung fehlschlagen, überprüfen Sie bitte, ob der Schlüssel API, die Projekt-ID und URL korrekt und gültig sind. Ein erfolgreicher Test bestätigt, dass „ Instana “ mit dem Dienst „ watsonx “ kommunizieren kann.
      • Für vLLM : Sollte die Verbindung fehlschlagen, überprüfen Sie bitte, ob der Endpunkt URL erreichbar ist und der Schlüssel API korrekt ist. Ein erfolgreicher Test bestätigt, dass „ Instana “ mit dem Dienst „ vLLM “ kommunizieren kann.
   6. Klicken Sie auf Weiter.

2. Fähigkeit und KI-Modell auswählen.

   1. Wählen Sie im Abschnitt „Fähigkeit und KI-Modell auswählen “ eine der folgenden Fähigkeiten aus:
      • KI-Assistent
      • Manuelle Aktionsgenerierung
      • Vorfallzusammenfassung
      • Untersuchung eines Vorfalls
      • Scripterstellung
      • SLO-Assistent
      • GenAI Bewertung
   2. Wählen Sie ein KI-Modell aus:
      • Granite (Einfaches Modell zur Erfassung von Daten): Allzweckmodell
      • Mistral (mittel): Ausgewogene Leistung
      • Mistral (groß): Hohe Kapazität für komplexe Aufgaben
      • Openai/gpt-oss-120b: Für Aufgaben, die Analysen und Erkenntnisse erfordern. (Für den SLO-Assistenten ist das Modell „ openai/gpt-oss-120b “ erforderlich)
   3. Klicken Sie auf Weiter, um fortzufahren.

3. Modell konfigurieren.

   1. Stellen Sie die folgenden Parameter ein, um das Modellverhalten zu optimieren:
      • Token-Limit (in Tausend) : Maximale Anzahl von Tokens pro Anfrage (zum Beispiel ) 100.
      • Maximale Latenz : Maximale Reaktionszeit (z. B. 1 Sekunden).
      • Wiederholungsstrafe : Verhindert wiederholte Phrasen (zum Beispiel 1).
      • Temperatur : Steuert die Zufälligkeit (zum Beispiel 0.2 bis 1).
      • top_k : Anzahl der zu samplenden Token (zum Beispiel ) 50.
      • top_p : Kumulative Wahrscheinlichkeitsschwelle (zum Beispiel 0.5).
   2. Klicken Sie auf „Weiter“, um fortzufahren, oder auf „Zurück“, um Änderungen vorzunehmen.

4. Geben Sie die Gateway-Daten ein.

   1. Name : Geben Sie einen eindeutigen Namen für das Gateway ein.
   2. Beschreibung : Geben Sie eine Beschreibung für das Gateway ein.

5. Klicken Sie auf „Erstellen“, um die Einrichtung abzuschließen.

Um die von Ihnen konfigurierten LLM-Gateways anzuzeigen, klicken Sie im Navigationsbereich auf „AI-Gateway “. Die LLM-Gateways -Tabelle wird angezeigt und zeigt alle konfigurierten Gateways und deren Status an. Sie können sie aktivieren oder deaktivieren und Konfigurationsdetails anzeigen.

The gateway for capability {capability_name} is disabled. Contact your administrator.

Nachdem Sie ein LLM-Gateway erstellt haben, können Sie die Verbindung testen, um den ordnungsgemäßen Betrieb zu überprüfen.

Um ein vorhandenes Gateway zu testen, führen Sie die folgenden Schritte aus:

1. Wählen Sie im Navigationsmenü der Benutzeroberfläche von „ Instana “ die Option „AI Gateway“ aus.
2. Klicken Sie in der Tabelle „LLM-Gateways “ auf „Testen“ für das Gateway, das Sie testen möchten. Das Testergebnis zeigt an, ob die Verbindung ordnungsgemäß funktioniert.