Überwachung der Kosten Ihrer KI-Anwendung

Online bearbeiten

In den Dashboards zur Überwachung generativer KI von „ Instana “ erfahren Sie, wie Kosten berechnet, angezeigt und verwaltet werden.

Wie die Kosten berechnet werden

Instana Die Observability für generative KI erfasst und visualisiert die Kosten, die durch die Nutzung großer Sprachmodelle (LLM) entstehen, basierend auf dem Token-Verbrauch. Wenn Sie verstehen, wie diese Kosten berechnet werden, hilft Ihnen das dabei:

  • AI-Ausgaben überwachen und optimieren
  • Treffen Sie fundierte Entscheidungen bei der Modellauswahl
  • Planen Sie die Kosten für den Betrieb von KI-Systemen genau
  • Kostenabweichungen und Ineffizienzen aufdecken

Token-basiertes Preismodell

Die Kosten für generative KI werden anhand des Token-Verbrauchs nach folgender Formel berechnet:

Total Cost = (Input Tokens × Input Token Price) + (Output Tokens × Output Token Price)

Dabei gilt:

  • Eingabe-Token: Die Anzahl der Token in der an das LLM gesendeten Eingabeaufforderung
  • Ausgabe-Token: Die Anzahl der Token in der vom LLM generierten Antwort
  • Preis pro Eingabetoken: Die Kosten pro Eingabetoken pro 1 Million Token
  • Preis pro Ausgabe-Token: Die Kosten pro Ausgabe-Token pro 1 Million Token

Kostenberechnung pro Modell

Jedes LLM-Modell hat seine eigene Preisstruktur. Die Kosten werden für jedes Modell individuell berechnet, basierend auf:

  • Modellspezifische Preisgestaltung: Die Preise für die Token variieren je nach Modell. Beispielsweise ist GPT-4 teurer als GPT-3.5. 2.
  • Unterscheidung nach Token-Typ: Eingabe- und Ausgabe-Token werden unterschiedlich bewertet.
  • Aggregation in Echtzeit: Die Kosten werden über alle Anfragen an ein bestimmtes Modell hinweg aggregiert.
  • Stunden-/Tageskosten: Nach Zeitintervallen aggregierte Kosten für die Trendanalyse
  • Kosten nach Anwendung: Kosten, die nach der Anwendung oder dem Dienst gruppiert sind, die bzw. der LLM-Aufrufe tätigt

Konfiguration der Modellpreisgestaltung

Sie können das Preismodell konfigurieren.

Auf die Preiskonfiguration zugreifen

So konfigurieren oder aktualisieren Sie die Modellpreise:

  1. Go zur „ GenAI “-Observability in der Benutzeroberfläche von „ Instana “.
  2. Klicken Sie auf die Registerkarte „Preiskonfiguration “.

Vordefinierte Preise

Instana bietet eine vordefinierte Liste beliebter LLM-Modelle mit den aktuellen Marktpreisen, darunter:

  • OpenAI Modelle ( GPT-4o-mini, GPT-5.1 usw.)
  • Anthropische Modelle (Claude 3 Opus, Claude 3 Sonnet usw.)
  • IBM watsonx.ai Modelle
  • Weitere unterstützte Modellanbieter
Die vordefinierten Preise werden regelmäßig aktualisiert, um den aktuellen Marktpreisen Rechnung zu tragen.
Abbildung 1. Generative LLM-Preisgestaltung-Konfiguration
Generative Konfiguration der LLM-Preisgestaltung

Preise für benutzerdefinierte Modelle hinzufügen

So fügen Sie Preise für ein neues Modell hinzu, das nicht in der vordefinierten Liste enthalten ist:

  1. Klicken Sie auf der Seite „Preiskonfiguration“ auf „Modellpreise hinzufügen “.
  2. Geben Sie die folgenden Informationen ein:
    • Modellname: Der genaue Name, wie er in den Traces erscheint (zum Beispiel „ gpt-4-turbo-preview “).
    • Modellanbieter: Die Plattform oder der Anbieter (z. B. OpenAI, Anthropic, IBM).
    • Plattformname: Um plattformspezifische Preise festzulegen, aktivieren Sie das Kontrollkästchen „Plattformspezifische Preise festlegen“ und geben Sie den Plattformnamen ein (z. B. anthropic, bedrock, langchain).
    • Preis des Eingabetokens: Kosten pro 1 Million Eingabetoken in USD.
    • Preis des Ausgabe-Tokens: Kosten pro 1 Million Ausgabe-Token in USD.
  3. Klicken Sie auf „Speichern“, um die Konfiguration zu übernehmen.
Abbildung 2. Preisgestaltung für ein Modell hinzufügen
Preisgestaltung für ein Modell hinzufügen

Überschreiben der bestehenden Modellpreisgestaltung

So überschreiben Sie die vordefinierte Preisgestaltung für ein Modell:

  1. Suchen Sie auf der Registerkarte „Preiskonfiguration “ das Modell, das Sie aktualisieren möchten.
  2. Klicken Sie auf den Modellnamen.
  3. 3. Passen Sie im Abschnitt „Token-Preisgestaltung “ die Werte in den folgenden Feldern an:
    • Eingabepreis
    • Ausgabepreis
  4. Klicken Sie auf Speichern, um die Änderungen anzuwenden.
    Hinweis: Das Überschreiben von Preisen hat keine Auswirkungen auf historische Kostendaten. Die neuen Preise gelten nur für Daten, die nach der Änderung erfasst wurden.
Abbildung 3. Preisgestaltung für Modell bearbeiten
Preisgestaltung für Modell bearbeiten

Zurücksetzen auf vordefinierte Preise

Wenn die Preisgestaltung für ein Modell überschrieben wurde und Sie zur ursprünglichen vordefinierten Preisgestaltung zurückkehren möchten, führen Sie die folgenden Schritte aus:

  1. Suchen Sie auf der Registerkarte „Preiskonfiguration “ das Modell mit den überschriebenen Preisen.
  2. Klicken Sie auf den Modellnamen. Das Dialogfeld „Modellpreise bearbeiten“ wird angezeigt.
  3. 3. Wählen Sie im Abschnitt „Preise zurücksetzen “ die entsprechende Option aus. Das Kontrollkästchen „Ich verstehe, dass dieser Vorgang nicht rückgängig gemacht werden kann “.
  4. 4. Klicken Sie auf die Schaltfläche „Auf Katalogpreis zurücksetzen “.
  5. 5. Klicken Sie auf „Speichern “.

Die Modellpreise werden auf die ursprünglich vordefinierten Werte zurückgesetzt. Dies gilt für alle künftigen Kostenberechnungen. Dies hat keine Auswirkungen auf historische Kostendaten, die anhand der überschriebenen Preisgestaltung berechnet wurden.

Abbildung 4. Preisgestaltung zurücksetzen
Preisgestaltung zurücksetzen

Löschen der Preise für benutzerdefinierte Modelle

Bei Modellen, die Sie manuell hinzugefügt haben (Modelle ohne vordefinierte Preise), können Sie die Preiskonfiguration löschen:

  1. Suchen Sie auf der Seite „Preiskonfiguration “ das benutzerdefinierte Modell, das Sie entfernen möchten.
  2. Klicken Sie auf das Lö schsymbol neben dem Modell.
  3. Bestätigen Sie den Löschvorgang, wenn das Dialogfeld angezeigt wird.

Wichtige Hinweise:

  • Es können nur benutzerdefinierte Modelle (Modelle ohne vordefinierte Preise) gelöscht werden
  • Vordefinierte Modelle können nur auf die Standardeinstellungen zurückgesetzt, aber nicht gelöscht werden
  • Wenn die Preisangaben für ein Modell gelöscht werden, werden die Kostenkennzahlen für dieses Modell nicht mehr angezeigt
  • Die historischen Kostendaten für das gelöschte Modell bleiben im System erhalten
  • Weitere Kennzahlen (Token, Latenz, Traces) werden weiterhin erfasst und angezeigt
Hinweis: Nachdem die benutzerdefinierte Modellpreisgestaltung gelöscht wurde, müssen Sie die Preiskonfiguration manuell erneut hinzufügen, wenn die Kostenkennzahlen für dieses Modell wieder angezeigt werden sollen.

Auswirkungen von Preisänderungen

Wenn die Preise aktualisiert werden, tritt das folgende Verhalten auf.

Wenn die Preise aktualisiert werden

Wenn Sie die Modellpreise in der Konfiguration aktualisieren, treten die folgenden Änderungen ein.

Unmittelbare Auswirkungen:

  • Die neuen Kostenberechnungen basieren auf den aktualisierten Preisen
  • Die Dashboard-Widgets spiegeln die neuen Preise für eingehende Daten wider

Langzeitdaten:

  • Historische Kostendaten werden nicht automatisch neu berechnet
  • Die bisherigen Kosten bleiben unverändert, da sie bereits zu diesem Zeitpunkt berechnet wurden
  • Die Integrität des Prüfpfads bleibt gewahrt, und Dateninkonsistenzen werden verhindert

Beste Praktiken:

  • Änderungen der Dokumentenpreise mit Gültigkeitsdatum
  • Erwägen Sie, Kostenberichte vor größeren Preisänderungen zu exportieren
  • Informieren Sie die für die Kostenüberwachung zuständigen Personen über Preisänderungen

Wenn keine Preisgestaltung konfiguriert ist

Wenn für ein bestimmtes Modell keine Preisgestaltung konfiguriert ist, gilt Folgendes:

Kostenkennzahlen:

  • Für dieses Modell werden keine Kostenkennzahlen angezeigt.
  • Dashboard-Widgets, die Kosten anzeigen, berücksichtigen das nicht konfigurierte Modell nicht
  • Bei der Berechnung der Gesamtkosten werden die Anfragen an dieses Modell nicht berücksichtigt

Weitere Kennzahlen stehen weiterhin zur Verfügung:

  • Die Token-Zahlen (Eingabe und Ausgabe) werden weiterhin erfasst und angezeigt
  • Die Metriken für Anforderungslatenz und Leistung funktionieren weiterhin
  • Trace-Daten und Protokolle sind davon nicht betroffen

Auswirkungen auf Dashboards:

  • In den Kostenübersichts-Widgets werden möglicherweise unvollständige Summen angezeigt
  • Bei der Aufschlüsselung der Kosten nach Modellen werden nicht konfigurierte Modelle nicht berücksichtigt
  • Kostenentwicklungsdiagramme können Lücken oder niedrigere Werte als erwartet aufweisen

Fehlerbehebung bei Preisproblemen

Möglicherweise treten bei Ihnen folgende Probleme auf.

Bei häufig auftretenden Problemen, wie z. B. wenn Kostenkennzahlen nicht angezeigt werden, lesen Sie bitte den Abschnitt „Fehlerbehebung “.

Falsche Kostenberechnungen

Problem: Die angezeigten Kosten stimmen nicht mit den erwarteten Werten überein.

Lösung: Führen Sie zur Behebung dieses Problems die folgenden Schritte aus:

  1. Überprüfen Sie, ob die konfigurierten Preise mit den aktuellen Tarifen des Anbieters übereinstimmen
  2. Überprüfen Sie die Preisbasis (pro 1000 Token gegenüber pro 1 Million Token)
  3. Überprüfen Sie die Anzahl der Token, um die Berechnung zu validieren

Fehlende Modelle in der Konfiguration

Problem: Ein verwendetes Modell ist nicht in der Konfigurationsliste enthalten.

Lösung: Führen Sie zur Behebung dieses Problems die folgenden Schritte aus:

  1. Fügen Sie das Modell manuell über die Funktion „Modellpreis hinzufügen“ hinzu
  2. Stellen Sie sicher, dass der Modellname genau so lautet, wie er in den Traces erscheint
  3. Preisinformationen beim Modellanbieter einholen
  4. Konfiguration speichern und überprüfen

Abweichungen bei den Anschaffungskosten

Problem: Historische Kosten, die nach einer Preisaktualisierung geändert werden.

Lösung: Führen Sie zur Behebung dieses Problems die folgenden Schritte aus:

  • Die historischen Kosten dürfen sich nicht ändern; falls sich doch etwas ändert, wenden Sie sich bitte an den Support unter IBM
  • Exportieren Sie regelmäßig Kostenberichte, um unabhängige Aufzeichnungen zu führen
  • Verwenden Sie das Audit-Protokoll, um Konfigurationsänderungen nachzuverfolgen

Fragen oder Probleme bezüglich der Preisgestaltung

Bei Fragen oder Problemen im Zusammenhang mit der Preiskonfiguration: