Überwachung von LLMs von Modellanbietern
Instana überwacht große Sprachmodelle (LLMs) von Modellanbietern, indem es Traces, Metriken und Protokolle erfasst, um Echtzeit-Einblicke in Leistung, Effizienz und Kosten zu liefern. Verfolgen Sie wichtige Kennzahlen wie die Latenz bei der Modellinferenz, Fehlerquoten, Ressourcenauslastung, Token-Verbrauch und Kosten, um Engpässe zu identifizieren und KI-Abläufe zu optimieren.
Die folgende Liste enthält die unterstützten LLM-Anbieter:
Schutz sensibler Daten
Bei der Arbeit mit LLMs kann es vorkommen, dass Sie personenbezogene Daten wie Namen, E-Mail-Adressen oder Finanzdaten verarbeiten müssen. Um sensible Daten zu schützen und die Einhaltung gesetzlicher Vorschriften zu gewährleisten, finden Sie unter „Anonymisierung personenbezogener Daten“ eine Anleitung zur Umsetzung der Anonymisierung personenbezogener Daten in Ihren LLM-Anwendungen.
Fehlerbehebung
Informationen zur Fehlerbehebung bei Problemen mit „ SSL “.
SSL Themen
Wenn bei Ihren LLM-Anwendungen ein „ SSL “-Handshake oder andere Probleme auftreten, wie beispielsweise der folgende Fehler:
Handshake failed with fatal error SSL_ERROR_SSL: error:100000f7:SSL routines:OPENSSL_internal:WRONG_VERSION_NUMBER.Sie müssen für Ihre LLM-Anwendungen OTEL_EXPORTER_OTLP_INSECURE=true die Einstellung vornehmen, damit die Daten an den Endpunkt „ gRPC “ exportiert werden, ohne dass „ TLS “ verwendet wird.
Probleme mit Modulen
Falls bei Ihren module 'lib' LLM-Anwendungen Probleme auftreten, wie beispielsweise der folgende Fehler:
AttributeError: module 'lib' has no attribute 'X509_V_FLAG_NOTIFY_POLICY'.Installieren Sie die folgenden Pakete von OpenSSL :
pip3 install --upgrade cryptography pyopenssl