Monitoraggio dei modelli di linguaggio di grandi dimensioni (LLM) forniti dai fornitori di modelli
Instana monitora i modelli di linguaggio di grandi dimensioni (LLM) dei fornitori di modelli raccogliendo tracce, metriche e registri per fornire informazioni in tempo reale su prestazioni, efficienza e costi. Monitorare i principali indicatori, tra cui la latenza dell'inferenza del modello, i tassi di errore, l'utilizzo delle risorse, il consumo di token e i costi, per individuare i colli di bottiglia e ottimizzare le operazioni di IA.
Il seguente elenco riporta i fornitori di modelli di linguaggio di grandi dimensioni (LLM) supportati:
Protezione dei dati sensibili
Quando si lavora con i modelli di linguaggio di grandi dimensioni (LLM), potrebbe essere necessario trattare dati personali identificativi (PII), quali nomi, indirizzi e-mail o dati finanziari. Per proteggere i dati sensibili e garantire la conformità, consulta la guida "Anonimizzazione dei dati PII" per indicazioni su come implementare l'anonimizzazione dei dati PII nelle tue applicazioni LLM.
Risoluzione dei problemi
Informazioni sulla risoluzione dei problemi relativi a " SSL ".
SSL questioni
Se nelle tue applicazioni LLM si verifica un errore di handshake " SSL " o qualsiasi altro problema, come ad esempio il seguente errore:
Handshake failed with fatal error SSL_ERROR_SSL: error:100000f7:SSL routines:OPENSSL_internal:WRONG_VERSION_NUMBER.È necessario configurare le proprie applicazioni OTEL_EXPORTER_OTLP_INSECURE=true LLM in modo che esportino i dati all'endpoint gRPC senza utilizzare TLS.
Problemi relativi al modulo
Se module 'lib' dovessero verificarsi problemi con le tue applicazioni LLM, come ad esempio il seguente errore:
AttributeError: module 'lib' has no attribute 'X509_V_FLAG_NOTIFY_POLICY'.Installa i seguenti pacchetti OpenSSL :
pip3 install --upgrade cryptography pyopenssl