Monitoraggio dei modelli DeepSeek

Prerequisiti

Assicurati che siano soddisfatti i seguenti prerequisiti:

• Python 3.8 o successivamente
• Una chiave Groq API (i modelli DeepSeek sono disponibili tramite Groq)
• Un account backend Instana con osservabilità Generative AI abilitata
• Panoramica sulle modalità con agente e senza agente

Strumentazione dell'applicazione DeepSeek

1. Installa i pacchetti richiesti.

   pip install groq traceloop-sdk

2. Esporta la tua chiave Groq API.

   export GROQ_API_KEY="<your-groq-api-key>"

3. Crea la tua applicazione DeepSeek. Crea un file Python con il seguente codice:

   from traceloop.sdk import Traceloop
   from traceloop.sdk.decorators import workflow
   from groq import Groq
   # Initialize OpenLLMetry
   Traceloop.init(app_name="deepseek_app", disable_batch=True)
   # Initialize Groq client
   client = Groq()
   @workflow(name="deepseek_conversation")
   def ask_deepseek(question: str):
       """Send a question to DeepSeek and get a response."""
   
       response = client.chat.completions.create(
           messages=[{"role": "user", "content": question}],
           model="deepseek-r1-distill-llama-70b", 
       )
   
       # Remove thinking tags from response
       result = (
           response.choices[0] 
           .message.content.replace("<think>", "")
           .replace("</think>", "") 
       ) 
   
       return result.strip()
   
   # Example usage
   if __name__ == "__main__":
       questions = [
           "How does transfer learning improve AI model performance?", 
           "What are the challenges in scaling LLMs for enterprise use?"    
       ]
   
       for question in questions:
           print(f"\nQuestion: {question}")
           answer = ask_deepseek(question)
           print(f"Answer: {answer}\n")
           print("-" * 80)
    

   Nota:

   DeepSeek I modelli sono accessibili tramite l' API di Groq. Il modello `deepseek-r1-distill-llama-70b` include token di ragionamento racchiusi in tag `<think>`, che nell'esempio sono stati rimossi.

4. Esegui l'applicazione DeepSeek.

   python3 deepseek_app.py

   L'applicazione invierà le domande a DeepSeek e visualizzerà le risposte. OpenLLMetry acquisisce automaticamente le tracce per ogni chiamata API e le invia a Instana.

5. Visualizza i dati su Instana.

   Dopo aver eseguito l'applicazione, nella dashboard di osservabilità di Gen AI di Instana vengono visualizzati i seguenti elementi:

   • Modello utilizzato
   • Utilizzo dei token (token di input e output)
   • Latenza di risposta
   • Contenuto della richiesta e della risposta

Risoluzione dei problemi

Per problemi comuni quali tracce non visualizzate o errori di connessione, consultare la sezione Risoluzione dei problemi.

Errori di autenticazione

Se si verificano errori di autenticazione:

1. Verifica che il tuo GROQ_API_KEY sia impostato correttamente
2. Verifica se la tua chiave API è valida su Groq Console
3. Assicurati che la tua chiave API non sia scaduta o revocata

Errori di limitazione della velocità

Se si verificano errori relativi al limite di velocità:

1. Controlla i limiti di velocità del tuo account Groq
2. Aggiungere ritardi tra le richieste se si effettuano più chiamate
3. Valuta la possibilità di passare a un piano Groq superiore per ottenere limiti più elevati
4. Implementare il backoff esponenziale per i tentativi di ripetizione

Errori di modello non trovato

Se si verificano errori relativi al modello non trovato:

1. Verificare che il nome del modello sia corretto (ad esempio, deepseek-r1-distill-llama-70b)
2. Verifica se il modello è disponibile all'indirizzo Groq3.
3. Per i modelli dell' DeepSeek, vedere groq

   Modelli supportati

Passi successivi

• Esplora i modelli LLM di monitoraggio dei fornitori di modelli supportati da Instana
• Scopri i costi relativi all'utilizzo di LLM
• Imposta avvisi per l'utilizzo di DeepSeek API
• Consultare la documentazione di DeepSeek per le funzionalità del modello