Monitoraggio di Groq

Modifica online

Groq offre inferenza AI grazie a un'architettura LPU (Language Processing Unit) esclusiva, ottimizzata per garantire prestazioni con una latenza eccezionalmente bassa. Questa guida illustra come strumentare un'applicazione utilizzando i modelli Groq con l' OpenLLMetry, al fine di inviare dati di telemetria a Instana.

Prerequisiti

Assicurati che siano soddisfatti i seguenti prerequisiti:

  • Python 3.8 o versioni successive
  • Una chiave dell' API e di Groq (richiedila dalla console di Groq )
  • Un account Instana

  • Panoramica sulle modalità con agente e senza agente

Implementazione della strumentazione nell'applicazione Groq

  1. Installa i pacchetti richiesti.

    pip install groq traceloop-sdk
  2. Esporta la tua chiave di Groq API.
    export GROQ_API_KEY="<your-groq-api-key>"

  3. Crea la tua applicazione Groq. Crea un file ` Python ` contenente il seguente codice:

    import os
from groq import Groq
from traceloop.sdk import Traceloop
from traceloop.sdk.decorators import workflow

# Initialize Groq client
client = Groq(api_key=os.getenv("GROQ_API_KEY"))

# Initialize OpenLLMetry
Traceloop.init(app_name="groq_chat_service", disable_batch=True)

@workflow(name="groq_conversation")
def ask_groq(question: str):
    """Send a question to Groq and get a response."""

    response = client.chat.completions.create(
        max_tokens=512,
        messages=[
            {"role": "user", "content": question}
        ],
        model="llama-3.3-70b-versatile",
    )

    return response.choices[0].message.content

# Example usage
if __name__ == "__main__":
    questions = [
        "What is AIOps and how does it help with IT operations?",
        "Explain the benefits of observability in modern applications."
    ]

    for question in questions:
        print(f"\nQuestion: {question}")
        answer = ask_groq(question)
        print(f"Answer: {answer}\n")
        print("-" * 80)

  4. Esegui la tua applicazione.

    python3 groq_app.py

    L'applicazione invierà le domande a Groq e visualizzerà le risposte. OpenLLMetry acquisisce automaticamente le tracce per ogni chiamata all' API e e le invia a Instana.

  5. Visualizza i dati su Instana.

    Dopo aver eseguito l'applicazione, nella dashboard di osservabilità di Gen AI di Instana vengono visualizzati i seguenti elementi:

    • Modello utilizzato
    • Utilizzo dei token (token in entrata e in uscita)
    • Latenza di risposta
    • Contenuto della richiesta e della risposta

Risoluzione dei problemi

Per problemi comuni, come la mancata visualizzazione delle tracce o errori di connessione, consultare la sezione Risoluzione dei problemi.

Errori di autenticazione

Se si verificano errori di autenticazione:

  1. Verifica che GROQ_API_KEY sia impostato correttamente
  2. Verifica se la tua chiave API è valida nella console Groq
  3. Assicurati che la tua chiave API non sia scaduta o revocata

Errori di limitazione della velocità

Se si verificano errori relativi al limite di richieste:

  1. Controlla i limiti di frequenza del tuo account Groq
  2. Se si effettuano più chiamate, inserire dei ritardi tra una richiesta e l'altra
  3. Ti consigliamo di passare a un piano Groq superiore per usufruire di limiti più elevati
  4. Implementare il backoff esponenziale per i tentativi di riconnessione

Errori relativi a modelli non trovati

Se ricevi messaggi di errore del tipo "Modello non trovato":

  1. Verificare che il nome del modello sia corretto (ad esempio, llama-3.3-70b-versatile)
  2. Verifica se il modello è disponibile su Groq
  3. Per conoscere i modelli disponibili, consultare la documentazione sui modelli di Groq

Passi successivi