Monitoraggio dei modelli di " OpenAI "

Prerequisiti

Assicurati che siano soddisfatti i seguenti prerequisiti:

• Python 3.8 o versioni successive
• Una chiave OpenAI API (richiedila su OpenAI Platform )
• Un account Instana
• Panoramica sull'avvio nelle modalità con agente e senza agente

Implementazione degli strumenti di monitoraggio nell'applicazione OpenAI

1. Installa i pacchetti richiesti.

   pip install openai traceloop-sdk

2. Esporta la tua chiave di OpenAI API.

   export OPENAI_API_KEY="your-openai-api-key>"
    

3. Crea la tua applicazione OpenAI. Crea un file ` Python ` contenente il seguente codice:

   import os
   from openai import OpenAI
   from traceloop.sdk import Traceloop
   from traceloop.sdk.decorators import workflow
   
   # Initialize OpenAI client
   client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))
   
   # Initialize OpenLLMetry
   Traceloop.init(app_name="openai_chat_service", disable_batch=True)
   
   @workflow(name="openai_conversation")
   def ask_openai(question: str):
       """Send a question to OpenAI and get a response."""
   
       response = client.chat.completions.create(
           model="gpt-4o-mini",
           messages=[{"role": "user", "content": question}]
       )
   
       return response.choices[0].message.content
   
   # Example usage
   if __name__ == "__main__":
       questions = [
           "What is AIOps and how does it help with IT operations?",
           "Explain the benefits of observability in modern applications."
       ]
   
       for question in questions:
           print(f"\nQuestion: {question}")
           answer = ask_openai(question)
           print(f"Answer: {answer}\n")
           print("-" * 80)

4. Esegui la tua applicazione.

   python3 openai_app.py

   L'applicazione invierà le domande all'indirizzo OpenAI e visualizzerà le risposte. OpenLLMetry acchia automaticamente le tracce relative a ogni chiamata all' API e e le invia a Instana.

5. Visualizza i dati su Instana.

   Dopo aver eseguito l'applicazione, nella dashboard di osservabilità di Gen AI di Instana vengono visualizzati i seguenti elementi:

   • Modello utilizzato
   • Utilizzo dei token (token in entrata e in uscita)
   • Latenza di risposta
   • Contenuto della richiesta e della risposta

Utilizzo delle risposte in streaming

Per lo streaming con risposta in tempo reale, utilizzare l' API di streaming:

@workflow(name="openai_streaming")
def ask_openai_streaming(question: str):
    """Stream responses from OpenAI in real-time."""

    stream = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": question}],
        stream=True
    )

    for chunk in stream:
        if chunk.choices[0].delta.content:
            print(chunk.choices[0].delta.content, end="", flush=True)

    print()  # New line after streaming completes

Risoluzione dei problemi

Per problemi comuni, come la mancata visualizzazione delle tracce o errori di connessione, consultare la sezione Risoluzione dei problemi.

Passi successivi

• Scopri gli altri fornitori di LLM supportati da Instana
• Scopri come calcolare i costi relativi al tuo utilizzo di LLM
• Imposta degli avvisi per il tuo utilizzo di OpenAI e API
• Consulta la documentazione di OpenAI per conoscere le funzionalità del modello