Migration depuis le collecteur de données d' OTel

Modifier en ligne

Le collecteur de données « OTel » pour l'IA générative (ODCG) est obsolète. Instana a simplifié la mise en place de l'observabilité de l'IA générative en supprimant la nécessité d'un composant de collecte de données distinct. Vous pouvez migrer votre configuration actuelle.

Remarque : cette procédure s'applique uniquement si vous utilisez ODCG. Si vous êtes un nouvel utilisateur d' Instana, consultez la section « Pour commencer ».

Pourquoi ODCG est obsolète

Instana permet désormais d'envoyer les données de télémétrie des applications d'IA générative directement à Instana sans avoir besoin d'un composant de collecte de données distinct. Cette simplification permet de réduire la complexité, de faciliter la configuration, de gérer les tarifs directement depuis l'interface utilisateur d' Instana, et de réduire les coûts d'infrastructure, car aucune ressource ne doit être allouée à ODCG.

Procédure

Si vous utilisez actuellement ODCG, suivez les étapes suivantes pour passer à la nouvelle approche d'intégration directe :

  1. Comparez l'ancienne et la nouvelle architecture :
    • Ancienne méthode (obsolète) :
      Generative AI App → OTel Data Collector (ODCG) → Instana Agent/Backend → Instana
    • Nouvelle approche :
      Generative AI App → Instana Agent/Backend → Instana
  2. Mettez à jour la configuration de votre application

    Le principal changement consiste à ajouter l'attribut INSTANA_PLUGIN=genai « resource » et à supprimer le point de terminaison « metrics » distinct.

    • Pour le mode agent (envoi de données via un agent d' Instana )
      L'ancienne configuration est illustrée dans l'exemple suivant.
      export TRACELOOP_BASE_URL=<instana-agent-host>:4317
export TRACELOOP_HEADERS="x-instana-key=<agent-key>,x-instana-host=<host>"
export TRACELOOP_METRICS_ENDPOINT=<odcg-host>:8000
export TRACELOOP_METRICS_ENABLED=trueexport TRACELOOP_LOGGING_ENABLED=true
export OTEL_EXPORTER_OTLP_INSECURE=true
      La nouvelle configuration est illustrée dans l'exemple suivant.
      export OTEL_RESOURCE_ATTRIBUTES="INSTANA_PLUGIN=genai"
export TRACELOOP_BASE_URL=<instana-agent-host>:4317
export TRACELOOP_HEADERS="x-instana-key=<agent-key>,x-instana-host=<host>"
export TRACELOOP_METRICS_ENABLED=trueexport TRACELOOP_LOGGING_ENABLED=true
export OTEL_EXPORTER_OTLP_INSECURE=true
      Les éléments suivants ont été modifiés.

      • OTEL_RESOURCE_ATTRIBUTES="INSTANA_PLUGIN=genai" est ajouté pour traiter vos données sous forme de télémétrie d'IA générative

      • TRACELOOP_METRICS_ENDPOINT est supprimé afin que les métriques transitent par le même point de terminaison que les traces

    • Pour le mode sans agent (envoi direct des données au serveur d' Instana )

      L'ancienne configuration est illustrée dans l'exemple suivant.
      export TRACELOOP_BASE_URL=<instana-otlp-endpoint>:4317 
export TRACELOOP_HEADERS="x-instana-key=<agent-key>,x-instana-host=<host>" 
export TRACELOOP_METRICS_ENDPOINT=<odcg-host>:8000 
export TRACELOOP_METRICS_ENABLED=true export TRACELOOP_LOGGING_ENABLED=true 
export OTEL_EXPORTER_OTLP_INSECURE=false
      La nouvelle configuration est illustrée dans l'exemple suivant.
      export OTEL_RESOURCE_ATTRIBUTES="INSTANA_PLUGIN=genai" 
export TRACELOOP_BASE_URL=<instana-otlp-endpoint>:4317 
export TRACELOOP_HEADERS="x-instana-key=<agent-key>,x-instana-host=<host>" 
export TRACELOOP_METRICS_ENABLED=true export TRACELOOP_LOGGING_ENABLED=true 
export OTEL_EXPORTER_OTLP_INSECURE=false
      Les éléments suivants ont été modifiés.

      • OTEL_RESOURCE_ATTRIBUTES="INSTANA_PLUGIN=genai" est ajouté pour traiter vos données sous forme de télémétrie d'IA générative.

      • TRACELOOP_METRICS_ENDPOINT est supprimé afin que les métriques transitent par le même point de terminaison que les traces

  3. Migrer votre configuration tarifaire. La gestion des tarifs des modèles s'effectue via l'interface utilisateur d' Instana, et non via un fichier de configuration.

    1. Recherchez votre configuration tarifaire actuelle.

      Si l'outil de collecte de données d' OTel est utilisé, un prices.properties fichier similaire à l'exemple suivant s'affiche.

      openai.gpt-4.input=0.03 
openai.gpt-4.output=0.06 
openai.gpt-3.5-turbo.input=0.0015 
openai.gpt-3.5-turbo.output=0.002 
anthropic.claude-2.input=0.008 
anthropic.claude-2.output=0.024

    2. Configurez les tarifs dans l'interface utilisateur d' Instana.

      1. Connectez-vous à l'interface utilisateur d' Instana.
      2. Accédez au tableau de bord d'observabilité d' GenAI.
      3. Cliquez sur l'onglet « Configuration ». Une liste prédéfinie de modèles LLM courants, accompagnée de leurs tarifs par défaut, s'affiche.
      4. Mettre à jour les prix d'un modèle existant :
        1. Recherchez le modèle dans la liste.
        2. Cliquez sur le nom du modèle, puis sur Modifier
        3. Mettre à jour les prix des jetons d'entrée et de sortie.
        4. Cliquez sur Sauvegarder.
      5. Ajouter un nouveau modèle :
        1. Cliquez sur « Ajouter un modèle de tarification ».
        2. Indiquez le fournisseur (par exemple, « openai », « anthropic »).
        3. Saisissez l'identifiant du modèle (par exemple, « gpt-4 », « claude-2 »).
        4. Accédez à la plateforme pour définir les tarifs spécifiques à celle-ci.
        5. Saisissez les noms des jetons d'entrée et de sortie (par exemple, « bedrock », « langchain »).
        6. Cliquez sur Ajouter.
        Figure 1. IA générative - Modèles de langage à grande échelle (LLM) - Tarification - Configuration
        IA générative - Modèles de langage à grande échelle (LLM) - Tarification - Configuration

        Avantages de la tarification via un tableau de bord :

        • Les modifications prennent effet immédiatement – aucun redéploiement n'est nécessaire
        • Facile à mettre à jour en cas de modification des tarifs
        • Une gestion centralisée de toutes vos applications d'IA générative
        • Historique des modifications de prix
        Remarque :

        Les indicateurs de coûts n'apparaîtront dans vos tableaux de bord qu'une fois que vous aurez configuré la tarification. D'autres indicateurs (latence, nombre de jetons, taux d'erreur) sont visibles quelle que soit la configuration tarifaire.

  4. Une fois la configuration mise à jour, redémarrez votre application d'IA générative pour que les modifications prennent effet.

    • Pour les déploiements d' Kubernetes :
      kubectl rollout restart deployment/<your-app-deployment> -n <your-namespace>
    • Pour les déploiements d' Red Hat OpenShift :
      oc rollout restart deployment/<your-app-deployment> -n <your-namespace>

    • Pour les applications autonomes :

      Vérifiez que les données circulent correctement. Après avoir redémarré votre application, vérifiez que Instana reçoit bien les données :

      1. Vérifier les traces :
        1. Go vers le tableau de bord d'observabilité d' GenAI, disponible à l'adresse Instana.
        2. Vérifiez que de nouvelles traces apparaissent pour votre application.
        3. Vérifiez que les traces indiquent les appels LLM, le nombre de tokens et les informations relatives à la latence.
      2. Vérifier les indicateurs :

        1. Dans le tableau de bord d'observabilité d' GenAI, accédez à la vue des métriques.

          Vérifiez si des indicateurs apparaissent pour l'utilisation des jetons (entrée et sortie), la latence et les coûts (si la tarification est configurée).

      3. Consultez les journaux :

        • Si la journalisation est activée, vérifiez que les journaux sont bien enregistrés.
        • Recherchez tout message d'erreur lié à OpenTelemetry ou à Traceloop.

      4. Consulter les journaux d'application :

        • Vérifiez les journaux de votre application pour voir s'il y a des erreurs d' OpenTelemetry.
        • Recherchez les messages indiquant que la connexion au point de terminaison Instana a été établie avec succès.

      5. Facultatif : désinstallez le collecteur de données « OTel ».

Une fois que vous vous êtes assuré que les données circulent correctement avec la nouvelle configuration, vous pouvez supprimer en toute sécurité le déploiement du collecteur de données « OTel ».

Traitement des incidents

Pour les problèmes courants liés à la migration, tels que l'absence d'affichage des données, l'absence d'affichage des indicateurs de coûts ou les problèmes de connexion, consultez la section Dépannage.

La connexion à l'ancien point de terminaison ODCG est toujours en cours

Problème : l'application tente toujours de se connecter au collecteur de données OTel après la migration.

Pour résoudre ce problème, procédez comme suit :

  1. Vérifiez si vous avez supprimé TRACELOOP_METRICS_ENDPOINT de votre configuration.
  2. Vérifiez les variables d'environnement définies à différents niveaux (conteneur, déploiement, ConfigMap ).
  3. Redémarrez votre application après avoir supprimé la variable.

Etapes suivantes

Une fois la migration terminée, vous pouvez effectuer les tâches suivantes :

  • Découvrez le tableau de bord d'observabilité d' GenAI :

    • Consulter les traces pour comprendre les schémas d'interaction des modèles de langage de grande envergure
    • Analyser les indicateurs pour identifier les goulots d'étranglement au niveau des performances
    • Surveillez vos coûts pour optimiser votre utilisation du LLM

  • Configurer des alertes :

    • Configurer des alertes en cas de latence élevée
    • Configurer les notifications de seuil de coûts
    • Surveiller les taux d'erreur

  • Optimisez votre configuration :

    • Réviser et ajuster les tarifs si nécessaire
    • Affinez la configuration de vos instruments Traceloop
    • Découvrez des fonctionnalités avancées telles que les attributs personnalisés

  • Effectuez des opérations de nettoyage :

    • Supprimez le déploiement du collecteur de données « OTel » si ce n'est pas déjà fait
    • Mettez à jour votre documentation afin qu'elle reflète la nouvelle configuration
    • Partagez cette configuration simplifiée avec votre équipe