Passerelle d'IA

Instana prend en charge la connectivité à watsonx.ai ou à d’autres services LLM externes via des connexions IA, ce qui permet de mettre en œuvre des cas d’utilisation de l’IA générative. En configurant les connexions IA, vous contrôlez les connexions et les modèles de langage grand format (LLM) qui prennent en charge les fonctionnalités d'IA générative d' Instana, afin qu'elles respectent vos politiques internes, vos exigences en matière de performances et vos normes de gouvernance des données. Vous pouvez créer, surveiller, configurer et gérer toutes les connexions IA au sein de votre environnement.

Options de déploiement

SaaS

Dans les environnements « SaaS », Instana fournit des connexions IA par défaut qui se connectent automatiquement à watsonx.ai pour utiliser les modèles de langage grand format (LLM) sans configuration supplémentaire. Vous pouvez également créer une passerelle IA pour vous connecter à votre propre environnement d'exécution d' watsonx.ai.

Auto-hébergé

Dans les environnements auto-hébergés (éditions Standard ou Custom), vous pouvez vous connecter à votre propre moteur d'exécution watsonx.ai ou à un service d'inférence vLLM-based.

Activation d'un indicateur de fonctionnalité

Pour accéder aux fonctionnalités de la passerelle IA dans les environnements Instana auto-hébergés, vous devez activer le drapeau de fonctionnalité correspondant à la passerelle IA.

Pour configurer le drapeau de fonctionnalité de la passerelle IA sur Standard Edition en auto-hébergement, consultez la section « Activation des fonctionnalités optionnelles pour Standard Edition ».

Pour configurer le drapeau de fonctionnalité de la passerelle IA sur l'édition personnalisée auto-hébergée ( Kubernetes ou Red Hat OpenShift Container Platform ), consultez la section « Activation des fonctionnalités optionnelles dans l'édition personnalisée ».

Services LLM pris en charge

Vous pouvez créer des connexions IA vers les services LLM suivants :

  • watsonx.ai (IBM Cloud)
  • watsonx.ai (hébergé sur OpenShift avec Cloud Pak pour les données (version Instana : 1.0.313 et versions ultérieures))
  • vLLM-compatible services d'inférence, notamment le serveur d'inférence IA d' Red Hat (RHAIIS) (version préliminaire publique)

Modèles de langage de grande envergure (LLM) pris en charge

Les fonctionnalités d'IA générative s'appuient sur les grands modèles linguistiques (LLM) suivants.

Remarque :
Pour les déploiements d' SaaS, Instana se connecte au service régional IBM Cloud watsonx.ai situé à Dallas, aux États-Unis. Si l'utilisation des fonctionnalités d'IA vous pose problème, vous pouvez contrôler l'accès via les autorisations utilisateur ou désactiver les connexions à l'IA afin d'empêcher ces fonctionnalités de fonctionner. Pour plus d'informations, consultez la section « Fonctionnalités de l'IA générique ».

Capacités de l'IA générative

Voici les fonctionnalités d'IA générative prises en charge dans « Instana » et pouvant être configurées pour être utilisées avec une passerelle LLM :

  • Assistant d'IA
  • Résumé des incidents
  • Enquête sur les incidents
  • Kubernetes Assistant IA
  • Génération d'actions manuelles
  • Génération de script
  • Assistant SLO
  • GenAI évaluation

Pour plus d'informations sur les fonctionnalités d'IA générative prises en charge, consultez la section « Observabilité de l'IA générative ».

Gestion des droits utilisateur

L'autorisation utilisateur suivante est requise pour accéder à toutes les fonctionnalités de l'IA générative dans l'interface utilisateur d' Instana :

  • Accès à la passerelle IA : permet un accès en lecture seule à l'interface utilisateur de la passerelle IA
  • Créer, configurer et supprimer des connexions IA : permet un accès complet à l'interface utilisateur de la passerelle IA
  • Accéder à toutes les fonctionnalités de l'IA générique : permet d'accéder aux fonctionnalités basées sur l'IA dans l'interface utilisateur d' Instana

Pour plus d'informations, consultez la section « Gestion des droits d'accès des utilisateurs ».

Connexion d' Instana à une passerelle LLM

Pour installer et configurer une passerelle LLM, procédez comme suit.

  1. Établir une connexion.

    1. Cliquez sur « AI gateway » dans le volet de navigation. Le volet « Connexions IA » s'affiche.
    2. Cliquez sur « Créer une passerelle LLM ». L'assistant « Créer une passerelle LLM » s'affiche.
    3. Sélectionnez « Configurer une connexion ».
    4. Dans les paramètres de connexion, sélectionnez l'un des services suivants utilisés pour accéder aux connexions IA :
      • IBM watsonx : Si vous configurez watsonx, saisissez les informations suivantes :
        • watsonx API clé : Clé « API » permettant d'authentifier l'accès au service watsonx.
        • watsonx projet : Nom du projet.
        • watsonx URL : l' URL e du service watsonx.
      • vLLM : Si vous configurez un service externe de modèle linguistique virtuel de grande envergure ( vLLM-based, vLLM), saisissez les informations suivantes :
        • URL de l'endpoint : l' URL sur laquelle est hébergé le service vLLM.
        • Clé d' API s du point de terminaison (facultatif) : clé d' permettant d'accéder au point de terminaison en toute sécurité.
    5. Pour vérifier la configuration, cliquez sur « Tester la connexion ».
      • Pour IBM watsonx : si la connexion échoue, vérifiez que la clé API, l'ID du projet et l'adresse URL sont corrects et valides. Un test réussi confirme que Instana peut communiquer avec le service watsonx.
      • Pour vLLM : en cas d'échec de la connexion, vérifiez que le point de terminaison URL est accessible et que la clé API est correcte. Un test réussi confirme que Instana peut communiquer avec le service vLLM.
    6. Cliquez sur Suivant.

  2. Sélectionnez une fonctionnalité et un modèle d'IA.

    1. Dans la section « Sélectionner une fonctionnalité et un modèle d'IA », sélectionnez l'une des fonctionnalités suivantes :
      • Assistant d'IA
      • Génération d'actions manuelles
      • Résumé des incidents
      • Enquête sur les incidents
      • Génération de script
      • Assistant SLO
      • GenAI évaluation
    2. Sélectionnez un modèle d'IA :
      • Granite : modèle polyvalent
      • Mistral (Moyen) : performances équilibrées
      • Mistral (Grand) : grande capacité pour les tâches complexes
      • Openai/gpt-oss-120b: Pour les tâches nécessitant des analyses et des informations pertinentes. (L'assistant SLO nécessite le modèle « openai/gpt-oss-120b »)
    3. Cliquez sur Suivant pour continuer.

  3. Configurer le modèle.

    1. Définissez les paramètres suivants pour affiner le comportement du modèle :
      • Limite de jetons (en milliers) : nombre maximal de jetons par requête (par exemple, 100).
      • Latence maximale : temps de réponse maximal (par exemple, une seconde 1 ).
      • Pénalité pour répétition : décourage l'utilisation de phrases répétitives (par exemple, 1).
      • Température : contrôle le caractère aléatoire (par exemple, 0.2 à 1).
      • top_k : Nombre de tokens à échantillonner (par exemple, 50).
      • top_p : Seuil de probabilité cumulative (par exemple, 0.5).
    2. Cliquez sur « Suivant » pour continuer ou sur « Précédent » pour revenir en arrière.

  4. Saisissez les informations relatives à la passerelle.

    1. Nom : saisissez un nom unique pour la passerelle.
    2. Description : Saisissez une description pour la passerelle.

  5. Cliquez sur « Créer » pour terminer la configuration.

Afficher les connexions IA

Pour afficher les connexions IA que vous avez configurées, cliquez sur « AI Gateway » dans le volet de navigation. Le tableau « Connexions IA » s'ouvre et affiche toutes les connexions configurées ainsi que leur état. Vous pouvez activer ou désactiver chaque connexion individuellement et consulter les détails de leur configuration.

Paramètre Description
Nom Nom de la configuration de la passerelle. Chaque passerelle répond à un cas d'utilisation spécifique de l'IA générative.
Fonctionnalité Les fonctions de géné AI function s prises en charge par la passerelle (par exemple, génération de scripts, génération d'actions, synthèse des incidents).
Type Indique si la passerelle correspond à la configuration par défaut du système ou si elle a été définie par l'utilisateur.
Service utilisé Le service LLM qui alimente la passerelle (par exemple, IBM watsonx ).
Modèle d'intelligence artificielle Le modèle LLM utilisé pour l'inférence (par exemple, Granite, Mistral).
Statut Indique si la passerelle est active (Activée) ou inactive (Désactivée).
URL du point de terminaison Le point de terminaison « URL » par lequel la passerelle communique avec le service d'IA.

Activation et désactivation des passerelles

Vous pouvez activer ou désactiver les passerelles LLM afin de contrôler les fonctionnalités d'IA disponibles dans votre environnement Instana. Lorsqu'une passerelle LLM est désactivée, la fonctionnalité d'IA associée n'est plus disponible.

Pour désactiver une passerelle LLM :

  1. Dans l'interface utilisateur d' Instana, cliquez sur « AI gateway ».
  2. Dans le tableau des connexions IA, repérez la passerelle que vous souhaitez désactiver.
  3. Cliquez sur le bouton de basculement d'état pour le régler sur « Désactivé ».
Lorsqu'une passerelle LLM est désactivée, si vous essayez d'accéder à la fonctionnalité d'IA associée, le message d'erreur suivant s'affiche :
The gateway for capability {capability_name} is disabled. Contact your administrator.

Où « {capability_name} » désigne une fonctionnalité telle qu’un assistant IA, la synthèse d’incidents ou la génération de scripts.

Pour activer une passerelle LLM :

  1. Dans l'interface utilisateur d' Instana, cliquez sur « AI gateway ».
  2. Dans le tableau des connexions IA, repérez la passerelle que vous souhaitez activer.
  3. Cliquez sur le bouton de bascule d'état pour le régler sur « Activé ».

Une fois activée, la fonctionnalité d'IA est immédiatement accessible aux utilisateurs autorisés.

Test des passerelles existantes

Une fois que vous avez créé une passerelle LLM, vous pouvez tester la connexion afin de vérifier qu'elle fonctionne correctement.

Pour tester une passerelle existante, procédez comme suit :

  1. Dans le menu de navigation de l'interface utilisateur d' Instana, sélectionnez « Passerelle IA ».
  2. Dans le tableau « Connexions IA », cliquez sur « Tester » pour la passerelle que vous souhaitez tester. Le résultat du test indique si la connexion fonctionne correctement.