Passerelle d'IA

Vous pouvez créer des passerelles LLM vers les services LLM suivants :

• watsonx.ai (IBM Cloud)
• watsonx.ai (hébergé sur OpenShift avec Cloud Pak pour les données (version Instana 1.0.313 et suivantes))
• vLLM-compatible Services d'inférence, y compris le serveur d'inférence IA de l' Red Hat (RHAIIS) (aperçu public)

Les capacités d'IA générative sont prises en charge par les grands modèles linguistiques (LLM) suivants

• ibm-granite/granite-3.3-8b-instruct
• mistral-medium-2505
• mistralai/Mistral-Large-Instruct-2407
• openai/gpt-oss-120b (Produit non issu de la gamme « IBM »)

Voici les fonctionnalités d'IA générative prises en charge dans Instana qui peuvent être configurées pour être utilisées avec une passerelle LLM :

• Assistant d'IA
• Résumé des incidents
• Enquête sur les incidents
• Kubernetes Assistant IA
• Génération d'actions manuelles
• Génération de script
• Assistant SLO

L'autorisation utilisateur suivante est requise pour accéder à toutes les fonctionnalités de l'IA générative dans l'interface utilisateur d' Instana :

• Passerelle Access AI : permet un accès en lecture seule à l'interface utilisateur de la passerelle AI
• Créer, configurer et supprimer des passerelles LLM : permet un accès complet à l'interface utilisateur de la passerelle IA
• Accéder à toutes les fonctionnalités de l'IA générique : permet d'accéder aux fonctionnalités basées sur l'IA dans l'interface utilisateur d' Instana

Pour plus d'informations, consultez la section « Gestion des accès utilisateur ».

Pour installer et configurer une passerelle LLM, procédez comme suit.

1. Établissez une connexion.

   1. Cliquez sur « AI gateway » dans le volet de navigation. Le volet des passerelles LLM s'affiche.
   2. Cliquez sur Créer une passerelle LLM. L'assistant Créer une passerelle LLM s'affiche.
   3. Sélectionnez « Configurer une connexion ».
   4. Dans les paramètres de connexion, sélectionnez l'un des services suivants utilisé pour accéder aux passerelles LLM :
      • IBM watsonx : Si vous configurez watsonx, saisissez les informations suivantes :
        • watsonx API clé : clé d'authentification ( API ) permettant d'authentifier l'accès au service watsonx.
        • watsonx projet : nom du projet.
        • watsonx URL : L' URL pour le service watsonx.
      • vLLM : Si vous configurez un service externe de modèle linguistique virtuel de grande envergure ( vLLM-based ), saisissez les informations suivantes :
        • URL de point de terminaison : l' URL où le service vLLM est hébergé.
        • Clé d' API s du point de terminaison (facultatif) : clé d' permettant d'accéder au point de terminaison en toute sécurité.
   5. Pour vérifier la configuration, cliquez sur « Tester la connexion ».
      • Pour IBM watsonx : si la connexion échoue, vérifiez que la clé API, l'ID du projet et l'adresse URL sont corrects et valides. Un test réussi confirme que Instana peut communiquer avec le service watsonx.
      • Pour vLLM : si la connexion échoue, vérifiez que le point de terminaison URL est accessible et que la clé API est correcte. Un test réussi confirme que Instana peut communiquer avec le service vLLM.
   6. Cliquez sur Suivant.
   Remarque : la fonctionnalité d'assistant IA « Kubernetes » n'est pas prise en charge par le service vLLM.

2. Sélectionnez la capacité et le modèle d'IA.

   1. Dans la section Sélectionner la fonctionnalité et le modèle d'IA, sélectionnez l'une des fonctionnalités suivantes :
      • Assistant d'IA
      • Génération d'actions manuelles
      • Résumé des incidents
      • Enquête sur les incidents
      • Génération de script
      • Assistant SLO
   2. Sélectionnez un modèle d'IA :
      • Granite : modèle polyvalent
      • Mistral (moyen) : performances équilibrées
      • Mistral (grand format) : grande capacité pour les tâches complexes
      • Openai/gpt-oss-120b: Pour les tâches qui nécessitent des analyses et des informations pertinentes. (L'assistant SLO nécessite le modèle « openai/gpt-oss-120b »)
   3. Cliquez sur Suivant pour continuer.

3. Configurer le modèle.

   1. Définissez les paramètres suivants pour affiner le comportement du modèle :
      • Limite de jetons (en milliers) : nombre maximal de jetons par requête (par exemple, 100).
      • Latence maximale : temps de réponse maximal (par exemple, 1 seconde).
      • Pénalité pour répétition : décourage les phrases répétitives (par exemple, 1).
      • Température : contrôle le caractère aléatoire (par exemple, 0.2 à 1).
      • top_k : nombre de jetons à échantillonner (par exemple, 50).
      • top_p : seuil de probabilité cumulative (par exemple, 0.5).
   2. Cliquez sur Suivant pour continuer ou sur Précédent pour revenir en arrière.

4. Entrez les détails de la passerelle.

   1. Nom : Entrez un nom unique pour la passerelle.
   2. Description : Entrez une description pour la passerelle.

5. Cliquez sur Créer pour finaliser la configuration.

Pour afficher les passerelles LLM que vous avez configurées, cliquez sur Passerelle IA dans le volet de navigation. Le tableau des passerelles LLM s'affiche et présente toutes les passerelles configurées ainsi que leur état. Vous pouvez les activer ou les désactiver et afficher les détails de configuration.

Une fois que vous avez créé une passerelle LLM, vous pouvez tester la connexion pour vérifier qu'elle fonctionne correctement.

Pour tester une passerelle existante, procédez comme suit :

1. Dans le menu de navigation de l'interface utilisateur d' Instana, sélectionnez « Passerelle IA ».
2. Dans le tableau des passerelles LLM, cliquez sur « Tester » pour la passerelle que vous souhaitez tester. Le résultat du test indique si la connexion fonctionne correctement.