Suivi des modèles d'invite

Suivez un modèle d'invite dans un cas d'utilisation d'IA pour capturer et partager des faits sur l'actif afin de vous aider à atteindre les objectifs de gouvernance et de conformité.

Suivi des modèles d'invite

Un modèle d'invite est l'entrée d'invite enregistrée pour un modèle de base. Un modèle d'invite peut inclure des variables afin qu'il puisse être exécuté avec différentes options. Par exemple, si vous avez une invite qui récapitule les notes de réunion pour project-X, vous pouvez définir une variable de sorte que la même invite puisse s'exécuter pour project-Y.

Vous pouvez ajouter un modèle d'invite sauvegardé à un cas d'utilisation d'IA pour suivre les détails du modèle d'invite. En plus d'enregistrer des détails sur les informations de création de modèle d'invite et les détails de modèle source, la fiche d'information suit les informations des évaluations de modèle d'invite pour capturer les métriques de performance. Vous pouvez évaluer les modèles d'invite avant ou après avoir commencé le suivi d'un modèle d'invite.

Important: Avant de commencer à suivre un modèle d'invite dans un cas d'utilisation d'IA, assurez-vous que le modèle d'invite est stable. Une fois le suivi activé, le modèle d'invite est verrouillé et vous ne pouvez plus le mettre à jour. Il s'agit de préserver l'intégrité du modèle d'invite afin que tous les faits collectés dans la fiche d'information s'appliquent à une seule version du modèle d'invite. Si vous testez toujours un modèle d'invite, ne commencez pas à le suivre dans un cas d'utilisation d'IA.

Avant de commencer

Avant de pouvoir effectuer le suivi d'un modèle d'invite, ces conditions doivent être remplies.

Vous devez être administrateur ou éditeur du projet ou de l'espace de déploiement contenant le modèle d'invite.
Le modèle d'invite doit inclure au moins une variable. Pour plus d'informations, voir Génération d'invites réutilisables.

Remarque : les modèles de messages qui utilisent le chat comme source d'entrée ne nécessitent aucune variable.

Regardez cette vidéo pour voir comment suivre un modèle d'invite dans un cas d'utilisation d'IA. La vidéo commence sur l'écran d'accueil d' watsonx. L'utilisateur sélectionne « Demander ou suivre des modèles » dans les cas d'utilisation de l'IA, puis sélectionne « Nouveau cas d'utilisation de l'IA ».

Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.

Suivi d'un modèle d'invite dans un cas d'utilisation d'IA

Vous pouvez ajouter un modèle de prompt à un cas d'utilisation de l'IA à partir d'un projet ou d'un espace de déploiement.

Ouvrez l'espace de projet ou de déploiement contenant le modèle d'invite que vous souhaitez gérer.
Dans le menu d'actions de la ressource, cliquez sur « Suivre dans un cas d'utilisation de l'IA ».

Lorsque vous commencez à suivre un modèle de prompt, celui-ci est verrouillé et vous ne pouvez plus le modifier. Pour apporter des modifications, vous devez créer un nouveau modèle de message.
Choisissez une approche existante ou créez une nouvelle approche. Une approche représente une facette d'une solution complète. Chaque approche crée un ensemble de versions pour tous les actifs de la même approche.
Choisissez un schéma de numérotation de version. Tous les actifs d'une approche partagent une version commune. Choisissez l'une des options suivantes:
- Expérimental si vous prévoyez de procéder à des mises à jour fréquentes.
- Stable si les actifs ne changent pas rapidement.
- Personnalisé si vous souhaitez démarrer un nouveau numéro de version. La numérotation des versions doit suivre un schéma de major.minor.patch.

Lorsque le suivi est activé, tous les collaborateurs du cas d'utilisation peuvent réviser les détails du modèle d'invite.

Les détails sont capturés pour chaque étape de cycle de vie d'un modèle d'invite.

Développement fournit des informations sur la façon dont l'invite est définie, y compris l'invite elle-même, la date de création, le modèle de base utilisé, les paramètres d'invite définis et les variables définies.
« Valider » affiche les indicateurs de dimension issus de l'évaluation de votre modèle de prompt.
Opérer fournit des détails sur la manière dont le modèle d'invite est déployé pour une utilisation en production.

Affichage du cycle de vie d'un modèle d'invite suivi dans un cas d'utilisation d'IA

Exigences relatives aux modèles de messages de suivi

Veuillez tenir compte de ces exigences pour la gestion des modèles de messages de gouvernance depuis l'interface utilisateur.

Vous ne pouvez créer des déploiements de modèles d'invite que s'ils font référence à des déploiements de modèles situés dans le même projet ou espace que celui où vous avez créé le déploiement de modèle. Si vous publiez un modèle qui fait référence à un modèle déployé dans un espace, une copie de ce modèle est automatiquement ajoutée à l'espace. Vous devez déployer le modèle dans l'espace avant de déployer le modèle de prompt.
Si vous exportez un modèle de prompt qui fait référence à un modèle déployé, le fichier du modèle associé est automatiquement exporté avec le modèle de prompt. Lorsque vous importez le modèle dans un nouveau conteneur, le modèle est également importé. Le modèle doit être déployé dans le nouveau conteneur avant de déployer le modèle de prompt.

Affichage de la fiche technique pour un modèle d'invite suivi

Cliquez sur le nom du modèle d'invite dans un cas d'utilisation d'IA pour afficher la feuille de factsheet associée.

Affichage de la fiche technique pour un modèle d'invite suivi

La fiche technique d'un modèle d'invite collecte ce type de données:

Governance collecte des informations de base telles que le nom du cas d'utilisation de l'intelligence artificielle, la description, ainsi que le nom de l'approche et les données de version.
Modèle de base affiche le nom du modèle de base, l'ID de licence et l'éditeur de modèle.
Le modèle d'invite affiche le nom de l'invite, l'ID, la saisie de l'invite et les variables.
Les paramètres d'invite collectent les options de configuration du modèle d'invite, y compris la méthode de décodage et les critères d'arrêt.
La section « Résultats des tests » affiche les données issues de l'évaluation du modèle de prompt, y compris les alertes et les indicateurs. À titre d'exemple, cette fiche d'information présente les résultats des indicateurs de qualité de l'IA générative pour la phase de développement. L'évaluation a déclenché quatorze alertes de seuil :
La section « Détails supplémentaires » fournit des informations complémentaires sur le modèle de message.
Pièces jointes affiche des informations sur les pièces jointes qui prennent en charge le cas d'utilisation.

Remarque: Au fur et à mesure que le modèle d'invite passe d'une étape du cycle de vie à la suivante, des faits sont ajoutés à la fiche d'information du modèle d'invite. La fiche d'information représente toujours l'état le plus récent du modèle d'invite. Par exemple, si vous validez un modèle d'invite dans un espace de déploiement de préproduction, puis de nouveau dans un espace de déploiement de production, les détails de la phase de production sont enregistrés dans la fiche technique, écrasant les résultats de l'évaluation précédente.

Déplacement d'un modèle d'invite à travers des étapes de cycle de vie

Lorsqu'un modèle d'invite est suivi, vous pouvez voir les détails de la création du modèle d'invite et de l'évaluation des performances par rapport aux indicateurs appropriés. L'étape suivante du cycle de vie consiste à _valider le modèle d'invite. Cela implique de tester le modèle d'invite avec de nouvelles données. Si vous êtes l'ingénieur des invites chargé de la validation de l'actif, procédez comme suit pour valider le modèle d'invite et capturer les données de validation dans la feuille de données associée.

À partir du projet contenant le modèle de prompt, exportez le projet dans un fichier ZIP compressé.
Créez un nouveau projet et remplissez-le avec le fichier ZIP exporté.
Téléchargez les données de validation, évaluez le modèle d'invite et sauvegardez les résultats dans le projet de validation.
A partir du projet, promouvez le modèle d'invite dans un espace de déploiement nouveau ou existant désigné comme étape Production . L'étape est affectée lorsque l'espace est créé et ne peut pas être mise à jour. Par conséquent, créez un nouvel espace si vous ne disposez pas d'espace de production disponible.
Après avoir fait la promotion du modèle d'invite dans un espace de déploiement, vous pouvez configurer la surveillance continue.
Les détails de la surveillance du modèle d'invite dans un espace de production sont affichés dans la phase de cycle de vie Operate du cas d'utilisation de l'IA.

Suivi des modèles d'invite détachés à partir de modèles de grande langue hébergés en externe

Dans le cadre de votre processus de gouvernance, vous pouvez suivre les modèles d'invite pour les modèles d'IA générative qui ne sont pas créés ou hébergés par IBM. Par exemple, vous pouvez évaluer un modèle d'invite pour un modèle Google Vertex AI et un modèle Azure OpenAI ou un modèle AWS Bedrock. Pour savoir comment créer un modèle d'invite détaché pour un modèle hébergé en externe et l'enregistrer dans un projet ou un espace, voir Evaluation des modèles d'invite pour les modèles de base nonIBM.

Pour explorer les résultats d'évaluation, vous pouvez créer un déploiement détaché dans un espace de déploiement pour vous connecter au modèle d'invite distant, puis évaluer le modèle d'invite détaché avec des dimensions pour le type de tâche. Pour plus d'informations, voir Création d'un déploiement détaché pour une invite externe.

Une fois le modèle d'invite sauvegardé dans un produit ou un espace, vous le suivez dans un cas d'utilisation de la même manière que vous suivez un modèle d'invite à partir d'un modèle de base watsonx.ai .

Cet exemple montre un modèle d'invite détaché qui fait l'objet d'un suivi dans un cas d'utilisation d'IA.

Modèle d'invite détaché suivi dans un cas d'utilisation d'IA

L'affichage de la fiche technique pour les modèles d'invite détachés affiche des informations sur l'emplacement où le modèle source est hébergé.

Affichage des informations de modèle pour un modèle d'invite détaché

En savoir plus

Suivez le tutoriel Démarrage rapide: Evaluer et suivre un modèle d'invite pour évaluer et suivre un exemple de modèle d'invite.
Voir Déploiement d'un modèle d'invite pour plus de détails sur la préparation d'un modèle d'invite pour la production.
Voir Evaluation des modèles d'invite pour plus de détails sur l'évaluation d'un modèle d'invite pour des dimensions telles que l'exactitude ou pour tester la présence de discours haineux ou abusifs.