Scénario : Gestion d'une solution AI RAG

Ce scénario décrit les stratégies de gouvernance d'un actif d'IA. Examinez les orientations relatives à la gestion d'une solution de génération améliorée par récupération (RAG).

Utilisez ce scénario pour apprendre comment vous pouvez utiliser les composants de watsonx.governance pour obtenir une solution intégrée qui relie le développement des actifs au contrôle des performances et aux objectifs de conformité.

Dans ce scénario, votre équipe prévoit d'héberger une application de questions-réponses fondée sur un ensemble de documents sélectionnés. Dans ce cas, l'application prend en charge les questions et réponses relatives à un article sur l'histoire des ascenseurs. Passez en revue les étapes de l'utilisation des fonctionnalités de watsonx.governance, y compris la console de gouvernance, les fiches d'information sur l'IA et les évaluations pour contrôler et suivre cette application, de la demande à la production. Des liens vers la documentation connexe vous permettent d'obtenir des instructions sur la manière d'effectuer les tâches décrites dans le scénario.

Aperçu du scénario

Ce scénario décrit ces étapes de haut niveau :

Mise en place d'un cas d'utilisation à partir de la console de gouvernance.
Faire passer le cas d'utilisation par un processus d'approbation automatisé.
Réaliser une évaluation des risques pour l'application proposée.
Réaliser une évaluation pour déterminer si l'application doit être conforme à la loi européenne sur l'IA.
Synchronisation des données de l'application avec les AI Factsheets.
Évaluation de la qualité des réponses générées pour l'application de questions et réponses.
Analyser et examiner les transactions afin d'expliquer les réponses.

Ce scénario repose sur les hypothèses suivantes :

Watsonx.governance est installé et la console de gouvernance est configurée.
L'application de questions et réponses est disponible en tant que modèle externe. Dans ce scénario, il est créé avec Azure OpenAI.
Un notebook enregistre le modèle avec watsonx.ai et stocke le modèle d'invite détachée dans un projet Watson Studio.

Note: Le suivi des actifs de l'IA, en particulier à l'aide de la console de gouvernance, est hautement personnalisable. Votre organisation peut planifier et mettre en œuvre une approche de la gouvernance qui réponde à ses besoins. Ce scénario décrit une approche de la gouvernance.

Gouverner un cas d'utilisation à partir de la console de gouvernance

Visualiser l'activité de gouvernance à partir de la console de gouvernance. La console est hautement personnalisable, mais cette vue fournit une vue typique d'un tableau de bord pour le suivi des cas d'utilisation et de l'activité de gouvernance associée. Voir Gestion du risque et de la conformité avec la console de gouvernance dans IBM watsonx.
Le cas d'utilisation de l'assistant de questions-réponses pour l'ascenseur fournit des détails, notamment une description du problème commercial, de la partie demandant une solution et de l'objectif de la solution. Le cas d'utilisation contient tous les détails des activités liées au suivi d'un actif d'IA pour répondre au problème de l'entreprise. Voir Créer des cas d'utilisation avec la console de gouvernance.
L'une des principales caractéristiques de la création de cas d'utilisation dans la console de gouvernance est que vous pouvez configurer des flux de travail automatisés pour réguler les activités des cycles de vie de l'IA. Le flux de travail le plus courant est un flux d'approbation qui invite les parties prenantes à examiner et à approuver la solution proposée. Après avoir défini les informations de base du cas d'utilisation, y compris les détails des objectifs de la solution d'IA demandée, le cas d'utilisation est envoyé au premier approbateur pour examen. Voir Examen des cas d'utilisation.
Le processus d'approbation peut nécessiter des approbateurs supplémentaires. Lorsque le processus d'approbation est satisfait, le processus passe à l'étape suivante.
Dans ce cas, la politique de gouvernance exige que l'on remplisse un questionnaire d'évaluation des risques afin de déterminer le niveau de risque de l'application de questions-réponses. L'évaluation des risques renvoie aux risques définis dans l'atlas des risques de l'IA, un répertoire des risques potentiels et des suggestions pour atténuer les risques associés à l'IA. Voir Atlas des risques de l'IA.
Une fois le questionnaire d'évaluation des risques rempli, un niveau de risque est attribué au cas d'utilisation. Le niveau de risque peut conduire à un plan d'atténuation des risques qui peut être ajouté au cas d'utilisation. Voir Compléter une évaluation des risques.
Dans ce cas, l'étape suivante consiste à remplir un autre questionnaire pour déterminer si le cas d'utilisation nécessite des mesures supplémentaires pour se conformer à la loi européenne sur l'IA. Si l'application nécessite des étapes supplémentaires pour la mise en conformité, le plan peut être ajouté au cas d'utilisation. Voir Compléter une évaluation de l'applicabilité.
La réalisation des évaluations déclenche le processus d'approbation suivant, de sorte que les équipes juridiques et de conformité peuvent examiner le cas d'utilisation. Une fois approuvé, le cas d'utilisation est prêt à être développé. Pour passer à l'environnement de développement, cliquez sur le lien Tiers. Cela ouvre la fiche d'information sur l'IA pour le cas d'utilisation dans Watson Studio. Les faits relatifs au suivi des actifs d'IA sont synchronisés entre le cas d'utilisation de l'IA dans Watson Studio et le cas d'utilisation de la console de gouvernance.
Dans l'onglet Cycle de vie, vous pouvez examiner une approche pour le suivi d'un modèle d'invite détaché pour le modèle à distance. Une approche est une partie d'une solution au problème de l'entreprise défini dans le cas d'utilisation. Un modèle d'invite est une invite réutilisable pour un modèle génératif d'IA comportant au moins une variable. Dans ce scénario, le modèle d'invite est détaché, ce qui signifie que l'inférence est effectuée sur le modèle distant, mais que les résultats peuvent être évalués avec les outils watsonx.governance. Voir Mise en place d'un cas d'utilisation de l'IA.
Examinez le déploiement détaché d'un modèle Azure OpenAI qui générera des réponses aux questions sur l'article d'ascenseur. Les métriques fournissent des informations détaillées sur l'actif évalué. Dans le cas d'un modèle de questions-réponses, les métriques peuvent répondre à la qualité et tester la présence de contenu personnel ou abusif. Voir Tracking prompt templates.
Vous pouvez ouvrir le modèle d'invite dans un projet pour effectuer de nouvelles évaluations. Dans ce cas, l'inférence est effectuée directement avec le modèle à distance, mais les détails de l'évaluation pour l'entrée et la sortie du modèle sont saisis dans la fiche d'information. Lorsque vous configurez une évaluation, vous définissez des seuils acceptables pour les paramètres afin d'évaluer les performances du modèle d'invite. Voir Évaluations génératives de la qualité de l'IA.
Analyser les transactions pour mieux comprendre comment la réponse a été générée. Par exemple, examinez la pertinence des réponses pour savoir comment elles ont été générées. L'analyse des transactions contribue à une meilleure compréhension et à une plus grande transparence pour une solution d'IA. Voir Revoir les transactions du modèle.