IBM améliore les capacités de watsonx.governance avec le nouveau Model Risk Evaluation Engine

Nous sommes ravis d’annoncer le moteur d’évaluation des risques liés aux modèles, un nouvel outil de watsonx.governance qui permet de mesurer les risques des modèles de fondation en calculant les indicateurs liés aux dimensions de risque à partir de l’Atlas des risques de l’IA. Dans le cadre d’un processus complet d’intégration des modèles, il permet de comparer les indicateurs de risque sur différents modèles de fondation, ce qui vous aide à identifier ceux qui conviennent le mieux au déploiement au sein de votre entreprise, en fonction de sa tolérance au risque.

Alors que les entreprises continuent d’étendre leurs déploiements d’IA générative, il est de plus en plus important pour elles de développer une meilleure compréhension des risques associés aux modèles de base sous-jacents, notamment l’injection de prompts, les productions toxiques, le débridage et les hallucinations.

Les organisations ont un large éventail de choix lorsqu’il s’agit de sélectionner les modèles d’IA à utiliser dans leur entreprise. Prendre une décision éclairée permet d’éviter les situations où les modèles génératifs sont peu performants (par exemple, un chatbot « malhonnête » donnant des conseils incorrects ou préjudiciables aux clients). Ces situations peuvent avoir un impact considérable sur la réputation d’une entreprise et il peut être difficile pour elle de s’en remettre. Par conséquent, le processus d’intégration d’un modèle d’entreprise devrait comporter des données quantitatives objectives sur les risques afin d’éviter ce type de situation.

Le processus d’intégration des modèles d’IA comporte 3 étapes :

1. Comprendre les risques généraux liés à l’IA générative.
2. Identifier les risques applicables à un modèle IA particulier (ou à un cas d’utilisation).
3. Évaluer les risques identifiés.

L’intégration d’une bibliothèque de risques est la première étape pour comprendre quels risques peuvent être applicables. L’Atlas des risques de l’IA d’IBM est une excellente ressource pour comprendre les risques associés à l’utilisation des modèles d’IA générative et de machine learning. Les risques sont également intégrés directement dans la console de gouvernance de watsonx.governance et sont disponibles dès le départ. La bibliothèque de risques peut également être complétée par le propre stock de risques de l’entreprise si elle le souhaite. Les risques peuvent être liés aux cas d’utilisation de l’IA et aux modèles en utilisant l’évaluation de l’identification des risques (cas d’utilisation de l’IA, intégration de modèles et cas d’utilisation + modèle combinés).

Comprendre les risques susceptibles d’être applicables est une première étape importante, mais il est tout aussi important de disposer de méthodes efficaces pour identifier, mesurer et atténuer ces risques.

watsonx.governance propose trois évaluations d’identification des risques :

• Identification des risques liés aux cas d’utilisation de l’IA : utilisée pour identifier les risques spécifiques au cas d’utilisation proposé, et qui ne sont pas spécifiques au modèle. Par exemple, l’injection d’invite, les informations IP dans l’invite et l’exposition d’informations personnelles.
• Identification des risques liés à l’intégration des modèles d’IA : utilisée pour identifier les risques spécifiques aux modèles d’IA évalués. Par exemple, biais des données, provenance des données incertaine, manque de transparence des données d’entraînement et réidentification.
• Identification des risques par le cas d’utilisation et le modèle : utilisée pour identifier un ensemble supplémentaire de risques qui pourraient émerger d’une combinaison spécifique d’un cas d’utilisation et d’un modèle. Par exemple, les restrictions des droits d’utilisation des modèles, les hallucinations et les productions inexplicables.

Ces évaluations sont utilisées pour déterminer quels risques issus de l’Atlas des risques sont applicables au modèle et/ou au cas d’utilisation étant intégré. Dans la console de gouvernance watsonx.governance, il existe un workflow pour l’intégration des modèles de base qui inclut l’évaluation du questionnaire d’identification des risques mentionnée ci-dessus.

Une fois identifiés, les risques applicables doivent être examinés individuellement à l’aide d’une auto-évaluation des risques et des contrôles (RCSA) afin de déterminer les risques inhérents et résiduels. Il en résultera un profil de risque pour le modèle qui permettra de déterminer le type d’utilisation qu’une entreprise sera disposée à approuver pour le modèle, comme le RAG, la classification ou le résumé.

Pour mieux éclairer le processus d’évaluation des risques et des contrôles (RCSA), il est possible de procéder à une évaluation quantitative afin de mieux comprendre le risque d’un certain modèle et de le comparer à d’autres modèles similaires. Les entreprises ont également à leur disposition tous les moyens nécessaires pour évaluer les risques des modèles qu’elles développent ou améliorent (par exemple, en l’affinant).

Le Model Risk Evaluation Engine, qui fait désormais partie de watsonx.governance, facilite l’évaluation quantitative des risques des modèles de fondation. Il calcule les indicateurs liés à un ensemble défini de dimensions de risque issues de l’ atlas des risques liés à l’IA. En calculant ces indicateurs pour une large sélection de modèles de fondation, les entreprises peuvent choisir les modèles qui répondent à leurs objectifs métier tout en respectant leur tolérance en matière de risque.

Le moteur d’évaluation des risques liés aux modèles prend en charge l’évaluation des grands modèles de langage de watsonx.ai ainsi que de tout autre grand modèle de langage externe. Les résultats du moteur d’évaluation peuvent être enregistrés dans la console de gouvernance de watsonx.governance ou exportés sous forme de rapport PDF.

Le Model Risk Evaluation Engine permet d’accomplir les tâches suivantes :

• Calculer les indicateurs en utilisant watsonx.ai comme moteur d’inférence
• Calculez les indicateurs de risque des modèles de fondation dans watsonx.ai
• Calculer les indicateurs de risque pour les modèles de fondation externes
• Conservez les indicateurs calculés dans la console de gouvernance (OpenPages)
• Récupérer les indicateurs calculés à partir de la console de gouvernance (OpenPages)
• Ajoutez vos propres risques et jeux de données
• Générez un rapport PDF des indicateurs calculés
• Implémenter votre propre fonction de notation pour n’importe quel modèle lors des évaluations (par exemple, fonction déterministe ou LLM en tant que juge)
• Afficher les indicateurs dans une cellule de bloc-notes, sous forme de tableau ou de graphique

Une fois que toutes ces données sont remontées dans la console de gouvernance, elles peuvent être utilisées pour éclairer l’étape d’évaluation du workflow d’intégration du modèle de base décrit ci-dessus.

Les utilisateurs de watsonx.governance peuvent accéder à Model Risk Evaluation Engine en exécutant la commande suivante :

Notre exemple de bloc-notes contient des instructions pour l’essayer par vous-même. La page de documentation du Model Risk Evaluation Engine contient également plus d’informations.

Si vous souhaitez que votre Entreprise identifie, mesure et atténue efficacement les risques liés à l’IA générative, une solution de gouvernance de l’IA de bout en bout comme watsonx.governance est cruciale. Essayez-la par vous-même ou prenez rendez-vous pour en discuter avec un expert IBM dès aujourd’hui. 

Essayer watsonx.governance maintenant

Apprenez-en plus sur les services de gouvernance de l'IA d'IBM