Configuration des évaluations de modèles avec la configuration automatique

L'option de configuration automatique pour l'évaluation des modèles d'apprentissage automatique configure pour vous un environnement d'apprentissage automatique, une base de données et un modèle type. Suivez les étapes de la visite guidée pour apprendre à évaluer le modèle d'exemple. Une fois la configuration terminée, vous pouvez ajouter votre propre modèle au tableau de bord.

Modèle type

La configuration automatique utilise l'ensemble de données d'exemple « German Credit Risk » pour illustrer les principales fonctionnalités de l'évaluation des modèles.

Aperçu des données échantillonnées

L'exemple de données German Credit Risk fournit une collection d'enregistrements pour les clients de la banque qui ont été utilisés pour entraîner l'exemple de modèle. Il contient 20 attributs pour chaque demandeur de prêt. Les exemples de modèles mis à disposition dans le cadre de la configuration automatique sont entraînés pour prévoir le niveau de risque de crédit pour les nouveaux clients. Deux des attributs pris en compte pour la prédiction-le sexe et l'âge-peuvent être testés pour le biais afin de s'assurer que les résultats sont cohérents en ce qui concerne le sexe ou l'âge des clients.

Pour évaluer les résultats, ceux-ci sont répartis en groupes. Les groupes de référence sont les groupes qui sont considérés comme ayant le plus de chances d'avoir des résultats positifs. Dans ce cas, les groupes de référence sont les clients masculins et les clients âgés de plus de 25 ans. Les groupes surveillés sont les groupes que vous souhaitez réviser pour vous assurer que les résultats ne diffèrent pas beaucoup des résultats des groupes surveillés. Dans ce cas, les groupes surveillés sont des femmes et des clients âgés de 19 à 25 ans.

Exécution de la configuration automatique

Pour découvrir rapidement comment les modèles sont évalués, lancez le scénario de démonstration proposé lors du premier démarrage d' Watson OpenScale.

Dans le menu de navigation , sélectionnez Services > Instances.
Sur la page Instances, pour votre instance d' Watson OpenScale, cliquez sur le menu déroulant et sélectionnez Ouvrir.
Lorsque la page Évaluation du modèle s'affiche, cliquez sur Configuration automatique.
Si vous y êtes invité, sélectionnez votre instance Watson Machine Learning et cliquez sur Suivant. Vous devez utiliser l'instance d' Watson Machine Learning installée localement. Il n'y a pas d'option pour une instance distante.
Indiquez le nom de l'hôte ou l'adresse IP sans la https:// précédente ni la barre oblique finale (/), Port, Base de données, Nom d'utilisateur, et Mot de passe pour votre base de données Db2. Pour les options Db2 qui font partie de votre cluster, voir Data Database où vous trouverez des options, telles que Db2 Warehouse et Db2 Advanced Enterprise Server Edition. Pour une base de données externe, vous pouvez utiliser IBM Db2 Database. Cliquez sur Préparer.

Lorsque les services d'évaluation de modèle sont en cours de configuration, vous pouvez passer en revue le scénario de démonstration qui s'affiche. Une fois la configuration terminée, suivez la visite guidée ou revenez au tableau de bord.

Pour suivre la visite, cliquez sur Démarrer la visite.
Pour quitter la configuration automatique et accéder au tableau de bord, cliquez sur Explorer par moi-même.

Points forts de la visite guidée

La visite guidée présente les fonctionnalités suivantes :

Présentation de l'interface utilisateur (UI) : Les quatre principales sections de l'interface utilisateur sont les suivantes : Insights, Explications, Configuration et Assistance.
Suivi et consultation des résultats pour le modèle allemand de risque de crédit : utilisez des moniteurs prédéfinis pour évaluer l'équité, la qualité et la dérive de votre modèle. Vous pouvez également utiliser des moniteurs personnalisés pour l'évaluation des modèles.
Explorer le moniteur d'équité : utilisez le moniteur d'équité pour rechercher les résultats biaisés de votre modèle. Si un problème d'équité est détecté, une alerte est déclenchée en fonction de seuils configurables.
Exploration des ensembles de données : basculez entre les ensembles de données équilibrés, utiles, d'entraînement et débiaisés pour voir comment ils affectent le score d'équité de votre modèle.
Introduction aux transactions : examinez les transactions à partir de l'ensemble de données utiles pour détecter les biais collectifs et individuels.
Explication des résultats du modèle : comprendre les caractéristiques qui ont conduit à la prédiction du modèle afin de renforcer la confiance dans celui-ci. De plus, apprenez comment modifier les valeurs des caractéristiques afin d'obtenir des résultats plus favorables pour votre modèle.
Exploration du moniteur de dérive : utilisez le moniteur de dérive pour déterminer si le traitement des données dans le modèle entraîne une baisse de la précision.
Vérification des transactions : vérifiez la liste des transactions afin d'étudier la baisse de précision.

Visiter une page spécifique

Pour utiliser la visite guidée de configuration automatique pour une page spécifique, procédez comme suit:

Ouvrez la page pour laquelle vous souhaitez suivre la visite guidée.
Ouvrez l'onglet Assistance et sélectionnez Visite guidée de cette page.

Réinitialisation de la visite

Pour réinitialiser la visite de configuration automatique, ouvrez l'onglet Support et sélectionnez Réinitialiser la configuration automatique.