Qu’est-ce que la dérive du modèle ?

Pour détecter et atténuer la dérive, les organisations peuvent surveiller et gérer les performances depuis leur plateforme de données et d’intelligence artificielle. S’ils ne sont pas suivis avec rigueur, même les modèles d’IA les mieux entraînés et les moins biaisés peuvent « dériver » par rapport à leurs paramètres d’origine et produire des résultats indésirables une fois déployés. La détection de la dérive constitue un élément essentiel d’une bonne gouvernance de l’IA.

Les modèles basés sur des données historiques peuvent vite devenir moins performants. Dans de nombreux cas, on voit apparaître de nouveaux points de données (variations, modèles, tendances) absents de l’ensemble historique. Si l’entraînement ne s’aligne pas sur les données entrantes, le modèle d’IA est incapable de les interpréter avec précision ou d’utiliser ces données réelles pour établir des prédictions précises.

Si la dérive n’est pas détectée et atténuée rapidement, elle peut empirer et impacter davantage les opérations. La détection de la dérive permet aux entreprises d’obtenir en permanence des résultats précis à partir de leurs modèles.

Étant donné que le monde évolue constamment, et par conséquent les données également, les modèles utilisés pour donner un sens à tout cela doivent donc être mis à jour et révisés en continu. Voici trois types de dérives de modèle qui doivent être traités, chacun ayant une cause différente.

La dérive conceptuelle se produit lorsqu’il y a une divergence entre les variables d’entrée et la variable cible : l’algorithme commence alors à fournir des réponses incorrectes, car les définitions ne sont plus valables. Cette dérive des variables indépendantes peut avoir lieu de façon :

La dérive conceptuelle survient et disparaît régulièrement, comme dans le cas des comportements d’achat influencés par la météo. Par exemple, la vente de sel et de dégivrant augmente normalement à la fin de l’automne et au début de l’hiver. Des ajustements géographiques doivent également être effectués pour tenir compte des chutes de neige attendues.

Une tendance inattendue peut entraîner de nouveaux modèles d’achat. Par exemple, la médiatisation soudaine de ChatGPT a fait bondir la demande de matériel et de logiciels d’IA et la valeur boursière des entreprises axées sur l’IA. Un modèle de prévision entraîné avant ce buzz dans les médias pourrait ne pas prédire les résultats à venir.

Un autre exemple est l’arrivée de la pandémie de Covid-19, qui a également provoqué un changement soudain des comportements : la vente de jeux et d’équipements de sport a grimpé en flèche, tandis que les restaurants et les hôtels ont vu leur fréquentation chuter.

Certaines dérives se produisent progressivement, ou à un rythme attendu. Par exemple, les spammeurs et les hackeurs optimisent leurs outils et techniques au fil du temps pour s’adapter au niveau de sécurité accru des logiciels de protection et des filtres anti-spam. Toute IA conçue pour protéger les internautes dans la sphère numérique doit évoluer en continu ; un modèle statique se révèlera vite inefficace.

On parle de dérive des données lorsque la distribution des données d’entrée a changé. Dans le commerce par exemple, le succès d’un produit peut être influencé par le lancement d’un nouveau produit ou par le retrait d’un produit concurrent. Ou si un site Web d’abord prisé par les jeunes finit aussi par être adopté par des personnes plus âgées, le modèle original basé sur les comportements d’utilisation des jeunes utilisateurs risque de ne pas être aussi performant auprès de cette nouvelle clientèle.

Cela se produit lorsque l’on modifie le pipeline de données, par exemple si des données jusqu’alors exprimées en dollars passent en euros (ou de miles à kilomètres, de Fahrenheit à Celsius, etc.). Un tel changement déstabiliserait un modèle qui n’a pas été conçu pour tenir compte d’une modification de l’étiquetage des données.

Les entreprises et les data scientists disposent de diverses méthodes pour surveiller la dérive des modèles de machine learning et rectifier le tir avant qu’ils ne deviennent obsolètes.

Bon nombre des méthodes les plus populaires sont basées sur la distribution temporelle et mesurent les écarts potentiels entre deux distributions de probabilités. Si les résultats sont sensiblement divergents, la dérive des données peut résulter d’une modification des propriétés statistiques des données d’entrée.

La détection de la dérive des données est un aspect central de l’observabilité des données, laquelle consiste à surveiller en permanence la qualité et la fiabilité des données qui circulent au sein d’une organisation. Le langage de codage Python est particulièrement populaire en data science pour son utilisation dans la création de détecteurs de dérive open source.

Le test de Kolmogorov-Smirnov (K-S) détermine si deux ensembles de données proviennent de la même distribution. Dans le domaine de la data science, le test de K-S est non paramétrique, ce qui signifie que la distribution ne doit pas nécessairement répondre à des hypothèses ou à des critères préétablis.

Les data scientists utilisent le test de Kolmogorov-Smirnov pour deux raisons principales :

• Pour déterminer si un échantillon de données provient d’une certaine population.
   

• Pour comparer deux échantillons de données et déterminer s’ils proviennent de la même population.

Si les résultats du test de K-S montrent que deux ensembles de données semblent provenir de populations différentes, cela signifie qu’une dérive des données s’est probablement produite, ce qui fait du test de K-S un bon détecteur de dérive.

La distance de Wasserstein, qui tient son nom du mathématicien Leonid Vaserstein, utilise une métaphore simple pour visualiser la gravité de la dérive des données. Elle consiste à imaginer deux petits tas de terre, la dérive des données étant la quantité de travail nécessaire pour créer un tas à partir de la terre prélevée sur l’autre. C’est pourquoi la distance de Wasserstein est également connue en informatique et en data science sous le nom de « distance du cantonnier » ou « distance du terrassier ».

Cette méthode de détection de la dérive compare les données d’entraînement aux nouvelles données d’entrée introduites dans un modèle de machine learning. Elle est particulièrement performante dans l’identification des relations complexes qui existent entre les caractéristiques et est capable de repérer les valeurs aberrantes afin de parvenir à des résultats cohérents.

L’indice de stabilité de la population (PSI) compare la distribution d’une caractéristique catégorielle dans deux ensembles de données afin de déterminer son degré d’évolution dans le temps.

Une plus grande disparité dans la distribution, illustrée par un PSI plus élevé, indique la présence d’une dérive du modèle. Le PSI évalue à la fois les caractéristiques indépendantes et dépendantes, c’est-à-dire celles qui changent en fonction d’autres variables.

Si la distribution d’une ou plusieurs caractéristiques catégorielles renvoie un PSI élevé, il est probable que le modèle de machine ait besoin d’être recalibré, voire remanié.

Les bonnes pratiques suivantes permettent aux entreprises de mieux gérer la détection et la correction de la dérive des données :

La précision d’un modèle d’IA peut diminuer dans les jours suivant son déploiement, car les données de production divergent des données utilisées pour l’entraînement. Cela peut générer des prévisions erronées et créer des risques importants.

Pour se protéger contre la dérive et les biais des modèles, les organisations ont tout intérêt à utiliser un détecteur de dérive de l’IA ainsi que des outils de surveillance qui détectent automatiquement lorsque la précision d’un modèle diminue (ou dérive) en dessous d’un seuil prédéfini.

Ce programme de détection doit aussi être capable d’identifier les éléments à l’origine de cette dérive, ce qui permettrait de les réétiqueter et de les utiliser pour réentraîner le modèle, restaurant ainsi sa capacité de prédiction durant son exécution.

Dans le cas de la dérive statistique, on utilise des indicateurs statistiques pour comparer et analyser des échantillons de données. Cette méthode est souvent plus facile à mettre en œuvre, car la plupart des indicateurs sont généralement déjà utilisés au sein de l’entreprise. Dans le cas de la détection de la dérive du modèle, on mesure la similarité entre un point ou des groupes de points par rapport à la ligne de base de référence au sein d’un modèle.

Les organisations devraient tester périodiquement leurs modèles d’IA, en particulier ceux d’IA générative, tout au long de leur cycle de vie. Dans l’idéal, ces tests comprennent :

1. La validation des modèles en préproduction avec des tests pour détecter les biais et la dérive, puis la génération de rapports de test.
   
   
2. Le transfert des configurations tests réussies en prédéploiement vers la version déployée du modèle et la poursuite de tests automatisés continus.
   
   
3. La synchronisation des informations sur les modèles, les données et les résultats des tests avec les systèmes d'enregistrement.
   
   
4. Une automatisation capable de fournir des notifications cohérentes et fiables et de donner aux équipes plus de temps à consacrer au développement de modèles (plutôt qu'à la surveillance).

Selon une étude Forrester Total Economic Impact, « en créant, en exécutant et en gérant des modèles dans un environnement de données et d’IA unifié, [les organisations] peuvent maintenir l’équité, l’explicabilité et la conformité de leurs modèles d’IA. Cette approche d’IA de bout en bout permet également aux organisations de détecter et de corriger la dérive et le biais des modèles, et de gérer les risques inhérents lorsqu’un modèle d’IA est en production. »

L’une des bonnes pratiques consiste à gérer tous les modèles à partir d’un tableau de bord centralisé. Une approche intégrée permet de suivre les indicateurs en continu et d’alerter les équipes en cas de dérive de la précision et de la cohérence des données lors du développement, de la validation et du déploiement. Une vue globale et centralisée aide les entreprises à éliminer les silos et à générer plus de transparence concernant la traçabilité des données.

Il est recommandé de détecter les scénarios de dérive et leur ampleur grâce à un modèle d’IA qui compare les données de production et d’entraînement et les prédictions des modèles en temps réel. De cette façon, il est possible de déceler rapidement la dérive et de lancer immédiatement le processus de réentraînement. Cette détection est itérative, tout comme le MLOps (machine learning operations).

L’ analyse basée sur le temps est utile pour voir comment la dérive a évolué et quand elle s’est produite. Par exemple, si les contrôles sont effectués chaque semaine, cela montrera comment la dérive a évolué chaque jour.

L’analyse de la chronologie peut également être utile pour déterminer si la dérive a été progressive ou soudaine. L’approche dite de l’IA explicable applique cette transparence à l’utilisation de l’IA et aide les entreprises à surveiller comment et pourquoi leurs modèles ont fourni de tels résultats.

Pour cela, vous pouvez utiliser un nouveau jeu de données d’entraînement contenant des échantillons plus récents et plus pertinents. L’objectif est de pouvoir remettre vos grands modèles de langage (LLM) en production rapidement et correctement. Si le réentraînement du modèle ne résout pas le problème, un nouveau modèle peut être nécessaire. Les techniques de LLMOps (large language model operations) peuvent aider les organisations dans le suivi et le réentraînement de leurs LLM.

Au lieu d’entraîner un modèle à l’aide de données par lots, les organisations peuvent pratiquer « l’apprentissage en ligne » en intégrant dans leurs modèles de machine learning (ML) les dernières données du monde réel dès qu’elles sont disponibles.

Un modèle peut avoir tendance à dériver lorsque les données utilisées pour l’entraîner sont différentes des données de production réelles qui seront utilisées. Par exemple, dans le domaine médical, si des scanners de haute résolution sont utilisés dans le cadre de l’entraînement, mais que seuls des scanners basse résolution sont disponibles sur le terrain, les résultats seront incorrect.