Qu’est-ce que human-in-the-loop ?

Le machine learning (ML) a fait des progrès considérables ces dernières années, mais même les modèles d’apprentissage profond les plus avancés peuvent être confrontés à l’ambiguïté, aux biais ou aux cas extrêmes qui s’écartent de leurs données d’entraînement. Les commentaires humains peuvent aider à la fois à améliorer les modèles et servir de garde-fou lorsque les systèmes d’IA ne sont pas suffisamment performants. HITL insère les informations humaines dans la « boucle », le cycle continu d’interaction et de commentaires entre les systèmes d’IA et les humains.

L’objectif de HITL est de permettre aux systèmes d’IA d’atteindre l’efficacité de l’automatisation sans sacrifier la précision, la nuance et le raisonnement éthique liés à la supervision humaine.

Le machine learning human-in-the-loop permet aux humains de superviser et de contribuer aux workflows d’IA. Voici les principaux avantages de l’intégration humaine (Human-in-the-loop) :

• Précision et fiabilité

• Prise de décision éthique et responsabilité

• Transparence et explicabilité

L’objectif de l’automatisation des workflows est de réduire le temps et les efforts que les humains doivent consacrer à les gérer. Cependant, les workflows automatisés peuvent connaître de nombreux dysfonctionnements. Il arrive que les modèles rencontrent des cas limites que leur entraînement ne leur a pas permis de gérer. Une approche HITL permet aux humains de corriger les entrées incorrectes, donnant ainsi au modèle la possibilité de s’améliorer au fil du temps. Les humains peuvent être en mesure d’identifier les comportements anormaux grâce à leur expertise, qui peut ensuite être intégrée à la compréhension du modèle.

Dans les applications à enjeux élevés, les humains peuvent imposer des alertes, des avis et des sécurités intégrées pour s’assurer que les décisions autonomes sont vérifiées. Ils peuvent détecter les résultats biaisés ou trompeurs, évitant ainsi des résultats négatifs en aval. Les commentaires continus aident les modèles IA à s’adapter à l’évolution des environnements.

Les biais sont une préoccupation constante dans le machine learning, et bien que l’intelligence humaine soit connue pour être parfois assez biaisée, une couche supplémentaire d’implication humaine peut aider à identifier et à atténuer les biais intégrés dans les données et les algorithmes eux-mêmes, ce qui encourage l’équité dans les résultats de l’IA.

Lorsqu’un être humain est impliqué dans l’approbation ou l’annulation des résultats de l’IA, la responsabilité ne repose pas uniquement sur le modèle ou ses développeurs.

Certaines décisions nécessitent un raisonnement éthique qui peut dépasser les capacités d’un modèle. Par exemple, les recommandations d’une plateforme de recrutement algorithmique peuvent désavantager certains groupes historiquement marginalisés. Si les modèles de ML ont fait des progrès considérables au cours des dernières années dans leur capacité à intégrer les nuances dans leur raisonnement, la supervision humaine reste parfois la meilleure approche. HITL permet aux humains, qui ont une meilleure compréhension des normes, du contexte culturel et des zones grises éthiques, de suspendre ou de neutraliser les résultats automatisés en cas de dilemme complexe.

Une approche human-in-the-loop peut fournir un enregistrement des raisons pour lesquelles une décision a été annulée, avec une piste d’audit qui favorise la transparence et les avis. Cette documentation permet une défense juridique plus solide, un audit de conformité et des avis internes.

Certaines réglementations en matière d’IA imposent certains niveaux de HITL. Par exemple, l’article 14 de la EU AI Act stipule que « les systèmes d’IA à haut risque doivent être conçus et développés de telle sorte, y compris à l’aide d’outils d’interface homme-machine appropriés, qu’ils puissent être supervisés efficacement par des personnes physiques pendant leur utilisation ».

Selon le règlement, cette surveillance doit prévenir ou réduire les risques pour la santé, la sécurité ou les droits fondamentaux, grâce à des méthodes incluant l’opération manuelle, l’intervention, le contournement et la surveillance en temps réel. Les humains concernés doivent être « compétents » pour le faire, comprendre les capacités et les limites du système, être formés à son utilisation appropriée et avoir l’autorité nécessaire pour intervenir si nécessaire. Cette surveillance a pour but d’encourager la prévention des dommages et le bon fonctionnement du système.

En détectant les erreurs avant qu’elles ne causent des dommages, le HITL agit comme un filet de sécurité, en particulier dans les secteurs à haut risque ou réglementés tels que les soins de santé ou la finance. Les approches HITL permettent d’atténuer l’effet de « boîte noire » lorsque le raisonnement derrière les résultats de l’IA n’est pas clair. L’embedding d’une surveillance et d’un contrôle humains dans les processus de développement et de déploiement aide les praticiens à identifier et à atténuer les risques, qu’il s’agisse de risques techniques, éthiques, juridiques ou opérationnels.

HITL est une excellente approche pour améliorer les performances des systèmes de machine learning, mais elle n’est pas sans inconvénient.

• Évolutivité et coût

• Erreur humaine et incohérence

• Confidentialité et sécurité

L’annotation humaine peut être lente et coûteuse, en particulier pour les grands jeux de données ou les boucles de commentaires itératives. À mesure que le volume de données ou la complexité du système augmente, s’appuyer sur l’humain peut devenir un goulot d’étranglement. L’étiquetage de millions d’images pour un modèle de vision par ordinateur avec une grande précision, par exemple, peut nécessiter des milliers d’heures de travail humain. Certains domaines comme la médecine ou le droit peuvent nécessiter des experts en la matière encore plus chers. Une tumeur mal étiquetée sur un examen médical peut entraîner une erreur grave.

Si l’homme peut apporter une plus grande précision, il peut aussi, à certains égards, être plus biaisé et sujet à l’erreur que la machine. Les humains peuvent interpréter les données ou les tâches différemment, en particulier dans les domaines sans réponse claire ou erronée. Les annotateurs humains, étant humains, peuvent être fatigués, distraits ou confus lorsqu’ils étiquètent des données. Ils ont également des points de vue différents sur les problèmes subjectifs, ce qui peut entraîner des incohérences dans l’étiquetage.

L’implication humaine dans les processus d’examen interne peut soulever des problèmes de confidentialité, et même les annotateurs bien intentionnés pourraient involontairement divulguer ou utiliser à mauvais escient les données sensibles auxquelles ils accèdent pendant les commentaires.

L’introduction de commentaires humains ciblés et de haute qualité avant, pendant et après l'entraînement crée une boucle de commentaires qui accélère l’apprentissage et rend les modèles machine learning plus robustes, plus faciles à interpréter et plus conformes aux besoins du monde réel. Voici quelques façons d’intégrer l’interaction humaine dans les workflows d’IA.

• Apprentissage supervisé

• RLHF

• Apprentissage actif

Les applications de l’apprentissage supervisé nécessitent que les data scientists puissent étiqueter correctement les données. Cette annotation donne lieu à des jeux de données qui sont ensuite utilisés pour entraîner un algorithme de machine learning. Il s’agit d’un workflow où l’intervention humaine est avant tout essentielle.

Par exemple, une approche supervisée dans un contexte de traitement automatique du langage naturel pourrait impliquer que des humains qualifient un texte de « spam » ou de « non-spam » afin d’apprendre à une machine à effectuer de telles distinctions. Dans un cas d’utilisation de vision par ordinateur, une approche supervisée pourrait impliquer que des humains étiquettent une série d’images « voiture », « bus » ou « moto », afin qu’un modèle puisse effectuer des tâches de détection d’objets.

Dans un autre exemple, l’apprentissage par renforcement basé sur les commentaires humains (RLHF) utilise un « modèle de récompense » formé avec des commentaires humains directs, qui est ensuite utilisé pour optimiser la performance d’un agent d’intelligence artificielle par le biais de l’apprentissage par renforcement. La RLHF est particulièrement adaptée aux tâches dont les objectifs sont complexes, mal définis ou difficiles à préciser.

Dans le cadre de l’apprentissage actif, le modèle identifie les prévisions incertaines ou peu fiables et ne sollicite l’intervention humaine qu’en cas de besoin. Cela permet de concentrer l’effort d’étiquetage sur les exemples les plus difficiles ou les plus ambigus, ce qui permet un apprentissage plus rapide et plus précis.