Qu’est-ce que l’apprentissage continu ?

L’apprentissage incrémentiel permet aux modèles d’acquérir de nouvelles connaissances et de s’adapter à l’imprévisibilité du monde réel, sans pour autant oublier les anciennes connaissances. Les données non stationnaires signifient que les distributions de données ne sont pas statiques. Lorsqu’il est mis en œuvre avec succès, l’apprentissage continu produit des modèles qui conservent des connaissances spécifiques à une tâche et peuvent également les généraliser sur des distributions de données dynamiques. 

Les modèles d’apprentissage continu sont conçus pour appliquer de nouvelles données de manière adaptative dans des environnements changeants. Cette capacité s’inspire des concepts des neurosciences liés à la manière dont les humains apprennent de nouvelles choses tout en conservant ce qu’ils savent déjà. Si une personne apprend à faire du skateboard, elle n’oublie pas immédiatement comment faire du vélo.

Les systèmes de machine learning traditionnels entraînent des modèles sur de grands jeux de données statiques. Chaque jeu de données passe par l’algorithme du modèle, par lots, à mesure que celui-ci met à jour ses poids ou ses paramètres. Le modèle traite le jeu de données plusieurs fois, chaque cycle étant appelé une « époque ». 

Les développeurs identifient à l’avance l’objectif du modèle d’apprentissage profond, puis ils constituent un jeu de données d’entraînement adapté à l’objectif d’apprentissage et entraînent le modèle sur ces données. Ensuite, le modèle est testé, validé et déployé. En affinant le modèle machine learning avec plus de données, on peut adapter sa performance à de nouvelles tâches. 

Les méthodes d’apprentissage traditionnelles ne reflètent pas pleinement le dynamisme du monde réel. L’apprentissage supervisé utilise des jeux de données statiques dont les résultats sont connus. L’apprentissage non supervisé permet à un modèle de trier les données par lui-même, mais les données d’entraînement restent finies et immuables. L’apprentissage par renforcement est tout aussi sûr et limité. 

Contrairement aux méthodes d’apprentissage traditionnelles, l’apprentissage continu tente d’appliquer la plasticité du cerveau humain aux réseaux de neurones artificiels. La neuroplasticité est la qualité du cerveau qui lui permet de s’adapter, d’apprendre sans oublier les connaissances antérieures lorsqu’il est confronté à des circonstances changeantes. 

Certains types d’apprentissage continu commencent encore par un entraînement par lots hors ligne à plusieurs moments donnés, tout comme l’entraînement hors ligne traditionnel. L’apprentissage continu en ligne n’entraîne que des modèles avec un flux de données à passage unique. 

L’apprentissage continu contribue à optimiser et à adapter les réseaux de neurones profonds dans des environnements dynamiques. Le machine learning traditionnel nécessite des jeux de données fixes et volumineux, un temps et une puissance de calcul suffisants pour l’entraînement, ainsi qu’un objectif connu pour le modèle. Lorsque l’une ou plusieurs de ces conditions ne sont pas remplies, l’apprentissage continu offre une alternative. 

• Atténuation de l’oubli catastrophique

• Petits jeux de données d’entraînement 

• Modification de la distribution des données

• Optimisation des ressources 

• Tolérance au bruit 

Lorsque des modèles d’apprentissage profond sont entraînés sur de nouvelles données ou de nouvelles distributions, ils peuvent perdre leurs connaissances antérieures. Connu sous le nom d’oubli catastrophique, ce phénomène est la conséquence d’un modèle qui surajuste ses paramètres à de nouvelles données. Les modèles mettent à jour leurs pondérations internes dans une certaine mesure, de sorte que les nouveaux paramètres ne sont plus pertinents par rapport à la tâche d’origine du modèle. 

L’apprentissage continu transmet les données d’entraînement de manière incrémentielle à travers le modèle d’IA. Ce dernier est alimenté par une séquence de petits jeux de données, parfois constitués d’un seul échantillon. L’apprentissage par transfert, qui consiste pour un modèle à appliquer ses acquis à de nouvelles tâches, contribue à minimiser la quantité de nouvelles données requises. 

Le monde est en constante évolution. Les êtres humains et certains animaux ont développé la capacité d’apprendre afin de s’adapter aux situations difficiles. Par exemple, si une source de nourriture vient à manquer, trouver comment se nourrir autrement peut assurer la survie. 

Cependant, tous les animaux ne possèdent pas cette capacité. Les koalas sont incapables de reconnaître leur principale source de nourriture, les feuilles d’eucalyptus, si celles-ci sont retirées de l’arbre et empilées sur une assiette. Bien que les koalas mangent parfois d’autres feuilles provenant d’autres arbres, ils conçoivent leur nourriture uniquement comme des feuilles sur des arbres. Leur cerveau peu flexible les empêche de s’écarter de cette idée. 

Prenons maintenant l’exemple d’un modèle de vision par ordinateur destiné à être utilisé dans des voitures autonomes. Il doit savoir reconnaître les autres véhicules sur la route, mais aussi les piétons, les deux roues, les animaux et les dangers. Il doit aussi percevoir et s’adapter parfaitement aux changements météorologiques et aux conditions de circulation, comme une averse soudaine ou l’approche d’un véhicule d’urgence avec ses gyrophares et sa sirène.

Les langues évoluent au fil du temps. Un modèle de traitement automatique du langage naturel (NLP) doit être capable de traiter les changements dans la signification et dans l’utilisation des mots. De même, un modèle conçu pour la robotique doit pouvoir s’adapter si l’environnement du robot change. 

Les modèles IA sont gourmands en ressources. Ils peuvent coûter des millions de dollars pour entraîner et consommer de grandes quantités d’électricité et d’eau. Il n’est pas toujours possible de déployer de nouveaux modèles lorsque de nouvelles tâches apparaissent. Il n’est pas non plus possible de conserver chaque tâche précédente dans la mémoire disponible d’un modèle. 

L’apprentissage continu permet aux grands modèles de langage (LLM) et autres réseaux de neurones de s’adapter à des cas d’utilisation changeants sans oublier comment gérer les défis précédents. Les entreprises peuvent réduire au minimum le nombre de modèles en service en élargissant les capacités potentielles de chaque modèle qu’elles utilisent. 

S’ils sont bien entraînés, les algorithmes d’apprentissage continu doivent être capables d’identifier avec confiance les données pertinentes tout en ignorant le bruit : des points de données sans signification qui ne reflètent pas avec précision les valeurs du monde réel. Le résultats proviennent des erreurs de signal, des erreurs de mesure et des erreurs d’entrée et couvrent également les données aberrantes. Les données aberrantes sont des points de données tellement dissemblables qu’ils ne sont pas pertinents. 

Les défis de l’apprentissage continu peuvent être divisés en trois catégories, selon la façon dont le flux de données change au fil du temps¹ :

• Apprentissage continu incrémentiel par tâche
   

• Apprentissage continu incrémental par domaine
   

• Apprentissage continu incrémentiel par classe

L’apprentissage par tâches est une approche progressive de l’apprentissage multitâche dans laquelle un algorithme doit apprendre à accomplir une série de tâches différentes. L’algorithme doit clairement savoir quelle tâche on attend de sa part, soit avec des tâches suffisamment distinctes les unes des autres, soit en étiquetant les entrées avec la sortie appropriée. 

Un exemple concret d’apprentissage progressif des tâches serait d’apprendre à parler japonais, puis mandarin, puis tchèque et enfin espagnol. La langue que le locuteur doit utiliser à un moment donné est généralement claire. 

Comme les tâches sont transmises au modèle en séquence, le défi consiste à s’assurer que le modèle peut suffisamment transférer l’apprentissage d’une tâche à l’autre. Le nombre total de tâches n’est pas toujours connu à l’avance, en particulier avec les modèles déjà en cours de déploiement. 

La prévention des oublis catastrophiques est un fait acquis : faire en sorte que le modèle applique l’apprentissage par transfert est le véritable objectif des méthodologies d’apprentissage incrémentiel par tâche. 

L’apprentissage incrémentiel par domaine couvre les défis dans lesquels la distribution des données change, mais le type de défi reste le même. Les conditions entourant la tâche ont changé d’une manière ou d’une autre, mais les résultats potentiels n’ont pas été améliorés. Contrairement à l’apprentissage incrémentiel par tâche, le modèle n’a pas à identifier la tâche spécifique à résoudre. 

Par exemple, un modèle de reconnaissance optique de caractères (OCR) devrait être capable de reconnaître divers formats de documents et styles de police. Il n’est pas important de savoir comment ou pourquoi l’environnement a changé, mais de reconnaître qu’il a changé et d’accomplir la tâche malgré tout. 

Les changements dans la distribution des données constituent un défi de longue date dans le domaine du machine learning, car les modèles sont généralement entraînés sur un jeu de données discret et statique. Lorsque la distribution des données change après le déploiement, il est possible de limiter les pertes de performance des modèles grâce à l’apprentissage incrémental par domaine.

L’apprentissage incrémental par classe se produit lorsqu’un modèle doit effectuer une série de tâches de classification avec un nombre croissant de classes de sortie. Le modèle doit être capable à la fois de résoudre correctement chaque instance et de se souvenir des classes rencontrées dans les instances précédentes. 

Un modèle entraîné à classer les véhicules en voitures ou en camions peut ensuite être amené à identifier des bus et des motos. Il devra conserver sa compréhension de toutes les classes apprises au fil du temps, et pas seulement les options de chaque instance. S’il a été entraîné sur la distinction entre voitures et camions, puis confronté à la distinction entre bus et motos, le modèle devra également être capable de déterminer si un véhicule est une voiture ou un bus. 

L’apprentissage incrémental par classe est l’un des défis les plus difficiles à relever en matière d’apprentissage continu, car l’émergence de nouvelles classes peut éroder les distinctions entre les classes précédemment établies.

L’objectif de toutes les techniques d’apprentissage continu est d’équilibrer le dilemme stabilité-plasticité : rendre un modèle suffisamment stable pour conserver les connaissances acquises tout en restant suffisamment malléable pour en cultiver de nouvelles. Bien que les chercheurs aient identifié de nombreuses approches à l’apprentissage continu, beaucoup peuvent être classées dans l’une de ces trois catégories :

• Techniques de régularisation
   

• Techniques d’isolation des paramètres
   

• Techniques de relecture

La régularisation est un ensemble de techniques qui limitent le surapprentissage des modèles. Un modèle n’est pas autorisé à mettre à jour son architecture pendant l’entraînement incrémental, tandis que des techniques telles que la distillation des connaissances (où un modèle plus grand « enseigne » à un modèle plus petit) permettent d’en préserver les connaissances. 

• La consolidation élastique des poids (EWC) ajoute une pénalité à la fonction de perte de l’algorithme d’apprentissage, qui l’empêche d’apporter des modifications drastiques aux paramètres d’un modèle. Les algorithmes d’optimisation utilisent le gradient de la fonction de perte comme indicateur de référence pour évaluer les performances du modèle. 

• L’intelligence synaptique (SI), qui limite les mises à jour des paramètres en fonction d’une compréhension cumulative de l’importance relative de chaque paramètre. 

• Apprendre sans oublier (LWF) entraîne les modèles avec de nouvelles données de tâches et maintient les anciennes connaissances en préservant les probabilités de sortie des tâches précédentes.

Les méthodes d’isolation des paramètres modifient une partie de l’architecture d’un modèle pour s’adapter à de nouvelles tâches tout en gelant les paramètres des tâches précédentes. Le modèle se reconstruit afin d’élargir ses capacités, mais certains paramètres ne peuvent pas être ajustés. L’entraînement ultérieur porte uniquement sur les paramètres éligibles pour les nouvelles tâches. 

Par exemple, les réseaux de neurones progressifs (PNN) créent des colonnes de réseaux de neurones spécifiques pour chaque nouvelle tâche. Les connexions parallèles à d’autres colonnes permettent de transférer les apprentissages tout en empêchant la modification de ces colonnes.

Les techniques de relecture consistent à exposer régulièrement un modèle, pendant les activations d’entraînement, à des échantillons provenant d’un jeu de données d’entraînement antérieur. L’apprentissage continu basé sur la relecture enregistre des échantillons de données plus anciennes dans une mémoire tampon et les intègre dans les cycles d’entraînement ultérieurs. L’exposition continue à des données plus anciennes empêche tout surapprentissage du modèle à partir de nouvelles données. 

Les techniques de mémoire sont fiables et efficaces, mais elles nécessitent un accès régulier aux données précédentes, ce qui requiert un espace de stockage suffisant. Les situations impliquant l’utilisation de données personnelles sensibles peuvent également empêcher la mise en œuvre des techniques de mémoire. 

La relecture générative utilise un modèle génératif pour synthétiser des échantillons de données précédentes afin d’alimenter le modèle en cours d’entraînement, tel qu’un classificateur qui doit apprendre de nouvelles classes sans oublier les anciennes.