La robotique humanoïde et l’IA incarnée s’apprête à changer le monde !

Nous allons voir dans cet article ce qui a permis cette évolution rapide et a quoi nous pouvons nous attendre très prochainement.

En 1495, Léonard de Vinci aurait exposé un chevalier mécanique lors d’une célébration organisée par Ludovico Sforza à la cour de Milan. Le chevalier robot pouvait se tenir debout, s’asseoir, lever sa visière et manœuvrer ses bras de manière indépendante, et possédait une mâchoire anatomiquement correcte. L’ensemble du système robotique était actionné par une série de poulies et de câbles, le tout parfaitement fonctionnel.

En 1810, Friedrich Kaufmann dévoila à Dresde, en Allemagne, un soldat mécanique équipé d’une trompette. Actionnée par une manivelle, cette machine activait un soufflet pour faire sonner la trompette. Bien que primitive, cette machine est considérée encore aujourd’hui comme le premier robot humanoïde. Les habitants de l’époque ont sûrement dû croire qu’une révolution était en route et que ces machines allaient rapidement se proliférer. Pourtant, deux siècles plus tard, cette vision reste largement inaccomplie.

En 2000, Honda introduisit ASIMO, un robot humanoïde en développement depuis 14 ans. ASIMO était capable de courir, de marcher, de reconnaître visages, voix, postures et d’interagir avec son environnement, et a vivement marqué les esprits. La plupart des lecteurs de cet article se souviendront sûrement de l’avoir vu à la télévision. Il semblait que l’ère des robots humanoïdes était enfin arrivée et qu’ils seraient partout dans les années suivantes. Cependant, cette prolifération dans notre quotidien n’a pas eu lieu.

En 2013, Boston Dynamics présenta son robot HD Atlas, doté de capacités de déplacement et d’équilibre impressionnantes, capable de sauter, de faire du parkour et de garder l’équilibre lorsqu’il est poussé. Cette prouesse technique a renouvelé les attentes quant à l’avenir des robots dans la société. “Cette fois, c’est la bonne” se disait-on, et pourtant, l’adoption massive de ces technologies dans notre quotidien ne s’est encore une fois pas réalisée…

Ces machines, bien qu’impressionnantes en vidéo, sont dotées d’algorithmes de contrôle très rigides, incapables de s’adapter à la moindre variation de l’environnement ; un obstacle imprévu, une marche plus haute que d’habitude, et le robot tombe ; les rendant totalement inadaptés à une utilisation quotidienne en environnement réel. Ces réalisations, bien que remarquables sur le plan mécanique et électronique, manquaient cruellement de la flexibilité cognitive nécessaire à une utilité pratique. Autrement dit, il leur manquait un “cerveau”.

C’est alors qu’en 2018, des chercheurs de Google publièrent un article de recherche qui allait tout changer : Attention is all you need. Cet article présente une nouvelle architecture d’IA appelée le Transformer, qui présente de nombreux atouts face aux modèles existants, dont une haute capacité de parallélisation. Ce modèle est tellement efficace qu’il est a l’origine de tous les outils d’IA générative que l’on connait aujourd’hui, dont GPT4, pour Generative Pre-trained Transformer v4.

Quand un Transformer est entraîné sur du texte, on parle alors de modèle de langage à grande échelle (LLM). Ces modèles, capables de comprendre des instructions et de générer des réponses cohérentes, sont actuellement en train de transformer notre manière de travailler. En arrière-plan se prépare une révolution encore plus grande, car ces LLM ont rapidement évolués vers des fonctionnalités multimodales, i.e. capables de traiter et générer non seulement du texte mais aussi des images, des vidéos, de la musique, et des actions motrices ! En effet, le voici notre “cerveau” robotique généraliste que l’on attendait tant. Les LLM sont capable de donner aux robots humanoïdes une capacité à interagir avec le monde réel et d’apprendre à faire des tâches concrètes sans avoir été rigidement programmé pour. On parle alors de capacité “Zéro-shot”. On demande au robot de faire une tâche, e.g. “Fais-moi un café” ou “Fait la vaisselle” et celui-ci s’exécute sans pour autant avoir déjà été spécifiquement à notre modele de machine à café ou au type de vaisselle utilisé, comme en témoigne cette impressionnante vidéo de démonstration du Figure 01 augmenté avec GPT 4 Vision.

Les images des caméras du robot et les instructions transcrites de la parole capturées par les microphones embarqués sont soumises à un LLM Visuel. Celui-ci est ensuite capable d’identifier les éléments et leurs positions, et générer un set d’instructions pour effectuer la tâche, e.g.

1. Prendre la capsule de café
2. Ouvrir le levier de la machine
3. Insérer la capsule
4. Appuyer sur bouton

Etc.

Pour s’en rendre compte, prenez une photo de votre machine à café, et envoyez-la à GPT4. Demandez-lui ensuite comment s’en servir, celui-ci vous donnera alors sans faute la liste des actions à suivre pour faire un café.

Il faut ensuite transformer ces actions en commandes moteur sur les actionneurs du robot. Pour cela, on utilise un second réseau neuronal de manipulation. Celui-ci est entrainé à faire cette transformation et permet de produire les instructions suivantes :

• Poignet gauche : Translation [0.32m, 0.71m, 0m], Rotation [10°, 25°, -7°]
• Épaule gauche : Translation [0m, 0m, 0m], Rotation [-47°, 0°, 13°]

Etc.

Alternativement, Google Deepmind semble développer un modèle de Vision Language Action (VLA) combinant à la fois le LLM Visuel et le réseau neuronal de manipulation dans un seul modèle. Celui-ci peut prendre en entrée a la fois l’instruction, les images des caméras et l’état du robot (position des membres, orientation, etc..) et sortir directement les commandes des actionneur.

Le schéma ci-dessous représente ma compréhension personnelle de ce processus en s’inspirant des divers éléments présentés par Figure et DeepMind.

À noter également que les LLM Visuels sont très gourmands en puissance de calcul et qu’il est donc uniquement possible de les exécuter à basse fréquence (~ 10Hz), en particulier pour ordinateurs embarqués. Cependant, les signaux électriques des actionneurs nécessitent en général une fréquence beaucoup plus élevée (~ 1000Hz). Une des difficultés supplémentaires de la robotique est donc d’augmenter cette fréquence au fur et à mesure du processus de génération des commandes.

Mais alors, comment entraine t’on ces modèles ?

L’apprentissage par renforcement (RL) est une approche qui existe depuis longtemps. Il s’agit de donner un objectif à un robot sous la forme d’une fonction mathématique de récompense et de laisser ensuite au robot la capacité d’explorer diverses actions de manière aléatoire. Si ces actions mènent à la réussite de l’objectif, il gagne un point, autrement, il perd un point. Un réseau de neurones est entraîné sur ces données permettant ainsi d’apprendre à réaliser l’objectif.

Pour réaliser cet entrainement, des millions de tentatives aléatoires du robot sont nécessaires. Cela pourrait prendre à un robot des années à essayer toutes ces combinaisons dans le monde physique, sans compte la potentielle mise en danger des opérateurs à proximités face à un robots essayant des comportements aléatoires.

Il est donc désormais possible de créer un double digital du robot dans une simulation tel que Nvidia Omniverse et de reproduire fidèlement ses caractéristiques physiques, mécaniques, son poids, sa cinématique, sa taille, la puissance de ses actionneurs, les capacités de ses capteurs, etc. Il est alors possible de simuler les actions du robot à des vitesses des millions de fois supérieur à la réalité dans un monde digital, et de manière beaucoup plus sécurisée qu’en environnement physique.

Une fois le réseau de neurones entrainé en simulation, celui-ci est injecté dans le robot réel, et pour peu que la simulation soit assez proche de la réalité, le robot devrait être capable de reproduire les actions apprises en simulation dans le monde réel.

Tous les éléments sont donc aujourd’hui réuni pour construire ce fameux robot humanoïde généraliste capable d’accomplir n’importe quelle tache, et ce n’est maintenant qu’une question de temps avant qu’il ne soit littéralement partout. Des études prévoient des centaines de millions de robots humanoïdes déployés d’ici 2035.

Certains y voient un danger pour l’humanité, d’autre son salut, mais il est vrai qu’avec le manque croissant de mains d’œuvre dans les usines et 700 millions de personnes vieillissantes ayant besoin de soins à domicile, le robot humanoïde est déjà une nécessité pour beaucoup.

Avec 50 % du PIB mondial constitué de travail physique (soit 42 trilliards de dollars), de nombreux acteurs se sont déjà lancés dans cette nouvelle ruée vers l’or :

• Tesla en est déjà à la seconde version de son robot Optimus et planifie de les déployer dans ses usines, permettant ainsi de construire son Model 2 a des prix défiants toute concurrence.

• Figure AI, licorne estimée à 2.6 milliards de dollars et soutenue par Jeff Bezos, OpenAI et Nvidia, va bientôt déployer ses robots chez BMW.

• De même Apptronik va deployer ses robots chez Mercedes.

• Boston Dynamics à récemment présenté son nouveau Atlas électrique.

• Et la liste ne fait que s’allonger : Agility Robotics Digit, Apptronik Apollo, Unitree H1, Sanctuary AI Phoenix, Fourier Intelligence GR1, 1X NEO, etc.

IBM est bien sûr présent dans le domaine et a depuis 2021 un partenariat avec Boston Dynamics. IBM a également conçu des modèles d’IA qui donnent par exemple aux robots la capacité de lire des jauges analogiques et d’interpréter des images thermiques pour de la surveillance améliorée d’installations industrielles. Enfin, IBM développe aussi sa propre gamme de LLMs Granite et Obsidian pour des applications orientées vers l’entreprise.

Grâce à ce nouveau “cerveau”, les robots humanoïdes sont d’ores et déjà capables d’assumer des tâches répétitives, pénibles et dangereuses dans les milieux industriels. Il ne leur faudra ensuite que quelques années pour qu’ils soient partout, jusqu’à nos foyers où ils remplaceront notre basique Roomba pour accomplir beaucoup plus de tâches tel que cuisiner, ranger, donner des soins, etc. L’avenir de la robotique humanoïde, propulsé par les LLM Visuels et autres VLAs, semble plus que jamais à portée de main.

Aymeric Bethencourt est Docteur en Robotique et Lead Architect chez IBM. Il a travaillé au Commissariat de l’Energie Atomique (CEA) sur le développement d’Exosquelettes médicaux et militaires, puis à la Direction Générale de l’Armement (DGA), a ensuite rejoint OCTO Technology/Accenture en tant que consultant senior sur les technologies émergentes, et fut Directeur Technique dans une startup avant de rejoindre IBM sur des projets d’IA et d’informatique quantique.