IBM et la NASA élaborent un modèle de fondation d’IA pour la météo et le climat

Share this post:

Les modèles de fondation présentent plusieurs avantages qui proviennent de leur capacité à traiter et à analyser des données brutes de plusieurs types, ce qui leur permet de former une représentation générale des données qui peut être ensuite adaptée à de nombreux scénarios spécifiques. Il s’agit d’une fonction importante dans un domaine comme le climat, où les conditions changent constamment dans le temps et l’espace, et où il existe de nombreux besoins en termes d’analyse en aval, au-delà de la prévision. 

Actuellement, peu de chercheurs ont accès aux ressources informatiques HPC (High Performance Computing) pour exécuter les modèles météorologiques traditionnels. L’entraînement des modèles de fondation peut nécessiter des dizaines de milliers d’heures de GPU (Graphics Processing Unit). Mais au moment de l’inférence, ils peuvent être exécutés en quelques minutes ou secondes et avec relativement peu de GPU.  L’émergence de modèles d’IA pré-entraînés signifie que le domaine de la modélisation météorologique et climatique s’est effectivement démocratisé. Cela permettra d’accélérer notre compréhension des effets du réchauffement climatique afin de trouver plus rapidement des solutions de mitigation.

Les modèles de fondation pourraient également améliorer la précision des prévisions pour d’autres applications climatiques. Le changement climatique de la planète est rapide et perturbe les schémas météorologiques à l’échelle mondiale. Pour les entreprises et les agences gouvernementales, plus tôt une catastrophe imminente peut être détectée, plus grandes sont les chances de sauver des vies et d’économiser de l’argent.

Déduire la dynamique de l’atmosphère à partir des données

Un modèle de fondation ne peut pas se contenter d’un rôle unique. Il doit être capable d’effectuer de nombreuses tâches et, idéalement, d’être entraîné sur de nombreux types de données. Cela est particulièrement important pour les prévisions météorologiques et climatiques, car de nombreux processus physiques ne peuvent souvent être observés que sur certaines périodes et à certaines échelles spatiales. Le phénomène météorologique cyclique El Niño, par exemple, se déroule sur plusieurs mois et sur la moitié du globe, tandis que le déclenchement d’une tornade peut prendre quelques minutes et résulter de phénomènes à l’échelle du sous-mètre.

Les capteurs fournissent un enregistrement continu et très localisé des changements de température, de vent et de pression. Les images satellites, en revanche, capturent les changements environnementaux à des intervalles plus longs et avec une résolution plus faible.

Le modèle de fondation proposé par IBM et la NASA sera initialement entraîné sur l’ensemble de données MERRA-2, une combinaison d’observations de haute qualité et d’estimations des conditions météorologiques passées au cours des 40 dernières années. Des données d’observation provenant de stations météorologiques fixes, de ballons météorologiques flottants et de satellites en orbite autour de la planète seront ajoutées ultérieurement. IBM et la NASA expérimentent actuellement des architectures de modèles et des techniques permettant d’intégrer ces différentes échelles temporelles et spatiales dans un modèle multimodal.

Autres défis

Les modèles d’IA actuels passent souvent à côté d’événements extrêmes. Cette tendance est un problème connu pour les modèles d’IA qui sont entraînés à ignorer les valeurs hors normes. Les fonctions de perte minimisent le risque de commettre de grosses erreurs, mais par conséquent, elles peuvent aussi manquer des événements extrêmes. Des méthodes visant à corriger cette tendance ont été mises en œuvre dans des modèles plus petits. Le défi d’IBM et de la NASA sera d’étendre ces travaux aux modèles de fondations.

L’avenir

L’objectif d’IBM et de la NASA est de créer un modèle de base d’IA multimodale pour les prévisions météorologiques et climatiques qui puisse être adapté à de nombreuses tâches en aval avec relativement peu de GPU. Les experts en IA d’IBM travailleront en étroite collaboration avec les climatologues et d’autres experts de la NASA pour tester et valider le modèle sur sept applications, notamment les prévisions météorologiques à 10-14 jours et des éléments tels que les tempêtes de poussière et les turbulences dans l’aviation.

Une fois entrainé, le modèle sera mis en libre accès sur Hugging Face, ce qui rendra la modélisation météorologique et climatique beaucoup plus accessible à la communauté mondiale des chercheurs. Ce travail s’inscrit dans le cadre d’un effort plus large d’IBM et de la NASA visant à développer des modèles de fondation qui peuvent répondre à certaines des questions les plus urgentes concernant l’évolution de notre climat et de notre environnement.