Qu’est-ce que l’observabilité de l’IA ?

Les outils d’observabilité traditionnels permettent de comprendre l’état interne d’un système complexe à l’aide des trois piliers de l’observabilité : les journaux, les traces et les indicateurs. Les applications d’IA et les agents IA ajoutent une couche de complexité qui requiert des outils d’observabilité spécifiques, capables d’optimiser la performance des modèles en surveillant les sorties de l’IA et en produisant des visualisations (souvent générées par cette dernière).

Contrairement aux logiciels traditionnels, les sorties des grands modèles de langage (LLM) et d’autres applications d’intelligence artificielle générative sont probabilistes. Des entrées identiques peuvent donner lieu à des réponses différentes : il devient alors plus difficile d’identifier la manière dont les entrées influencent les sorties, posant ainsi des problèmes aux outils d’observabilité conventionnels. Par conséquent, le dépannage, le débogage et le contrôle des performances sont plus complexes dans les systèmes d’IA générative.

De plus, l’explicabilité appliquée à l’IA, un domaine en pleine expansion qui vise à réduire les caractères « boîte noire » de nombreux modèles d’IA, ne permet pas encore d’expliquer pleinement comment ces modèles interagissent avec les systèmes et workflows informatiques plus larges. Les solutions d’observabilité de l’IA doivent donner la priorité aux éléments qu’elles peuvent mesurer et analyser efficacement. Cette priorisation est particulièrement importante lors de l’utilisation de modèles tiers tels qu’OpenAI ou Google, qui exécutent et gèrent les modèles de manière privée.

Les agents d’IA, à savoir les systèmes qui travaillent de manière autonome pour concevoir et exécuter des workflows à travers l’écosystème informatique, posent leurs propres défis spécifiques en matière d’observabilité et nécessitent une approche unique de la collecte de données. Près de la moitié des cadres interrogés en 2025 par l’IBM Institute for Business Value ont cité « un manque de visibilité sur les processus décisionnels des agents créant un obstacle important à la mise en œuvre » de l’IA agentique. L’observabilité de ces systèmes est cruciale pour leur adoption.

L’observabilité de l’IA consiste à collecter en temps réel des indicateurs spécifiques à l’IA sur toute la pile technologique et à les organiser dans un tableau de bord. L’observabilité de l’IA permet aux administrateurs de mieux comprendre le fonctionnement interne des modèles d’IA, tout en réduisant divers problèmes courants comme les goulots d’étranglement, les hallucinations et la latence.

Les plateformes d’observabilité se concentrent sur trois principaux types de télémétrie, qui ont leurs propres variantes spécifiques aux systèmes d’IA : les journaux, les traces et les indicateurs.

Les journaux sont des enregistrements granulaires, horodatés, complets et immuables des événements survenus au sein d’une application. Ils permettent notamment de créer, pour chaque événement survenant sur un système informatique, un enregistrement haute fidélité, milliseconde par milliseconde, accompagné de son contexte. Dans le développement de l’IA, les développeurs utilisent les journaux à des fins de dépannage et de débogage.

Les traces enregistrent le « parcours » de chaque requête utilisateur au sein de l’architecture et du modèle d’IA, de l’interface utilisateur ou de l’application mobile jusqu’au retour à l’utilisateur.

Les indicateurs sont essentiels pour mesurer l’état des applications et des systèmes au fil du temps. Par exemple, ils permettent de mesurer la quantité de mémoire ou la capacité de processeur utilisée par une application en cinq minutes, ou encore la latence subie par une application lors d’un pic d’utilisation.

Les agents IA, l’IA générative et d’autres systèmes d’IA tels que les grands modèles de langage produisent également leurs propres types de données de télémétrie, qui doivent être collectées et analysées pour fournir aux administrateurs des informations exploitables.

L’utilisation des tokens, la dérive des modèles et la qualité de la réponse sont trois points de données essentiels pour la plupart des projets d’observabilité de l’IA. Surveiller ces facteurs permet de réduire les problèmes de performance tout au long du cycle de vie du modèle et d’améliorer l’expérience utilisateur.

Les outils d’observabilité de l’IA peuvent également collecter des données de télémétrie plus classiques telles que l’utilisation des GPU, les goulots d’étranglement dans l’infrastructure réseau et le feedback de l’interface utilisateur, dès lors qu’elles sont pertinentes pour le modèle.

Un token est une unité de langage (généralement un mot ou une partie d’un mot) qu’un modèle d’IA peut comprendre. Le nombre de tokens traités par un modèle pour comprendre une entrée ou produire une production a un impact direct sur le coût et la performance d’une application basée sur un LLM. Une consommation de tokens plus élevée peut augmenter les dépenses opérationnelles et la latence de réponse.

Les indicateurs clés pour le suivi de l'utilisation des tokens sont les suivants :

• Le taux de consommation et le coût des tokens, qui permettent de quantifier les dépenses opérationnelles.
  
  
• L’efficacité des tokens, une mesure de l’efficacité avec laquelle chaque token est utilisé lors d’une interaction. Les interactions efficaces engendrent des sorties de qualité, tout en réduisant au minimum la consommation de tokens.
  
  
• Les schémas d’utilisation des tokens dans les différents types de prompts, qui permettent d’identifier toute utilisation gourmande en ressources des modèles.

Ces indicateurs peuvent aider les entreprises à identifier les possibilités d’optimisation pour réduire la consommation de tokens, par exemple en affinant les prompts pour fournir plus d’informations dans moins de tokens. En optimisant l’utilisation des tokens, les entreprises peuvent maintenir une qualité de réponse élevée tout en réduisant potentiellement les coûts d’inférence liés aux workloads de machine learning.

Contrairement aux logiciels traditionnels, les modèles d’IA risquent de modifier progressivement leur comportement de manière indésirable à mesure que les données du monde réel évoluent. Ce phénomène, connu sous le nom de dérive du modèle, peut fortement nuire à la fiabilité et aux performances des systèmes d’IA.

Les principaux indicateurs permettant de suivre la dérive du modèle sont les suivants :

• Changements dans les modèles de réponse au fil du temps pour identifier les incohérences émergentes.
  
  
• Variations dans la qualité ou la pertinence des sorties qui pourraient indiquer une baisse des performances du modèle.
  
  
• Des changements dans la latence ou l’utilisation des ressources qui peuvent signaler des inefficacités en matière de calcul.

Les mécanismes de détection des dérives peuvent fournir des alertes précoces lorsque la précision d’un modèle diminue pour des cas d’utilisation spécifiques, permettant aux équipes d’intervenir avant que le modèle ne perturbe les opérations métier.

Contrôler la qualité des sorties d’IA est essentiel pour maintenir la confiance, la fiabilité et la conformité. Les indicateurs clés permettant de suivre la qualité des réponses sont les suivants :

• Fréquence des hallucinations sur différents types de prompts pour identifier les éventuels déclencheurs de sorties inexactes.
  
  
• L’exactitude factuelle des réponses générées, bien que cet indicateur requière souvent une validation externe et une supervision humaine.
  
  
• Cohérence des sorties  pour des entrées similaires afin de vérifier la stabilité du modèle au fil du temps.
  
  
• La pertinence des réponses aux prompts pour évaluer l’alignement du modèle sur l’intention de l’utilisateur.
  
  
• Suivre la latence est essentiel pour les applications d’IA interagissant avec l’utilisateur, qui requièrent généralement de concilier vitesse et précision. En surveillant les temps de réponse à différents types de prompts, les entreprises sont en mesure d’identifier les problèmes de performance et les inefficacités en matière de calcul.

OpenTelemetry (OTel), un cadre open source pour la collecte et la transmission des données de télémétrie, permet de relever les défis d’observabilité posés par l’IA.

Pour les fournisseurs d’IA, OpenTelemetry constitue un moyen de normaliser le partage des données de performance sans exposer les informations du modèle propriétaire, ni le code source. Pour les entreprises, il garantit que les données d’observabilité circulent de manière cohérente dans les pipelines d’IA les plus complexes, qui comprennent plusieurs modèles, diverses dépendances et différents systèmes de génération augmentée par récupération (RAG).

Les principaux avantages d’OpenTelemetry en matière d’observabilité de l’IA sont les suivants :

• Indépendance à l’égard des fournisseurs : en évitant l’enfermement dans une plateforme d’observabilité particulière, les entreprises restent flexibles face à l’évolution des technologies d’IA.
  
  
• Visibilité de bout en bout : les données télémétriques circulent de manière cohérente à partir de tous les composants de l’infrastructure des applications d’IA.
  
  
• Pérennité : à mesure que les technologies d’IA évoluent, la norme OpenTelemetry peut s’adapter, garantissant que les stratégies d’observabilité restent pertinentes.
  
  
• Intégration de l’écosystème : les normes ouvertes permettent l’observabilité des solutions d’IA multifournisseurs et des modèles de déploiement hybrides.
  
  
• Normalisation des métadonnées : OpenTelemetry étant indépendant des fournisseurs, il permet aux développeurs de capturer les métadonnées essentielles liées à l’IA et de maintenir la visibilité dans l’ensemble de la pile, quels que soient les backends d’observabilité ou les fournisseurs qu’ils utilisent.

En raison de leur haut niveau d’autonomie et d’automatisation au sein du réseau, les agents IA requièrent une attention particulière de la part des plateformes d’observabilité, notamment concernant les actions qu’ils entreprennent dans le système et les journaux et traces associés à ces actions.

Les capacités mêmes qui rendent les agents d’IA si précieux, à savoir leur utilisation des LLM, leur rappel de conversations passées et l’utilisation d’outils externes, peuvent aussi les rendre difficiles à surveiller, à comprendre et à contrôler.

Voici quelques exemples d’actions courantes que l’agent IA pourra entreprendre : appeler une interface de programmation d’application (API) pour interagir avec un moteur de recherche, appeler un LLM pour produire un texte ou comprendre une entrée utilisateur humain, transférer les requêtes aux agents humains ou transmettre un avertissement automatique concernant une violation de la sécurité ou une faible disponibilité du calcul.

Si ces capacités permettent aux agents de travailler de manière indépendante, elles les rendent également beaucoup moins transparents que les applications traditionnelles basées sur des règles et une logique explicites et prédéfinies. En suivant les données associées à ces processus exploitant des agents, les administrateurs peuvent obtenir des informations sur le comportement de l’agent et tenter de prévenir les violations de conformité, les défaillances opérationnelles et l’érosion subséquente de la confiance des utilisateurs.

Voici quelques exemples de journaux uniques relatifs à l’observabilité des agents IA :

• Les journaux d’interaction utilisateur, qui documentent chaque interaction entre les utilisateurs et les agents IA.
  
  
• Les journaux d’interaction avec les LLM, qui documentent les interactions entre les agents et les LLM.
  
  
• Les journaux d’exécution des outils, qui déterminent quels outils et méthodes d’instrumentation les agents utilisent, à quel moment, quelles commandes ils envoient et quels résultats ils obtiennent.
  
  
• Journaux des décisions de l’agent, qui enregistrent la manière dont ce dernier est parvenu à telle ou telle décision ou action, le cas échéant.

Parmi les avantages de l’observabilité de l’IA, on note le contrôle du coût d’utilisation des modèles, la facilité de mise en conformité et l’amélioration du modèle lui-même.

Mieux comprendre la façon dont les outils alimentés par l’IA interagissent avec l’écosystème permet d’identifier les ressources gaspillées. Par exemple, si l’entreprise constate qu’un modèle n’utilise qu’une petite partie de la puissance de traitement qui lui est allouée, les équipes DevOps peuvent réduire les ressources ou les rediriger là où elles auront plus d’utilité.

Les outils d’observabilité de l’IA peuvent collecter, traiter et stocker automatiquement les données de télémétrie des agents IA pour des audits de conformité. Le support à l’audit gagne en importance dans un contexte où des lois comme la loi européenne sur l’IA, ainsi que divers projets de réglementation étatique aux États-Unis, ont suscité une vague d’efforts visant à standardiser l’utilisation de l’IA par les entreprises et à protéger toute donnée personnelle utilisée par les modèles.

Pour les développeurs de modèles, le volume de télémétrie collecté par les outils d’observabilité peut aider à réduire la dérive du modèle, à suivre quelles fonctionnalités sont les plus précieuses et utiles (ou les plus dysfonctionnelles) et à vérifier le biais et l’équité.

L’observabilité de l’IA consiste à comprendre les systèmes d’IA à travers leurs données de télémétrie, tandis que l’observabilité du machine learning est davantage axée sur la manière dont un outil d’IA utilise les données au niveau du modèle.

Comprendre la télémétrie en machine learning est essentiel, car les données qu’un modèle intègre et dont il apprend évoluent constamment. En explorant le fonctionnement interne du modèle, les administrateurs son en mesure de déterminer non seulement qu’il a évolué ou qu’il est devenu moins efficace, mais aussi pourquoi.

Les indicateurs clés utilisés dans l’observabilité du machine learning, et souvent des LLM, évaluent la qualité du modèle, les données qu’il ingère et la manière dont il interagit avec son infrastructure environnante.

Les différents types de modèles ont différents indicateurs de qualité que la plateforme d’observabilité pourrait suivre.

Pour un modèle de classification, qui trie les données selon des classes prédéfinies, les indicateurs de performance les plus courants sont les suivants :

• Précision : le nombre de prédictions correctes sur l’ensemble des prédictions réalisées
  
  
• Précision et rappel : mesure la pertinence des éléments sélectionnés
  
  
• Score F1 : une combinaison couramment utilisée de ces indicateurs

Les modèles de régression, quant à eux, sont souvent évalués à l’aide d’indicateurs comme la racine de l’erreur quadratique moyenne, qui mesure la différence moyenne entre les prédictions faites par le modèle et les points de données en question.

L’observabilité du machine learning peut mesurer la dérive des données (par exemple, les divergences importantes entre données d’entrée et données d’entraînement, ou une modification de la distribution statistique des prédictions), ainsi que des indicateurs de qualité des données simples, comme les valeurs manquantes et les types de valeurs erronés ou non valides. Grâce à ces indicateurs, les outils d’observabilité du machine learning peuvent analyser les causes racines pour comprendre, voire prévenir la dérive du modèle.

Souvent, l’observabilité du machine learning mesure également des indicateurs plus classiques, pertinents pour le modèle, comme la latence, l’utilisation de la mémoire et le débit, ou encore le nombre de prédictions que le modèle peut faire dans un laps de temps donné.