5 conseils pour mesurer la productivité de l’IA générative dans l’entreprise

L’IA générative a gagné en popularité dans le monde des entreprises en relativement peu de temps. Cette technologie a le potentiel d’améliorer l’efficacité et l’innovation de manière significative, de l’automatisation des workflows de routine à la génération d’informations à partir de grands jeux de données. 

À l’heure actuelle, les assistants d’IA augmentent la productivité en renforçant les capacités individuelles des utilisateurs. La prochaine étape de l’évolution des méthodes de travail et du conseil, c’est l’IA agentique : un agent humain supervise une équipe d’agents d’IA autonomes qui effectuent des tâches et communiquent entre eux. Selon Jill Goldstein, directrice associée mondiale pour la transformation des RH et des talents chez IBM Consulting, « les entreprises vont devoir réévaluer leurs processus de travail actuels et créer de nouveaux types d’équipes où les agents humains superviseront des groupes d’agents d’IA autonomes ».

Pour exploiter pleinement le potentiel de l’IA, nous devons établir des cadres mesurant non seulement les résultats individuels, mais aussi la coordination des agents d’IA travaillant aux côtés des humains. Mais la quantification des impacts concrets sur la productivité peut s’avérer complexe, en particulier compte tenu de la collaboration étroite entre les humains et les machines sur la réalisation de ces tâches professionnelles. En d’autres termes, la question n’est pas de savoir si l’IA sera déployée pour augmenter la productivité, mais comment mesurer et utiliser au mieux les outils à la disposition de l’entreprise.

Chez IBM Consulting, nous avons abordé cette problématique avec la mise en place d’un laboratoire de mesure de la productivité interne : il établit des cadres et des méthodes permettant d’évaluer la productivité de nos consultants avec l’adoption de l’IA. Nous sommes convaincus que ces cadres jouent un rôle critique non seulement pour une adoption réussie, mais aussi pour des mesures utiles et tangibles de son succès. Ils se sont également montrés indispensables en fournissant des données exploitables pour éclairer le développement continu de notre plateforme de prestation alimentée par l’IA, IBM Consulting Advantage, qui vient renforcer la prestation de services de nos consultants avec des agents, des applications et bien plus encore.

Ce processus nous a permis de tirer cinq leçons importantes à suivre pour mesurer au mieux la productivité liée à l’utilisation de l’IA dans un environnement d’entreprise :

1. Penser en contexte
2. Comparer les indicateurs clés à un groupe de contrôle
3. Impliquer des utilisateurs avec différents niveaux de compétence
4. Mesurer la vitesse d’adaptation des utilisateurs humains au système
5. Tenir compte du cycle de vie complet du projet

Pour évaluer l’impact de l’IA générative, il est essentiel de prendre en compte le contexte spécifique dans lequel elle est appliquée. Les outils d’IA fonctionnent différemment selon les secteurs, les services et les tâches, ce qui signifie qu’une évaluation à taille unique ne permettra pas d’obtenir des informations précises.

Jill Goldstein partage cette idée : « Pour tirer parti de l’IA générative, les dirigeants doivent d’abord l’envisager dans le contexte de leur personnel. En d’autres termes, la technologie adaptée doit être appliquée au bon endroit et le personnel doit recevoir les connaissances techniques nécessaires pour utiliser ces outils de manière efficace. »

Ainsi, l’impact de l’IA sur une équipe d’ingénierie sera différent de son impact sur un employé du service client. Un développeur qui utilise un assistant de codage pourra constater un déploiement de code plus rapide avec moins d’erreurs, tandis qu’un agent chargé de l’expérience client pourra s’attendre à des temps de réponse plus rapides.

Un processus de mesure de la productivité efficace permet d’identifier le problème spécifique que l’IA est censée résoudre, ce qui permet aux chercheurs d’évaluer sa pertinence avec précision.

Pour réellement comprendre l’impact de l’IA générative, et la manière dont les humains utilisent un assistant ou un outil, il est nécessaire de mesurer leurs performances par rapport à un groupe de contrôle qui n’emploie pas l’IA. Cette méthode permet aux chercheurs de déterminer si les améliorations sont directement attribuables au système d’IA.

Dans le cadre des recherches de notre laboratoire de mesure de la productivité, nous identifions des groupes d’utilisateurs aussi similaires que possible et nous leur demandons de mener un projet identique imitant un scénario réel : un groupe exécute le projet de manière traditionnelle, l’autre avec l’aide de l’IA. De là, nous pouvons quantifier des indicateurs clés tels que la rapidité, la qualité, le coût et la précision et les comparer entre les deux groupes. 

L’impact de l’IA générative sur la productivité peut varier considérablement en fonction du niveau de compétence de l’employé qui utilise le système. Il est donc important d’évaluer les performances de l’IA en fonction de l’expertise de l’utilisateur. Les niveaux de compétence et d’expertise ne doivent pas être considérés uniquement sous l’angle de l’ancienneté ou des années d’expérience, mais plutôt sous l’angle des compétences pertinentes ou ciblées requises pour la réalisation d’une tâche particulière.

Dans une étude récente évaluant un assistant de codage, nous avons formé deux équipes chargées d’effectuer la même tâche avec l’aide de l’IA : l’une avait un niveau de compétence plus élevé que l’autre. Nous avons constaté une variation significative du niveau de productivité de chaque groupe par rapport au groupe témoin, ce qui suggère que l’interaction homme-machine et la capacité à communiquer efficacement avec le système ont un impact majeur sur le retour sur investissement de l’outil. 

Le succès de l’IA générative dans un environnement d’entreprise dépend souvent de la rapidité et de l’efficacité avec lesquelles le personnel parvient à s’y adapter. L’IA générative est conçue pour augmenter les capacités humaines, ce qui peut nécessiter une période d’apprentissage et d’ajustement. Mesurer l’adoption humaine des systèmes d’IA et leur intégration est essentiel pour évaluer l’impact global du système.

Au cours de nos recherches, nous avons découvert que certains groupes s’adaptaient moins rapidement aux assistants d’IA, qu’ils nécessitaient une plus longue période d’intégration et d’expérimentation avant de pouvoir utiliser l’outil de manière productive. Nous avons également découvert que l’intégration d’un assistant aux outils existants de l’équipe était un facteur majeur de son impact sur la productivité.

Pour mesurer efficacement cette variable, nous recommandons de surveiller et d’observer les sujets de recherche en continu afin de déterminer la rapidité avec laquelle ils sont capables de s’adapter.

L’impact de l’IA générative sur la productivité s’étend à la gestion de ses résultats. Mesurer la facilité ou la difficulté associée à la mise à jour ou à la gestion des résultats générés par l’IA est un aspect clé de l’évaluation de son effet global.

Dans une étude sur la productivité des employés utilisant un assistant de codage, par exemple, nous avons remarqué que certaines équipes généraient moins de lignes de code, mais qu’elles obtenaient les mêmes résultats, se traduisant par une maintenance réduite.

Dans d’autres applications de l’IA, cette mesure peut impliquer le calcul de l’effort humain nécessaire pour superviser ou auditer le contenu généré par l’IA. Si l’IA effectue une tâche nécessitant des révisions ou des mises à jour importantes, la productivité nette peut être inférieure aux prévisions. 

À l’horizon 2025 et à l’heure où les entreprises cherchent à mesurer l’impact de leurs investissements dans l’IA générative, de telles recherches deviennent encore plus indispensables. Jill Goldstein souligne cet état de fait : « Les organisations doivent développer des cadres de mesure de la productivité pour comprendre le rôle de l’IA dans le renforcement des capacités du personnel et la résolution de leurs défis. Avec ces données à disposition, les dirigeants peuvent identifier les cas d’utilisation à fort impact, privilégier les efforts en matière d’IA et maximiser le ROI. »

Nos premières conclusions suggèrent que la valeur de l’IA d’une entreprise est profondément liée à la façon dont les employés humains peuvent l’utiliser : ont-ils les connaissances nécessaires pour l’interroger efficacement ? L’assistant s’intègre-t-il bien à leurs workflows habituels quotidiens ?

Au laboratoire de mesure de la productivité d’IBM Consulting, nous utilisons ces informations pour améliorer et développer nos outils en permanence, l’objectif étant de créer des relations homme-machine plus efficaces et de tirer parti du plein potentiel de l’IA.