Los 5 mejores consejos para medir la productividad de la IA generativa en una empresa

La IA generativa ganó una enorme tracción en el mundo empresarial en un periodo de tiempo relativamente corto La tecnología tiene el potencial de impulsar mejoras significativas en la eficiencia y la innovación, desde la automatización de flujos de trabajo rutinarios hasta la generación de insights a partir de grandes conjuntos de datos. 

En este momento, los asistentes de IA están aumentando la productividad al ampliar las capacidades individuales. La siguiente evolución en formas de trabajo y consultoría es la IA agéntica, en la que un humano supervisa a un equipo de agentes de IA autónomos que realizan tareas y se comunican entre sí. Según Jill Goldstein, gerente global asociado de RR. HH. y Transformación del Talento en IBM Consulting: “las empresas necesitarán reevaluar sus procesos de trabajo actuales y crear nuevos tipos de equipos en los que los humanos supervisen grupos de agentes de IA".

Para aprovechar al máximo el potencial de la IA, debemos establecer infraestructuras de medición de la productividad que no solo midan los resultados individuales, sino también la coordinación de los agentes de IA que trabajen junto con los humanos. Pero cuantificar los impactos reales en la productividad, en particular teniendo en cuenta la estrecha colaboración entre humanos y máquinas para realizar tareas en el lugar de trabajo, puede ser un proceso complejo. En otras palabras, la pregunta hoy no es si se desplegará la IA para aumentar la productividad, sino cuál es la mejor manera de medir y emplear las herramientas a disposición de una empresa.

En IBM Consulting abordamos esta cuestión mediante la creación de un laboratorio interno de medición de la productividad que crea marcos y métodos para hacerlo a medida que nuestros consultores adoptan la IA. Creemos que estos marcos son críticos no solo para una buena adopción, sino también para proporcionar mediciones útiles y tangibles del éxito. También han sido indispensables para proporcionar datos aplicables en la práctica para sustentar el desarrollo continuo de nuestra plataforma de entrega impulsada por IA, IBM Consulting Advantage, que potencia la entrega a los clientes de nuestros consultores con agentes de IA, aplicaciones y más.

A través de este proceso, identificamos 5 lecciones clave sobre la mejor manera de medir la productividad del uso de la IA en un entorno empresarial:

1. Piense contextualmente
2. Mida las métricas clave con respecto a un grupo de control
3. Involucre a los usuarios con diferentes niveles de habilidades
4. Mida la rapidez con la que los humanos se adaptan al sistema
5. Considere el ciclo de vida completo del proyecto

Al evaluar el impacto de la IA generativa, es fundamental tener en cuenta el contexto específico en el que se aplica. El rendimiento de las herramientas de IA varía en función de las industrias, los departamentos y las tareas, por lo que una evaluación única no arrojará insights precisos.

Goldstein se hace eco de esta idea: “Para capturar el valor de la IA generativa, los líderes deben primero visualizarla dentro del contexto de su fuerza laboral. Esto significa contar con la Tecnología adecuada en el lugar correcto y equipar a la fuerza laboral con la perspicacia técnica para usar las herramientas de manera efectiva".

Por ejemplo, el impacto de la IA en un equipo de ingeniería difiere de su efecto en un empleado de atención al cliente. Un desarrollador que emplee un asistente de programación podría ver un despliegue de código más rápido y con menos errores, mientras que un agente de experiencia del cliente podría esperar tiempos de respuesta más rápidos.

Un proceso de medición de productividad exitoso identifica el problema específico que la IA intenta resolver, lo que permite a los investigadores evaluar su impacto relevante con precisión.

Comprender realmente el impacto de la IA generativa y la forma en que los humanos usan un asistente o una herramienta, requiere medir el rendimiento en comparación con un grupo de control que no use IA. Este método permite a los investigadores ver si las mejoras se atribuyen directamente al sistema de IA.

En nuestra investigación de laboratorio de medición de productividad, identificamos grupos de usuarios que son lo más similares posible y les pedimos que ejecuten un proyecto idéntico que imite un escenario del mundo real: un grupo de manera tradicional y otro con IA. A partir de ahí, podemos cuantificar métricas clave como la velocidad, la calidad, el costo y la precisión entre estos dos grupos. 

El impacto de la IA generativa en la productividad puede variar significativamente según el nivel de habilidad del empleado que emplea el sistema. Teniendo esto en cuenta, es importante evaluar el rendimiento de la IA en diversos niveles de experiencia del usuario. Los niveles de habilidad y la experiencia no deben analizar únicamente a través de la lente de la antigüedad o los años de experiencia, sino más bien de las habilidades relevantes o específicas que se requieren para la implementación de una tarea en particular.

En un estudio reciente que evaluó un asistente de código, formamos dos equipos que realizaban la misma tarea aumentada con IA: uno con un nivel de habilidad más alto y otro con menos experiencia. Encontramos una variación significativa en el nivel de productividad de cada grupo en comparación con el grupo de control, lo que sugiere que la interacción hombre-máquina y la capacidad de comunicarse con el sistema de manera efectiva tuvieron un impacto importante en el retorno de la inversión de la herramienta. 

El éxito de la IA generativa en un entorno empresarial a menudo depende de la rapidez y la eficacia con la que una fuerza laboral pueda adaptarse a ella. La IA generativa está diseñada para aumentar las capacidades humanas, lo que puede requerir una curva de aprendizaje y un periodo de ajuste. Medir la adopción humana y la integración con los sistemas de IA es crucial para medir el impacto general del sistema.

En nuestra investigación, descubrimos que algunos grupos se adaptan menos rápidamente a los asistentes de IA, lo que requiere más incorporación y experimentación antes de poder usar la herramienta de forma productiva. También descubrimos que la integración de un asistente con las herramientas específicas del equipo existentes era un factor importante en la forma en que afectaba la productividad.

Para medir eficazmente esta variable, recomendamos monitorear y observar continuamente a los sujetos de investigación para identificar qué tan rápido pueden adaptarse.

El impacto de la IA generativa en la productividad se extiende a cómo se deben mantener los resultados. Medir lo fácil o difícil que es actualizar o gestionar los resultados generados por la IA es un aspecto clave de su efecto general.

Por ejemplo, en un estudio de la productividad de un asistente de código, observamos que algunos equipos generaban menos líneas de código y lograban los mismos resultados, lo que reducía el mantenimiento.

En otras aplicaciones de IA, esta medición puede implicar el cálculo del esfuerzo humano necesario para monitorear o auditar el contenido que genera la IA. Si la IA realiza trabajos que requieren revisiones o actualizaciones extensas, la productividad neta podría ser menor de la esperada. 

De cara a 2025, este tipo de investigaciones se vuelven aún más imperativas a medida que las compañías buscan medir el impacto de sus inversiones en la IA generativa. Goldstein subraya esta noción cuando señala: "Las organizaciones deben desarrollar la medición de la productividad para obtener insights sobre cómo la IA está aumentando las capacidades de la fuerza laboral y abordando los desafíos. Con estos datos de la fuerza laboral al alcance de la mano, los líderes pueden identificar casos de uso de alto impacto, priorizar las actividades de la IA y maximizar el retorno de la inversión (ROI)".

Nuestros primeros hallazgos sugieren que el valor de la IA de una compañía está profundamente ligado a cómo los humanos pueden usarla: si tienen el conocimiento para consultarla de manera efectiva o qué tan bien se integra el asistente con los flujos de trabajo que están acostumbrados a usar todos los días.

En el laboratorio de medición de productividad de IBM Consulting, estamos utilizando estos insights para modificar y hacer crecer continuamente nuestras herramientas, con el objetivo de crear relaciones hombre-máquina más eficientes y materializar el verdadero poder de la IA.