As cinco principais dicas para medir a produtividade da IA generativa em uma empresa

A IA generativa ganhou enorme força no mundo empresarial em um período relativamente curto. A tecnologia tem o potencial de gerar melhorias consideráveis em eficiência e inovação, desde a automação de fluxos de trabalho de rotina até a geração de insights a partir de grandes conjuntos de dados. 

Neste momento, os assistentes de IA estão aumentando a produtividade ao ampliar capacidades individuais. A próxima evolução nas formas de trabalhar e de consultar é a IA agêntica, em que um humano supervisiona uma equipe de agentes de IA autônomos que realizam tarefas e se comunicam entre si. Segundo Jill Goldstein, Sócia-Gerente Global de Transformação de RH e Talentos na IBM Consulting, “as empresas terão que reavaliar seus processos de trabalho atuais e criar novos tipos de equipes onde humanos supervisionam grupos de agentes autônomos de IA”.

Para aproveitar totalmente o potencial da IA, devemos estabelecer frameworks de medição de produtividade que não apenas meçam a produção individual, mas também a coordenação dos agentes de IA trabalhando ao lado dos humanos. No entanto, quantificar os impactos no mundo real sobre a produtividade, especialmente considerando como humanos e máquinas trabalham juntos para realizar tarefas no ambiente de trabalho, pode ser um processo complexo. Em outras palavras, a questão de hoje não é se a IA será implementada para aumentar a produtividade, mas como medir e utilizar da melhor forma as ferramentas à disposição de uma empresa.

Na IBM® Consulting, abordamos essa questão criando um laboratório interno de medição de produtividade, que desenvolve frameworks e métodos para medir a produtividade à medida que nossos consultores adotam a IA. Acreditamos que esses frameworks são essenciais não somente para uma adoção bem-sucedida, mas também para apresentar medições úteis e tangíveis de sucesso. Eles também têm sido indispensáveis para apresentar dados práticos que orientam o desenvolvimento contínuo de nossa plataforma de entrega impulsionada por IA, o IBM Consulting Advantage, que potencializa a entrega de nossos consultores aos clientes com agentes de IA, aplicativos e outros.

Durante esse processo, identificamos cinco lições principais sobre como medir melhor a produtividade do uso da IA em um ambiente empresarial:

1. Pense contextualmente
2. Meça as principais métricas em relação a um grupo de controle
3. Envolva usuários com níveis de habilidade variados
4. Meça a velocidade com que os humanos se adaptam ao sistema
5. Leve em consideração o ciclo de vida completo do projeto

Na análise do impacto da IA generativa, é essencial considerar o contexto específico em que ela está sendo aplicada. As ferramentas de IA apresentam resultados diferentes conforme o setor, a área e a tarefa, de modo que uma avaliação única para todos os casos não gera percepções exatas.

Goldstein reforça essa ideia: “para capturar o valor da IA generativa, os líderes devem primeiro visualizá-la no contexto de sua força de trabalho. Isso significa ter a tecnologia certa no lugar certo e equipar a força de trabalho com o conhecimento técnico necessário para usar as ferramentas de forma eficaz”.

Por exemplo, o impacto da IA em uma equipe de engenharia difere do seu efeito sobre um funcionário de atendimento ao cliente. Um desenvolvedor que utiliza um assistente de codificação pode ver uma implementação de código mais rápida e com menos erros, enquanto um agente de experiência do cliente pode esperar tempos de resposta mais rápidos.

Um processo de medição de produtividade bem-sucedido identifica o problema específico que a IA se destina a resolver, permitindo que os pesquisadores avaliem seu impacto relevante com precisão.

Para compreender de fato o impacto da IA generativa e a forma como as pessoas utilizam uma ferramenta ou assistente, é necessário avaliar o desempenho em relação a um grupo de controle que não utiliza IA. Esse método permite aos pesquisadores verificar se as melhorias estão ligadas diretamente ao sistema de IA.

Em nossa pesquisa no laboratório de medição de produtividade, identificamos grupos de usuários o mais semelhantes possível e pedimos que realizassem um projeto idêntico que imitasse um cenário do mundo real: um grupo na forma tradicional e o outro com auxílio de IA. A partir disso, conseguimos quantificar métricas chave como velocidade, qualidade, custo e precisão entre esses dois grupos. 

O impacto da IA generativa na produtividade pode variar significativamente dependendo do nível de habilidade do funcionário que utiliza o sistema. Diante disso, é importante avaliar como a IA se comporta em diferentes níveis de expertise do usuário. Níveis de habilidade e expertise não devem ser vistos apenas pelo prisma da senioridade ou anos de experiência, mas sim pelas habilidades relevantes ou específicas necessárias para a implementação de uma tarefa em particular.

Em um estudo recente que avaliou um assistente de codificação, formamos duas equipes realizando a mesma tarefa com o auxílio de IA: uma com um nível de habilidade mais alto e outra com menos expertise. Encontramos uma variação significativa no nível de produtividade de cada grupo em comparação com o grupo de controle, sugerindo que a interação humano-máquina e a capacidade de se comunicar com o sistema de forma eficaz tiveram um grande impacto no retorno sobre o investimento da ferramenta. 

O sucesso da IA generativa em um ambiente empresarial geralmente depende da rapidez e eficácia com que uma força de trabalho pode se adaptar a ela. A IA generativa foi projetada para aumentar os recursos humanos, o que pode exigir uma curva de aprendizado e um período de adaptação. Medir a adoção humana e a integração com sistemas de IA é crucial para medir o impacto geral do sistema.

Em nossa pesquisa, descobrimos que alguns grupos se adaptam com menos rapidez aos assistentes de IA, exigindo mais integração e experimentação antes de poderem usar a ferramenta de forma produtiva. Também descobrimos que a integração de um assistente com ferramentas específicas da equipe existentes era um fator importante no impacto da produtividade.

Para medir efetivamente essa variável, recomendamos monitorar e observar continuamente os sujeitos de pesquisa para identificar a rapidez com que são capazes de se adaptar.

O impacto da IA generativa na produtividade se estende à forma como sua saída precisa ser mantida. Medir a facilidade ou o desafio de atualizar ou gerenciar os resultados gerados pela IA é um aspecto fundamental do seu efeito geral.

Por exemplo, em um estudo sobre a produtividade de um assistente de código, observamos que algumas equipes produziram menos linhas de código mantendo os mesmos resultados, o que reduziu a manutenção.

Em outras aplicações de IA, essa medição pode envolver o cálculo do esforço humano necessário para supervisionar ou revisar o conteúdo gerado pela IA. Se a IA realizar tarefas que exijam muitas revisões ou atualizações, a produtividade líquida pode ser menor do que o esperado. 

À medida que avançamos para 2025, estudos como este se tornam ainda mais cruciais, já que as empresas procuram avaliar os resultados de seus investimentos em IA generativa. Goldstein destaca esse ponto, dizendo: “As organizações devem criar frameworks de medição de produtividade para entender como a IA está potencializando os recursos da força de trabalho e resolvendo desafios. Com esses dados da força de trabalho disponíveis, os líderes podem identificar casos de uso de alto impacto, priorizar iniciativas de IA e otimizar o ROI.”

Nossas descobertas iniciais indicam que o valor da IA de uma empresa está profundamente ligado à forma como os humanos conseguem utilizá-la: se possuem o conhecimento necessário para consultá-la de maneira eficaz ou quão bem o assistente se integra aos fluxos de trabalho que utilizam diariamente.

No laboratório de medição de produtividade da IBM Consulting, estamos usando esses insights para ajustar e expandir continuamente nossas ferramentas, com o objetivo de criar relacionamentos homem-máquina mais eficientes e perceber o verdadeiro poder da IA.