O que é depuração de IA?

Em 9 de setembro de 1947, engenheiros que trabalhavam no computador Harvard Mark II encontraram uma mariposa presa em um de seus relés e a fixaram com fita adesiva em seu livro de registros – “primeiro caso real de um bug encontrado” –uma página que agora está no Smithsonian.¹ A cientista da computação Grace Hopper, da equipe do Mark II, popularizou a história, embora o termo seja anterior a ela: Thomas Edison reclamou de “bugs” em uma carta de 1878, e o Oxford English Dictionary remonta esse uso do termo na engenharia às décadas de 1870 e 1880.²

Os bugs de engenharia geralmente se dividem em três tipos.³ Erros de sintaxe quebram a gramática de uma linguagem de programação (um exemplo pode ser a falta de parênteses) e são detectados antes da execução do programa. Erros de tempo de execução ocorrem quando um código válido falha durante a execução, como por exemplo, uma divisão por zero. Os erros de lógica são os mais comuns: o programa é executado sem problemas, mas fornece a resposta errada.

Os desenvolvedores podem reagir com testes automatizados, testes de unidade que verificam cada pequeno trecho de código em relação aos resultados esperados, e com depuradores, que pausam um programa em execução para inspeção. Um ponto de interrupção, uma linha marcada onde a execução é interrompida, permite que o desenvolvedor percorra o programa passo a passo, examinando variáveis; o pdb integrado do Python é um exemplo típico. Uma falha completa geralmente produz um stack trace, um relatório das chamadas de função que levaram ao erro.⁴

Um estudo da Cambridge Judge Business School de 2013 estimou que desenvolvedores gastam, em média, metade do tempo de programação encontrando e corrigindo bugs, o que custa aproximadamente USD 312 bilhões por ano globalmente.⁵ A promessa da depuração assistida por IA, claro, é reduzir esse custo.

Um LLM é um sistema de aprendizado de máquina treinado com grandes quantidades de texto e código para prever o próximo "token" (palavra, bit de palavra ou símbolo), a mesma tecnologia de processamento de linguagem natural por trás de chatbots de IA, como ChatGPT ou Claude. No treinamento, ele efetivamente “lê” bilhões de linhas de código público, além de mensagens de erro, relatórios de bugs e correções. Quando um LLM chega ao mercado, ele provavelmente já viu milhões de bugs e digeriu suas resoluções.

Os dados de treinamento de código aberto documentados incluem conversas sobre "problemas" e "pull requests" no GitHub, registros em que desenvolvedores relatam bugs e correções, dando aos modelos especialmente treinados acesso a um histórico documental que mostra como o código defeituoso é reparado por programadores humanos.

Em um fluxo de trabalho comum de depuração de IA, o desenvolvedor fornece ao modelo o código relevante e a mensagem de erro ou stack trace; o modelo então explica a causa provável e sugere possíveis correções. Sistemas de pesquisa como o ChatDBG vão além, conectando LLMs a depuradores padrão como GDB, LLDB e pdb do Python para que um desenvolvedor possa fazer perguntas em linguagem simples: "por que x é nulo?", enquanto o modelo inspeciona o programa ao vivo, realiza a análise de causa raiz e propõe correções.6

Existem algumas limitações que os novatos na depuração de IA devem estar cientes. Primeiro, o contexto é importante, uma prática associada à engenharia de prompts. Prompts vagos são mais propensos a produzir diagnósticos vagos; uma abordagem mais útil é fornecer o erro exato, o teste de falha e o trecho de código suspeito. Os usuários também precisam estar cientes sobre a janela de contexto de um modelo: a quantidade máxima de texto (medida em "tokens," ou blocos de alguns caracteres cada) que um modelo pode considerar de uma só vez. Em bases de código complexas, os erros reais geralmente abrangem vários arquivos, como demonstra o benchmark SWE-bench de problemas reais do GitHub, e um modelo que não consegue abranger todo o código relevante em seu contexto pode ter dificuldades para analisá-lo.

A depuração de IA geralmente ocorre por meio de assistentes de AI Coding incorporados ou construídos em torno do espaço de trabalho de programação do desenvolvedor, normalmente um ambiente de desenvolvimento integrado (ou IDE). O GitHub Copilot, por exemplo, é um assistente de programação que pode sugerir código dentro de IDEs populares; Cursor e Windsurf são espaços de trabalho de programação orientados à IA que colocam esse tipo de assistência ainda mais no centro da experiência de programação.⁷ E à medida que a "engenharia agêntica" se torna a norma, alguns softwares são projetados com a janela de bate-papo do assistente de programação como o painel principal no qual o usuário humano interage com o IDE; esta é uma das maneiras de usar o IBM Bob, entre outras.

Frequentemente, os assistentes de codificação são agnósticos em relação ao modelo; o GitHub Copilot, por exemplo, pode usar modelos de fornecedores como OpenAI, Anthropic e Google; a xAI também descreveu seu modelo Grok Code Fast 1 como desenvolvido para fluxos de trabalho de agentes de programação e disponível por meio de ferramentas como Copilot, Cursor e Windsurf.^{8 9} Por sua vez, o IBM Bob usa vários modelos, roteando automaticamente as consultas para um modelo apropriado com base na complexidade e no custo; os materiais de lançamento de 2026 se referem a “uma combinação de modelos de ponta, incluindo Anthropic Claude, modelos de código aberto Mistral e IBM Granite, juntamente com modelos especializados e ajustados para raciocínio de código, segurança e previsão da próxima edição”.

Alguns agentes de depuração de IA são generalistas; outros são especialistas. No lado mais generalista, o agente de programação Copilot do GitHub, lançado em 2025, pode receber uma tarefa no GitHub, trabalhar em segundo plano usando GitHub Actions e enviar suas alterações propostas como pull request (um conjunto de alterações de código para um desenvolvedor humano avaliar).¹⁰ Com sua combinação de modelos, o IBM Bob também tende a ser generalista. Do lado especializado está o Copilot Autofix, que visa especificamente vulnerabilidades de segurança. Ela faz isso combinando o CodeQL, o mecanismo de verificação de código do GitHub, com explicações geradas por IA e sugestão de correções. A economia de tempo pode ser impressionante; o GitHub relata um tempo médio de correção de 28 minutos, em comparação com 1,5 horas manualmente.¹¹

Embora impressionantes, os resultados na vanguarda da IA generativa ainda são inconsistentes. Um estudo recente da IBM com CEOs, envolvendo 2.000 executivos-chefes, constatou que apenas 25% das iniciativas de IA entregaram o retorno sobre o investimento esperado nos últimos anos.

Os resultados mistos também se aplicam à depuração de IA. Em um estudo da DebugBench de 2024, pesquisadores descobriram que os modelos de código fechado ainda ficavam aquém do desempenho humano em geral, e que os erros de lógica eram significativamente mais difíceis de corrigir do que os erros de sintaxe e de referência.¹²

Ferramentas melhores e mais especializadas, no entanto, estão melhorando a perspectiva. O ChatDBG, por exemplo, conecta um LLM a um depurador em tempo real, dando-lhe visibilidade sobre o que exatamente o programa estava fazendo quando falhou (em vez de apenas o texto do código suspeito). Em uma avaliação, uma única consulta ao ChatDBG produziu uma correção aplicável para programas em Python em 67% dos casos; quando era permitida apenas uma pergunta de acompanhamento, essa taxa aumentava para 85%.¹³

Para complicar ainda mais o cenário, os critérios usados para avaliar os modelos estão em constante mudança. Uma versão mais robusta do famoso SWE-bench¹⁴, o SWE-bench Pro, foi projetado para ser mais realista e resistente à contaminação; em uma avaliação recente, os melhores modelos de ponta permaneceram abaixo de 25%, com o GPT-5 em 23,3%.¹⁵

O comportamento dos desenvolvedores pode estar mudando mais rápido do que é possível medir cientificamente. O estudo randomizado da METR, realizado no início de 2025, constatou que desenvolvedores experientes de código aberto levavam 19% mais tempo ao usar ferramentas de IA, mas a METR rapidamente considerou esses resultados desatualizados; uma continuação em 2026 encontrou algumas evidências de aumento de produtividade, acrescentando que essa aceleração era difícil de medir com precisão.¹⁶ A explicação da METR para essa dificuldade é reveladora: “Observamos um aumento significativo no número de desenvolvedores que optaram por não participar do estudo porque não desejam trabalhar sem IA, o que provavelmente enviesa para baixo nossa estimativa de aceleração assistida por IA.” 

O desenvolvimento (e a depuração) assistidos por IA claramente vieram para ficar. Mas, por enquanto, as ferramentas de depuração de IA provavelmente são mais bem compreendidas como assistentes poderosos, não pilotos automáticos confiáveis. Eles podem explicar stack traces, detectar erros de sintaxe e elaborar com rapidez possíveis correções. Mas os casos mais difíceis (erros de lógica, bases de código complexas e código sensível à segurança) ainda exigem testes, pontos de interrupção e revisões humanas qualificadas das correções antes de serem incorporadas à base de código.