A IA pode escrever código, mas será capaz de superar os engenheiros de software?

A inteligência artificial pode produzir código, mas não consegue pensar como um engenheiro de software.

Essa é a conclusão de uma nova pesquisa do Computer Science and Artificial Intelligence Laboratory do MIT, que descobriu que, embora os grandes modelos de linguagem (LLMs) se destaquem na geração de trechos de código, eles ficam aquém do raciocínio sofisticado, do planejamento e da colaboração que a engenharia de software do mundo real exige. O estudo, conduzido em colaboração com pesquisadores de Stanford, UC Berkeley e Cornell e apresentado na International Conference on Machine Learning desta semana, desafia as suposições sobre a prontidão da IA para transformar o desenvolvimento de software.

"O planejamento de código de horizonte longo requer um grau sofisticado de raciocínio e interação humana", disse Alex Gu, candidato a doutorado no MIT CSAIL e principal autor do estudo, em entrevista ao IBM Think. "O modelo deve considerar várias compensações, como desempenho, memória, qualidade do código etc., e usar isso para decidir com precisão como projetar o código."

As ferramentas de programação de IA são agora um elemento básico do desenvolvimento de software moderno. Em 2025, 82% dos desenvolvedores relataram usar ferramentas de programação de IA semanalmente ou mais, e 59% disseram que contavam com três ou mais assistentes em seu fluxo de trabalho. Outros 78% relataram ganhos claros de produtividade, demonstrando o quanto a IA está moldando a forma como o código é escrito atualmente.

A pesquisa do MIT define o que chama de "planejamento de código de horizonte longo" como uma limitação fundamental dos sistemas de IA atuais. De acordo com Gu, isso envolve raciocinar sobre como o código se encaixa em sistemas maiores e considerar as consequências globais das decisões locais.

"O planejamento de código de horizonte longo requer um grau sofisticado de raciocínio e interação humana", disse Gu. "O modelo deve considerar compensações como desempenho, memória e qualidade do código, e usar isso para decidir como projetar o código."

Gu apontou o exemplo de projetar uma nova linguagem de programação. A tarefa, explicou ele, exige considerar todas as várias maneiras de usar a linguagem, decidir quais funções de API expor e pensar nos padrões de uso do usuário. O estudo observa que os modelos também devem raciocinar sobre os efeitos globais das mudanças no código local, pois pequenas alterações no projeto de uma única função podem se propagar para o restante da base de código.

A pesquisa do MIT identifica problemas com a forma como os recursos de programação de IA são avaliados atualmente. De acordo com Gu, a maioria dos benchmarks de programação se concentra na geração de programas pequenos e autocontidos do zero, o que não reflete a realidade da engenharia de software em grande escala.

"Um aspecto que mencionamos é a diversidade de tarefas: embora a engenharia de software do mundo real [SWE] envolva tarefas como teste ou manutenção de software, essas raramente são refletidas nos benchmarks atuais", disse Gu.

Igualmente importante, ele acrescentou, é a capacidade dos sistemas de IA de inferir a intenção do usuário, uma habilidade essencial para adaptar soluções a casos de uso específicos. “Um site para uma empresa provavelmente precisa ser mais robusto do que um site projetado para diversão.”

A pesquisa descobriu que os LLMs têm melhor desempenho em tarefas que se assemelham aos exemplos vistos durante o treinamento, criando desafios para projetos que dependem de linguagens de programação de poucos recursos ou bibliotecas especializadas. De acordo com Gu, linguagens de baixos recursos e bibliotecas especializadas aparecem com relativa pouca frequência nesse conjunto de dados e, portanto, os LLMs têm mais dificuldades com elas.

"A execução dessas tarefas depende mais da extrapolação para dados e domínios não vistos (generalização), o que muitas vezes é mais difícil do que reiterar código semelhante à distribuição de treinamento", disse Gu.

Segundo o estudo, essa limitação significa que os agentes de programação de IA tendem a ser menos eficazes em sistemas legados, ambientes de computação científica e ferramentas internas, onde a documentação pode ser limitada.

O estudo do MIT identifica a necessidade de sistemas de IA para desenvolver um modelo semântico preciso da base de código de um projeto. De acordo com Gu, isso envolve entender a estrutura de software, como os componentes interagem e como essas relações mudam com o tempo.

"Primeiro, a IA deve entender a estrutura da base de código e como as várias partes se reúnem", disse ele. “Em segundo lugar, deve entender como as funções individuais funcionam. Finalmente, deve atualizar seu modelo de base de código à medida que novas funcionalidades são adicionadas."

O estudo observa que os modelos de IA atuais não apresentam um estado persistente entre prompts, sem memória de como uma base de código evoluiu ou uma representação interna de sua arquitetura.

Apesar dessas limitações, os autores identificam várias áreas que podem melhorar. Gu disse que melhores benchmarks poderiam ajudar, especialmente se puderem avaliar sistemas de IA em uma gama mais ampla de tarefas, incluindo testes, manutenção e colaboração humano-IA.

Ele também vê promessas de curto prazo em áreas além da programação, principalmente na educação. “A IA já tem fortes recursos na resolução da maioria dos problemas do ensino fundamental e médio”, disse ele. “A IA tem muito potencial para otimizar os fluxos de trabalho existentes na educação, como a geração de problemas na prática, a classificação e a identificação dos equívocos dos alunos.”