Quão inteligente é a inteligência de máquina? A IA vence jogos, mas falha na verificação de realidade básica

Grandes modelos de linguagem podem até se sair muito bem ao dar direções pelas ruas de Nova York, mas novas pesquisas revelam que fazem isso sem realmente entender como a cidade se encaixa. Os modelos falham de forma espetacular quando se deparam com desvios simples, expondo que sua aparente expertise é apenas correspondência sofisticada de padrões.

As conclusões atingem uma questão central da inteligência artificial: se os sistemas de IA estão de fato desenvolvendo “modelos de mundo” — compreensões coerentes de como as coisas funcionam e se relacionam — ou apenas se tornando muito bons em imitar comportamentos corretos sem qualquer compreensão genuína. 

“O que descobrimos em nosso trabalho é que os modelos generativos podem produzir resultados impressionantes sem recuperar o modelo de mundo subjacente”, diz Ashesh Rambachan, professor assistente de Economia no MIT e um dos autores do artigo. “Quando vemos essas produções impressionantes, naturalmente acreditamos que esses modelos generativos estão aprendendo alguma verdade subjacente sobre o mundo — afinal, é difícil para mim imaginar uma pessoa que consiga navegar do ponto A ao ponto B em Nova York sem também acreditar que essa pessoa entende o mapa de Nova York.”

O desafio fundamental revelado no artigo do vice-presidente e sócio sênior da IBM, chefe global de tecnologia, dados e estratégia de IA, Brent Smolinksi, é que um grande modelo de linguagem "não pode fazer raciocínio dedutivo. Ele não está configurado para fazer isso. Ele está configurado para reconhecer padrões e reagir a esses padrões."

A equipe de Rambachan desenvolveu duas novas maneiras de medir o quanto os modelos de IA entendem seu ambiente: distinção de sequência e compressão de sequência. Eles testaram essas métricas usando autômatos finitos determinísticos (DFAs) em dois cenários: navegando pela cidade de Nova York e jogando Othello.

O que eles descobriram foi surpreendente. Modelos que aprenderam com jogadas aleatórias desenvolveram uma melhor compreensão do que aqueles treinados em jogo estratégico. O motivo? O treinamento aleatório expôs os modelos a muitas mais situações e transições possíveis, dando-lhes uma visão mais completa do ambiente do que os modelos que apenas viram movimentos estratégicos e "ideais".

Quando os pesquisadores testaram o estresse desses sistemas de IA, eles descobriram uma lacuna preocupante entre desempenho e compreensão. Os sistemas pareciam impressionantes à primeira vista, eles podiam gerar movimentos válidos com alta precisão. Mas por trás dessa fachada, quase todos os modelos falharam nos testes básicos de modelagem mundial.

Um exemplo revelador veio dos testes de navegação de Nova York. Os modelos de navegação se desfizeram quando os pesquisadores fizeram mudanças simples no mapa da cidade, adicionando desvios. Isso revelou que os modelos na verdade não entendiam de geografia da cidade ou princípios de roteamento — eles estavam apenas fazendo sugestões superficialmente corretas sem qualquer compreensão real.

Isso aponta para uma fraqueza crucial nos sistemas de IA atuais: eles podem ser muito bons em fazer previsões enquanto precisam de uma compreensão mais genuína do que estão trabalhando. De acordo com Smolinski, grandes modelos de linguagem podem parecer inteligentes, mas eles são muito bons em correspondência de padrões em vez de raciocínio real (dedutivo). Ele disse que quando esses sistemas de IA parecem resolver problemas lógicos, eles apenas reconhecem padrões que encontraram antes, não pensam nas coisas passo a passo. 

Smolinksi argumenta que a distinção fundamental é que precisamos de diferentes tipos de técnicas de IA trabalhando juntas — por exemplo, você pode ter uma para reconhecer padrões, outra para representar o conhecimento e um terceiro para raciocínio lógico para resolver um problema.

A descoberta de que os sistemas de IA mais sofisticados da atualidade podem acertar nos testes sem uma verdadeira compreensão vai direto ao ponto de um debate acirrado que está consumindo o Vale do Silício: se a inteligência artificial geral está chegando ou ainda está fundamentalmente fora de alcance.

A corrida para alcançar a inteligência artificial geral (AGI) tornou-se um dos debates mais controversos da tecnologia, destacando uma divisão cada vez mais profunda entre otimistas e céticos. Em salas de reuniões corporativas e laboratórios de pesquisa em todo o Vale do Silício, as conversas se concentram cada vez mais não apenas em se, mas em quando as máquinas corresponderão aos recursos cognitivos humanos.

O cronograma do desenvolvimento da AGI dividiu a comunidade de IA em dois campos distintos. De um lado estão os tecno-otimistas, que veem a AGI como um avanço iminente que poderia remodelar a sociedade durante nossa vida. Do outro estão os pragmáticos, que advertem que podemos estar a décadas de distância de máquinas que realmente pensam como humanos.

Essa discordância fundamental sobre os cronogramas da AGI não é apenas acadêmica - ela molda as prioridades de pesquisa, decisões de investimento e discussões de políticas em torno da segurança e regulamentação da IA. À medida que bilhões de dólares são direcionados para a pesquisa e o desenvolvimento da AGI, os riscos desse debate continuam aumentando.

Embora alguns líderes tecnológicos proeminentes, como Sam Altman, da OpenAI, tenham sugerido que a inteligência geral artificial (sistemas de IA que podem igualar ou exceder a cognição de nível humano em praticamente todas as tarefas) poderia chegar dentro de anos, Smolinski, da IBM, oferece uma visão mais cética. Ele argumenta que os sistemas de IA atuais, particularmente os grandes modelos de linguagem, são fundamentalmente limitados à correspondência de padrões em vez do raciocínio real.

Em vez de estarmos à beira de uma inteligência semelhante à humana, Smolinski sugere que "podemos nem estar no CEP certo" quando se trata da arquitetura necessária para a verdadeira AGI. Como ele diz diretamente: "eu distinguiria entre a IA que é útil para resolver problemas específicos e a IA geral... Ter um sistema que opera como um ser humano, que tem o mesmo tipo de processos de pensamento que um ser humano, ou resolução de problemas, ainda está a muitos anos de distância disso. Talvez nunca cheguemos lá."

Smolinski divide os recursos de IA em categorias claras, cada uma com propósitos diferentes. Por um lado, vocês têm grandes modelos de linguagem modernos semelhantes à IA, excelentes em reconhecimento de padrões, como ver semelhanças e tendências nos dados. Por outro lado, você tem sistemas tradicionais baseados em regras que podem seguir etapas lógicas. O verdadeiro desafio, ele explica, não é melhorar nenhum dos tipos, mas descobrir como combiná-los de forma eficaz.

Smolinski sugere que a IA neurosimbólica pode oferecer um caminho a seguir. Este ramo da IA tenta combinar redes neurais com raciocínio simbólico, embora seu potencial final ainda esteja por ser visto. Esses sistemas híbridos podem aprender com dados brutos e aplicar regras lógicas. Essa natureza dupla ajuda as máquinas a enfrentar desafios complexos, desde a análise da linguagem natural até a solução de problemas em ambientes dinâmicos, fornecendo explicações mais claras para suas decisões.

"Acho que isso se mostra mais promissor para a verdadeira inteligência", disse ele.