¿Qué tan inteligente es la inteligencia de las máquinas? La IA domina los juegos, pero falla en la verificación básica de la realidad

Los modelos de lenguaje grandes pueden sobresalir para dar instrucciones a través de las calles de la ciudad de Nueva York, pero una nueva investigación revela que lo hacen sin comprender realmente cómo encaja la ciudad. Los modelos fallan espectacularmente cuando se enfrentan a desvíos simples, exponiendo que su aparente experiencia es solo una sofisticada coincidencia de patrones.

Los hallazgos apuntan a una pregunta central en inteligencia artificial: si los sistemas de IA están desarrollando verdaderos "modelos mundiales" (comprensiones coherentes de cómo funcionan las cosas y se relacionan entre sí) o simplemente se están volviendo muy buenos para imitar el comportamiento correcto sin una comprensión genuina. 

"Lo que encontramos en nuestro trabajo es que los modelos generativos pueden producir resultados impresionantes sin recuperar el modelo mundial subyacente", dice Ashesh Rambachan, profesor asistente de economía en el MIT y uno de los autores del artículo. "Cuando vemos estos resultados impresionantes, naturalmente creemos que estos modelos generativos están aprendiendo alguna verdad subyacente sobre el mundo; después de todo, es difícil para mí imaginar a una persona que pueda navegar del punto A al punto B en Nueva York sin también creer esa persona entiende el mapa de Nueva York”.

El desafío fundamental revelado en el documento del vicepresidente y socio sénior de IBM, Brent Smolinksi, director global de tecnología, datos y estrategia de IA, es que un modelo de lenguaje grande “no puede hacer razonamiento deductivo. No está configurado para hacer eso. Está configurado para hacer reconocimiento de patrones y para reaccionar a esos patrones. "

El equipo de Rambachan desarrolló dos nuevas formas de medir la capacidad de los modelos de IA para comprender su entorno: la distinción de secuencias y la compresión de secuencias. Probaron estas métricas utilizando autómatas finitos deterministas (DFA) en dos escenarios: navegar por la ciudad de Nueva York y jugar a Othello.

Lo que encontraron fue sorprendente. Los modelos que aprendían de movimientos aleatorios desarrollaban una mejor comprensión que los capacitados en jugabilidad estratégica. ¿La razón? El entrenamiento aleatorio expuso a los modelos a muchas más situaciones y transiciones posibles, lo que les dio una imagen más completa de su entorno que los modelos que solo vieron mover estratégicos y "óptimos".

Cuando los investigadores sometieron a pruebas de estrés estos sistemas de IA, descubrieron una brecha preocupante entre rendimiento y comprensión. Los sistemas parecían impresionantes en la superficie - podían generar movimientos válidos y direcciones con alta precisión. Pero debajo de esta fachada, casi todos los modelos fallaron en las pruebas básicas de modelado mundial.

Un ejemplo revelador proviene de las pruebas de navegación realizadas en la ciudad de Nueva York. Los modelos de navegación se desmoronaron cuando los investigadores hicieron cambios simples en el mapa de la ciudad agregando desvíos. Esto reveló que los modelos en realidad no entendían la geografía de la ciudad o los principios de enrutamiento en absoluto; solo estaban haciendo sugerencias superficialmente correctas sin ninguna comprensión real.

Esto apunta a una debilidad crucial en los sistemas de IA actuales: pueden ser muy buenos para hacer predicciones mientras necesitan una comprensión más genuina de con qué están trabajando. Según Smolinski, los modelos de lenguaje grandes pueden parecer inteligentes, pero son muy buenos para la coincidencia de patrones en lugar del razonamiento real (deductivo). Dijo que cuando estos sistemas de IA parecen resolver problemas lógicos, en realidad solo reconocen patrones que han encontrado antes, sin pensar las cosas paso a paso. 

Smolinksi argumenta que la distinción clave es que necesitamos diferentes tipos de técnicas de IA que trabajen juntas; por ejemplo, puede tener una para reconocer patrones, otra para representar conocimiento y una tercera para razonamiento lógico para resolver un problema.

El hallazgo de que los sistemas de IA más sofisticados de hoy en día pueden superar las pruebas sin una verdadera comprensión llega al corazón de un feroz debate que ahora consume a Silicon Valley: si la inteligencia artificial general está a la vuelta de la esquina o sigue fundamentalmente fuera de nuestro alcance.

La carrera para lograr la inteligencia artificial general (AGI) se ha convertido en uno de los debates más polémicos en tecnología, destacando una brecha cada vez más profunda entre optimistas y escépticos. En las salas de juntas corporativas y los laboratorios de investigación de Silicon Valley, las conversaciones se centran cada vez más en no solo si las máquinas coincidirán con las capacidades cognitivas humanas, sino también en cuándo.

La línea de tiempo para el desarrollo de AGI ha dividido a la comunidad de IA en dos campos distintos. Por un lado, están los tecnooptimistas, que ven la AGI como un avance inminente que podría remodelar la civilización en el transcurso de nuestras vidas. Por otro lado, están los pragmáticos, que advierten que podemos estar a décadas de distancia de las máquinas que realmente Think como humanos.

Este desacuerdo fundamental sobre los plazos de la AGI no es meramente académico: influye en las prioridades de investigación, las decisiones de inversión y los debates políticos sobre la seguridad y la regulación de la IA. A medida que se invierten miles de millones de dólares en investigación y desarrollo de AGI, las apuestas de este debate Continuar aumentando.

Si bien algunos líderes tecnológicos prominentes como Sam Altman de OpenAI han sugerido que la inteligencia artificial general (sistemas de IA que pueden igualar o superar la cognición a nivel humano en prácticamente todas las tareas) podría llegar dentro de años, Smolinski de IBM ofrece una visión más escéptica. Sostiene que los sistemas actuales de IA, particularmente los modelos de lenguaje grandes, se limitan fundamentalmente a la coincidencia de patrones en lugar del razonamiento real.

En lugar de estar al borde de una inteligencia similar a la humana, Smolinski sugiere que "es posible que ni siquiera estemos en el código postal correcto" cuando se trata de la arquitectura necesaria para una verdadera AGI. Como lo dice directamente: "Yo distinguiría entre la IA que es útil para resolver problemas específicos y la IA general... Think que tener un sistema que funcione como un humano, que tenga el mismo tipo de procesos de pensamiento que un humano, o que resuelva problemas... estamos a muchos años de eso. Es posible que nunca lleguemos allí".

Smolinski divide las capacidades de la IA en categorías claras que cada una tiene un propósito diferente. Por un lado, tiene modelos de lenguaje grandes modernos similares a la IA excelentes para el reconocimiento de patrones, como ver similitudes y tendencias en los datos. Por el contrario, existen sistemas tradicionales basados en reglas que pueden seguir pasos lógicos. El verdadero desafío, explica, no es mejorar ninguno de los dos tipos, sino descubrir cómo combinarlos de manera efectiva.

Smolinski sugiere que la IA neurosimbólica podría ofrecer un camino a seguir. Esta rama de AI intenta combinar neural networks con razonamiento simbólico, aunque aún está por verse su potencial final. Estos sistemas híbridos pueden aprender a partir de datos en bruto y aplicar reglas lógicas. Esta naturaleza dual ayuda a las máquinas a abordar desafíos complejos, desde analizar el lenguaje natural hasta resolver problemas en entornos dinámicos, al tiempo que proporciona explicaciones más claras de sus decisiones.

"Think que muestra la mayor promesa para la verdadera inteligencia", dijo.