¿Puede la IA aprender a cuestionarse a sí misma?

Los sistemas de IA pueden sobresalir en las pruebas e imitar a los expertos, pero aún no saben cuándo levantar la mano y admitir que pueden estar equivocados.

Los modelos de lenguaje de gran tamaño (LLM) ahora pueden traducir texto, resumir información, generar código y mantener conversaciones con una fluidez sorprendente. Son rápidos, fluidos y a menudo convincentes. Pero no saben cuándo están adivinando, y pueden sonar confiados incluso cuando están confundidos o fuera de su alcance.

Lo que falta es una forma de dar un paso atrás y reflexionar; un sistema que sabe cuándo hacer una pausa y reevaluar. En los humanos, esta capa reflectante se conoce como metacognición, y los investigadores de IBM creen que una funcionalidad similar podría ser la clave para hacer que la IA sea más confiable y adaptable.

La becaria de IBM y líder global de ética de IA, Francesca Rossi y sus colegas están defendiendo una nueva arquitectura que separa la heurística rápida del razonamiento deliberado y superpone un sistema de supervisión reflexiva. La arquitectura, llamada SOFAI, significa Slow and Fast IA; se inspira en la psicología y la ciencia cognitiva, y traduce esos insights en principios de ingeniería de IA.

"Queríamos combinar las fortalezas de los enfoques neural y simbólico sin forzarlos en un solo híbrido", dijo Rossi en una entrevista con IBM Think. "Eso significaba crear una estructura que pudiera determinar qué modo de razonamiento usar y cuándo".

El sistema SOFAI, como se detalla en un artículo reciente publicado por la Association for Computing Machinery, piensa en capas. En el primer nivel se encuentran los solucionadores rápidos, incluidos los modelos de machine learning, como los LLM o los modelos de machine learning más tradicionales, que responden rápidamente y manejan problemas familiares con facilidad. Estas son las partes instintivas del sistema, que reaccionan sin dudarlo.

Luego vienen los solucionadores lentos, que toman un camino más cuidadoso. Estos motores suelen basarse en el razonamiento simbólico y en reglas estructuradas para resolver los problemas paso a paso. Tardan más, pero sus respuestas son más precisas. Velar por ambos es una tercera capa: la metacognición. Esta parte de la SOFAI evalúa lo que está haciendo el sistema, determina si la respuesta rápida es satisfactoria, dado el contexto, e interviene si se requiere un enfoque diferente. La capa de metacognición actúa como una especie de guía interna, eligiendo cuándo mover rápido y cuándo ralentizar.

“El que resuelve más rápido siempre empieza primero”, dijo Rossi. “Si produjera una respuesta plausible y hubiera poco en juego, el proceso terminaría ahí. Pero si el módulo de metacognición consideraba que la respuesta era insuficiente, enviaba el problema a un motor de razonamiento más riguroso.

Este diseño refleja cómo piensa la gente. Para tareas rutinarias como leer, conducir o charlar, respondemos de forma rápida y automática. Pero cuando nos encontramos con incertidumbre, riesgo o complejidad, disminuimos la velocidad. Consideramos alternativas, verificamos nuestro razonamiento o consultamos a otros. SOFAI está diseñado para replicar ese proceso reflexivo.

El equipo de Rossi descubrió que incluso los bucles de retroalimentación limitados entre el solucionador rápido y el módulo de metacognición podrían mejorar significativamente los resultados sin necesidad de escalar a sistemas más lentos. En SOFAI, la arquitectura también admite una corrección iterativa: el solucionador rápido puede revisar su salida en respuesta a la retroalimentación guiada antes de que el sistema recurra al solucionador lento más costoso.

"Repetir una o dos veces suele ser suficiente para llegar a respuestas de alta calidad", dijo Rossi. "Eso ahorra tiempo, reduce el uso de energía y preserva la opción de escalar solo cuando sea realmente necesario".

Las implicaciones de SOFAI son particularmente poderosas en el contexto de los LLM. Estos modelos potencian los chatbots, generadores de contenido, plataformas de atención al cliente y asistentes de programación. Pero sus resultados pueden ser inconsistentes, impredecibles y desalineados con los valores humanos. Las organizaciones que utilizan LLM a menudo tienen dificultades para controlar lo que dicen los modelos, especialmente cuando están en juego el contexto, la legalidad o la ética.

"Uno de los desafíos es que los modelos de lenguaje se entrenan con grandes cantidades de datos de Internet, lo que incluye ruido, sesgos y perspectivas incompletas", explicó Rossi. “No se puede suponer que el modelo sabe qué valores aplicar en una configuración determinada”.

SOFAI ofrece un enfoque práctico para mantener los sistemas de IA en marcha sin necesidad de volver a entrenar el modelo de lenguaje subyacente. En cambio, introduce una capa de supervisión que actúa como un equipo de revisión integrado, manteniendo a la IA centrada y consistente. Esto incluye evaluadores que revisan las respuestas del modelo, comparándolas con políticas internas, estándares éticos o reglas específicas para la tarea. Si algo parece estar mal, el sistema puede solicitar de forma autónoma una mejor versión. “Se puede pensar en ello como enseñar al sistema a revisarse a sí mismo”, dijo Rossi. “No todo debe resolverse reentrenando el modelo. A veces es suficiente tener un juez inteligente entre la entrada y la salida”.

Esta modularidad permite que SOFAI se adapte a diversas necesidades culturales, organizacionales y regulatorias. Se pueden definir diferentes evaluadores para diferentes jurisdicciones o unidades de negocio. Si las pautas cambian, solo los evaluadores deben actualizarse. Los solucionadores centrales permanecen intactos.

"La belleza de mantener la metacognición separada es que pone la alineación al alcance", dijo Rossi. “Brinda a los usuarios las herramientas para co-crear el comportamiento de IA sin necesidad de reconstruir el sistema desde cero”.

Rossi tiene claro que SOFAI no se creó para vivir en papel. Fue diseñado para un uso práctico y realista. A medida que las empresas conectan los modelos lingüísticos a herramientas como motores de búsqueda, hojas de cálculo y aplicaciones de programación, el resultado suele ser más potente pero más difícil de controlar, dijo. SOFAI ayuda a gestionar esta complejidad seleccionando los sistemas adecuados para cada tarea, decidiendo cuándo escalar y manteniendo los resultados alineados con la política a medida que el entorno de IA se vuelve cada vez más interconectado.

"En el futuro, la IA empresarial no se verá como un único modelo monolítico", dijo Rossi. “Será un compuesto: diferentes agentes, herramientas, API y sistemas de razonamiento. SOFAI es un marco para gobernar ese ecosistema”.

En muchos escenarios hipotéticos, SOFAI opera como un gestor de proyectos para el pensamiento. Supervisa las solicitudes, evalúa la complejidad de la tarea, selecciona el solucionador o combinación de solucionadores adecuados y luego supervisa el resultado. También realiza un seguimiento de los patrones a lo largo del tiempo, aprendiendo qué combinaciones producen resultados confiables y adaptándose en consecuencia.

“Obtienes tanto rendimiento como explicabilidad”, dijo Rossi. "Puede auditar las decisiones, rastrear qué solucionadores se utilizaron y ajustar los parámetros metacognitivos si es necesario".

Esta estructura también ofrece ventajas ambientales y operativas. Muchos sistemas de razonamiento a gran escala son costosos de ejecutar, especialmente cuando se basan en gráficos de inferencia masivos o lógica simbólica en tiempo real. Al minimizar las llamadas a estos solucionadores de peso pesado, SOFAI puede reducir el consumo de energía mientras mantiene una alta precisión.

"La eficiencia no se trata solo de la velocidad", dijo Rossie. “Se trata de saber cuándo no pensar demasiado. Y eso es lo que permite la metacognición”.

El auge de la IA generativa ha obligado a las organizaciones y a los responsables políticos a enfrentarse a cuestiones difíciles. ¿Cómo podemos garantizar que los sistemas se comporten adecuadamente? ¿Cómo es la rendición de cuentas cuando las decisiones se toman de forma autónoma? ¿Cómo se pueden reflejar diferentes valores en modelos entrenados con datos globales?

SOFAI ofrece una posible respuesta. Al incorporar una capa de toma de decisiones que imita la metacognición humana, la arquitectura facilita una supervisión flexible y basada en la realidad. Puede escalar entre aplicaciones, adaptarse a las normas locales y proporcionar a los usuarios control en tiempo real sobre el comportamiento de la máquina.

“No estamos tratando de hacer que la IA sea más humana”, dijo Rossi. “Estamos tratando de hacerlo más responsable. Y eso comienza con saber cuándo hacer una pausa, reconsiderar y cambiar de rumbo”.

Según Rossi, la arquitectura también anticipa el futuro de los sistemas basados en agentes. En los ecosistemas de IA del futuro, afirmó, los modelos colaborarán, se transferirán subtareas, consultarán bases de datos y repetirán pasos para alcanzar objetivos. Sin coordinación, esa complejidad podría volverse inmanejable. Pero SOFAI ofrece una estructura de gobernanza ligera, adaptable y con principios para dirigir a los agentes.

“Think en ello como un director de orquesta, no como un dictador”, dijo Rossi. “Hay que mantener la orquesta en armonía, pero también se necesita improvisación”.

Rossi cree que integrar la metacognición en la IA no es solo una decisión técnica, sino una decisión responsable. Refleja un compromiso con la transparencia, la adaptabilidad y la agencia compartida. El objetivo no es imponer el control desde arriba, sino dar a los humanos una manera significativa de colaborar con sistemas inteligentes.

"Estamos construyendo sistemas que aprenden, se adaptan y actúan en el mundo", dijo Rossi. “También deben aprender cuándo detener, reflexionar y preguntar: '¿Estoy haciendo lo correcto?'”