¿Qué es la IA de caja negra?

Considere un modelo de caja negra que evalúe los currículos de los candidatos. Los usuarios pueden ver las entradas: los currículos que introducen en el modelo de IA. Y los usuarios pueden ver los resultados: las evaluaciones que el modelo devuelve para esos currículos. Pero los usuarios no saben exactamente cómo llega el modelo a sus conclusiones: los factores que considera, cómo sopesa esos factores, etc. 

Muchos de los modelos de machine learning más avanzados disponibles en la actualidad, incluidos los modelos de lenguaje grandes, como ChatGPT de OpenAI y Llama de Meta, son IA de caja negra. Estos modelos de inteligencia artificial se entrenan con conjuntos de datos masivos a través de complejos procesos de aprendizaje profundo, e incluso sus propios creadores no entienden completamente cómo funcionan. 

Estas complejas cajas negras pueden ofrecer resultados impresionantes, pero la falta de transparencia a veces puede dificultar la confianza en sus resultados. Los usuarios no pueden validar fácilmente los resultados de un modelo si no saben lo que sucede tras bambalinas. Además, la opacidad de un modelo de caja negra puede ocultar vulnerabilidades de ciberseguridad, sesgos, violaciones de privacidad y otros problemas. 

Para abordar estos desafíos, los investigadores de IA están trabajando para desarrollar herramientas de IA explicables que equilibren el rendimiento de los modelos avanzados con la necesidad de transparencia en los resultados de la IA. 

Los modelos de IA de caja negra surgen por una de dos razones: o sus desarrolladores los convierten en cajas negras a propósito o se convierten en cajas negras como subproducto de su entrenamiento. 

Algunos desarrolladores y programadores de IA ocultan el funcionamiento interno de las herramientas de IA antes de lanzarlas al público. Esta táctica a menudo está destinada a proteger la propiedad intelectual. Los creadores del sistema saben exactamente cómo funciona, pero mantienen en secreto el código fuente y el proceso de toma de decisiones. Muchos algoritmos de IA tradicionales basados en reglas son cajas negras por este motivo.

Sin embargo, muchas de las tecnologías de IA más avanzadas, incluidas las herramientas de IA generativa, son lo que podríamos llamar "cajas negras orgánicas". Los creadores de estas herramientas no ocultan intencionalmente sus operaciones. Más bien, los sistemas de aprendizaje profundo que alimentan estos modelos son tan complejos que incluso los propios creadores no entienden exactamente lo que sucede dentro de ellos.

Los algoritmos de aprendizaje profundo son un tipo de algoritmo de machine learning que utiliza redes neuronales multicapa. Donde un modelo tradicional de machine learning podría usar una red con una o dos capas, los modelos de aprendizaje profundo pueden tener cientos o incluso miles de capas. Cada capa contiene múltiples neuronas, que son paquetes de código diseñados para imitar las funciones del cerebro humano.

Las redes neuronales profundas pueden consumir y analizar big data sin procesar y no estructurados con poca intervención humana. Pueden absorber cantidades masivas de datos, identificar patrones, aprender de estos patrones y utilizar lo que aprenden para generar nuevos resultados, como imágenes, video y texto. 

Esta capacidad de aprendizaje a gran escala sin supervisión permite a los sistemas de IA hacer cosas como el procesamiento avanzado del lenguaje, la creación de contenido original y otras hazañas que pueden parecer cercanas a la inteligencia humana.

Sin embargo, estas redes neuronales son inherentemente opacas. Los usuarios, incluidos los desarrolladores de IA, pueden ver lo que sucede en las capas de entrada y salida, también llamadas "capas visibles". Pueden ver los datos que entran y las predicciones, clasificaciones u otro contenido que sale. Pero no saben lo que sucede en todas las capas de red intermedias, las llamadas "capas ocultas".

Los desarrolladores de IA saben ampliamente cómo se mueven los datos a través de cada capa de la red, y tienen una idea general de lo que hacen los modelos con los datos que ingieren. Pero no conocen todos los detalles. Por ejemplo, es posible que no sepan qué significa cuando se activa una determinada combinación de neuronas, o exactamente cómo el modelo encuentra y combina incorporaciones vectoriales para responder a una instrucción. 

Incluso los modelos de IA de código abierto que comparten su código subyacente son, en última instancia, cajas negras porque los usuarios aún no pueden interpretar lo que sucede dentro de cada capa del modelo cuando está activo.

Los modelos de IA y ML más avanzados disponibles en la actualidad son extremadamente potentes, pero esta potencia tiene el precio de una menor interpretabilidad. 

Los modelos de IA generativa se basan en redes neuronales complejas para responder a comandos de lenguaje natural, resolver problemas novedosos y crear contenido original, pero es difícil interpretar lo que sucede dentro de esas redes. Los modelos de IA más simples y basados en reglas son más fáciles de explicar, pero generalmente no son tan potentes ni flexibles como los modelos de IA generativa.

Por lo tanto, las organizaciones no pueden resolver el problema de la caja negra simplemente utilizando herramientas de IA tradicionales más explicables. Los modelos de IA tradicionales pueden realizar muchas funciones, pero hay algunas cosas que solo un modelo de IA avanzado puede hacer.

Si bien puede haber razones prácticas para usar modelos de machine learning de caja negra, la falta de transparencia puede ser un obstáculo para obtener el valor total de estos modelos avanzados.  

Específicamente, la IA de caja negra plantea desafíos como:

Los usuarios no saben cómo un modelo de caja negra toma las decisiones: los factores que sopesa y las correlaciones que establece. Incluso si los resultados del modelo parecen precisos, la validación puede ser difícil sin una comprensión clara de los procesos que conducen a esos resultados. 

Sin el conocimiento de sus usuarios, los modelos de caja negra pueden llegar a las conclusiones correctas por la razón equivocada. Este fenómeno a veces se denomina "efecto Clever Hans", en honor a un caballo que supuestamente podía contar y hacer aritmética simple pisando fuerte. En verdad, Hans estaba captando señales sutiles del lenguaje corporal de su dueño para saber cuándo era el momento de dejar de pisotear.

El efecto Clever Hans puede tener graves consecuencias cuando los modelos se aplican a campos como la atención médica. Por ejemplo, se sabe que los modelos de IA entrenados para diagnosticar COVID-19 basados en radiografías pulmonares alcanzan altos niveles de precisión con datos de entrenamiento, pero funcionan con menos capacidad en el mundo real. 

Esta brecha de rendimiento a menudo surge porque los modelos están aprendiendo a identificar COVID en función de factores irrelevantes. Un modelo experimental "diagnosticó" COVID en función de la presencia de anotaciones en las radiografías en lugar de las radiografías en sí. Esto sucedió porque era más probable que las radiografías positivas para COVID se anotaran en los datos de entrenamiento del modelo, porque los médicos destacaban sus características relevantes para otros médicos.¹

Si un modelo de caja negra toma decisiones equivocadas o produce constantemente resultados inexactos o dañinos, puede ser difícil ajustar el modelo para corregir este comportamiento. Sin saber lo que sucede dentro del modelo, los usuarios no pueden identificar exactamente dónde está fallando.

Este problema plantea un desafío importante en el campo de los vehículos autónomos, donde los desarrolladores entrenan sofisticados sistemas de IA para tomar decisiones de conducción en tiempo real. Si un vehículo autónomo toma la decisión equivocada, las consecuencias pueden ser fatales. Pero debido a que los modelos detrás de estos vehículos son tan complejos, puede ser difícil comprender por qué toman malas decisiones y cómo corregirlas. 

Para solucionar este problema, muchos desarrolladores de vehículos autónomos complementan sus IA con sistemas más explicables, como sensores de radar y lidar. Si bien estos sistemas no arrojan luz sobre los modelos de IA, sí brindan a los desarrolladores insight sobre los entornos y situaciones que parecen causar que los modelos de IA tomen malas decisiones.²

Debido a que las organizaciones no pueden ver todo lo que sucede en un modelo de caja negra, es posible que pasen por alto las vulnerabilidades que acechan en su interior. Los modelos de IA generativa también son susceptibles a inyección de instrucciones y envenenamiento de datos, que pueden cambiar en secreto el comportamiento de un modelo sin que los usuarios lo sepan. Si los usuarios no pueden ver los procesos de un modelo, no sabrán cuándo se han alterado esos procesos.

Los modelos de caja negra pueden ser susceptibles a sesgos. Cualquier herramienta de IA puede reproducir sesgos humanos si esos sesgos están presentes en sus datos de entrenamiento o diseño. Con los modelos de caja negra, puede ser especialmente difícil identificar la existencia de sesgos o sus causas.

El sesgo puede conducir a resultados subóptimos, nefastos e ilegales. Por ejemplo, un modelo de IA capacitado para seleccionar candidatos a un puesto de trabajo puede aprender a filtrar a las candidatas talentosas si los datos de capacitación se inclinan hacia los hombres. 

Algunos sistemas de justicia penal utilizan modelos de IA sofisticados para evaluar el riesgo de reincidencia de una persona. Estos modelos suelen ser cajas negras, al menos para el público, que podría no saber exactamente qué factores consideran los modelos. Si el algoritmo no es transparente, puede ser difícil confiar en sus predicciones o apelarlas cuando están equivocadas.³

Ciertas regulaciones, como la Ley de IA de la Unión Europea y la California Consumer Privacy Act (CCPA), establecen reglas sobre cómo las organizaciones pueden usar datos personales confidenciales en las herramientas de toma de decisiones impulsadas por IA. Con los modelos de caja negra, puede ser difícil para una organización saber si cumple o demostrar el cumplimiento en caso de una auditoría.

La IA de caja blanca, también llamada IA explicable (XAI) o IA de caja de cristal, es lo opuesto a la IA de caja negra. Es un sistema de IA con un funcionamiento interno transparente. Los usuarios entienden cómo la IA toma los datos, los procesa y llega a una conclusión. 

Los modelos de IA de caja blanca facilitan la confianza y la validación de los resultados, así como la modificación de los modelos para corregir errores y ajustar el rendimiento. Pero no es fácil convertir cada IA en una caja blanca. 

Los modelos de IA tradicionales a menudo se pueden hacer transparentes compartiendo su código fuente. Pero los modelos sofisticados de machine learning desarrollan sus propios parámetros a través de algoritmos de aprendizaje profundo. El simple hecho de tener acceso a las arquitecturas de estos modelos no siempre explica completamente lo que están haciendo.

Dicho esto, se están realizando esfuerzos para hacer que los modelos de IA sean más explicables. Por ejemplo, los investigadores de Anthropic están aplicando autoencoders, un tipo de red neuronal, al LLM Claude 3 Sonnet de la empresa para comprender qué combinaciones de neuronas corresponden a qué conceptos. Hasta ahora, los investigadores han identificado combinaciones que significan cosas como el puente Golden Gate y el campo de la neurociencia.⁴ 

El modelo o1 reciente de OpenAI comparte información sobre los pasos que da para llegar a sus resultados, lo que puede ayudar a ilustrar cómo llega a sus respuestas. Sin embargo, esto no es una mirada directa dentro del modelo, sino una explicación generada por el modelo de su propia actividad. Gran parte de las operaciones del modelo, incluida la cadena de pensamiento sin procesar, permanecen ocultas.⁵

Otros investigadores han desarrollado técnicas para ayudar a explicar cómo los modelos llegan a conclusiones específicas. Por ejemplo, la explicación local interpretable modelo-agnóstica (LIME) es un proceso que utiliza un modelo de machine learning separado para analizar las relaciones entre las entradas y resultados de una caja negra, con el objetivo de identificar características que podrían influir en los resultados del modelo. 

Estas técnicas centradas en las conclusiones a menudo están diseñadas para trabajar en modelos con entradas y salidas claramente estructuradas. Por ejemplo, LIME puede ayudar a explicar las predicciones y clasificaciones, pero arroja menos luz sobre los sistemas de IA abiertos con redes neuronales profundas.

Las organizaciones pueden optar por modelos transparentes siempre que sea posible, pero algunos flujos de trabajo requieren sofisticadas herramientas de IA de caja negra. Dicho esto, hay formas de hacer que los modelos de caja negra sean más confiables y mitigar algunos de sus riesgos.