¿Qué es la transparencia de IA?

Los investigadores suelen describir la inteligencia artificial como una "caja negra", ya que aún puede ser difícil explicar, gestionar y regular los resultados de la IA debido a la creciente complejidad de la tecnología. La transparencia de la IA ayuda a abrir esta caja negra para comprender mejor los resultados de la IA y cómo los modelos toman decisiones.

Un número cada vez mayor de sectores de alto riesgo (como el financiero, el sanitario, el de recursos humanos (RR. HH.) y el de las fuerzas del orden) confían en los modelos de IA para la toma de decisiones. Mejorar la comprensión de las personas sobre cómo se entrenan estos modelos y cómo determinan los resultados genera confianza en las decisiones de IA y en las organizaciones que las utilizan.

Los creadores de IA pueden lograr una IA transparente y fiable a través de la divulgación. Pueden documentar y compartir la lógica y el razonamiento del algoritmo de IA subyacente, las entradas de datos utilizadas para entrenar el modelo, los métodos utilizados para la evaluación y validación del modelo y mucho más. Esto permite a los stakeholders evaluar la precisión predictiva del modelo frente a la imparcialidad, las desviaciones y los sesgos.

Un alto nivel de transparencia es esencial para una IA responsable. La IA responsable es un conjunto de principios que ayudan a guiar el diseño, el desarrollo, la implementación y el uso de la IA. Considera el impacto social más amplio de los sistemas de IA y las medidas necesarias para alinear estas tecnologías con los valores de las partes interesadas, las normas legales y las consideraciones éticas.

Decenas de millones de personas en todo el mundo utilizan ahora aplicaciones de IA, como los chatbots de IA generativa, los agentes virtuales y los motores de recomendación cada día. Es probable que la transparencia en el funcionamiento de estas herramientas de IA no sea motivo de preocupación para este nivel de toma de decisiones de bajo riesgo: si el modelo resulta inexacto o sesgado, los usuarios podrían perder algo de tiempo o ingresos disponibles.

Sin embargo, cada vez son más los sectores que están adoptando aplicaciones de IA para informar la toma de decisiones de alto riesgo. Por ejemplo, la IA ahora ayuda a las empresas y a los usuarios a tomar decisiones de inversión, diagnósticos médicos, decisiones de contratación, sentencias penales y más. En estos casos, las posibles consecuencias de los resultados de la IA sesgados o inexactos son mucho más peligrosas. La gente puede perder sus ahorros de toda la vida, oportunidades profesionales o años de su vida.

Para que las partes interesadas confíen en que la IA está tomando decisiones eficaces y justas en su nombre, necesitan visibilidad sobre cómo funcionan los modelos, la lógica de los algoritmos y cómo se evalúa la precisión y la imparcialidad del modelo. También necesitan saber más sobre los datos utilizados para entrenar y ajustar el modelo, incluidas las fuentes de datos y cómo se procesan, ponderan y etiquetan los datos.

Además de generar confianza, la transparencia de la IA fomenta el intercambio de conocimientos y la colaboración en todo el ecosistema de IA, lo que contribuye a los avances en el desarrollo de la IA. Y al ser transparentes por defecto, las organizaciones pueden centrarse más en utilizar las tecnologías de IA para alcanzar los objetivos empresariales y preocuparse menos por la fiabilidad de la IA.

La red de requisitos normativos que rodean el uso de la IA está en constante evolución. Los procesos de modelos transparentes son cruciales para el cumplimiento de estas regulaciones y para atender las solicitudes de los validadores, auditores y reguladores de modelos. La Ley de IA de la UE se considera el primer marco normativo integral del mundo para la IA.

La Ley de Inteligencia Artificial de la Unión Europea (UE) adopta un enfoque de la regulación basado en el riesgo, aplicando diferentes normas a la IA según el riesgo que presenten. Prohíbe algunos usos de la IA e implementa requisitos estrictos de gobierno, gestión de riesgos y transparencia para otros. Existen obligaciones de transparencia adicionales para tipos específicos de IA. Por ejemplo:

• Los sistemas de IA destinados a interactuar directamente con los individuos deben diseñarse para informar a los usuarios de que están interactuando con un sistema de IA, a menos que esto sea obvio para el individuo por el contexto. Un chatbot, por ejemplo, debe estar diseñado para notificar a los usuarios que es un chatbot.
  
  
• Los sistemas de IA que generan texto, imágenes u otros contenidos determinados deben utilizar formatos legibles por máquina para marcar los resultados como generados o manipulados por IA. Esto incluye, por ejemplo, IA que genera deepfakes: imágenes o vídeos alterados para mostrar que alguien hace o dice algo que no hizo o dijo.

La implementación del Reglamento General de Protección de Datos (RGPD) de la UE llevó a otros países a adoptar regulaciones de protección de datos personales. De la misma manera, los expertos predicen que la Ley de IA de la UE impulsará el desarrollo de estándares éticos y de gobierno de la IA en todo el mundo.

La mayoría de los países y regiones aún no han promulgado leyes o reglamentos exhaustivos sobre el uso de la IA; sin embargo, hay varios marcos extensos disponibles. Aunque no siempre son aplicables, existen para guiar la futura regulación y el desarrollo y uso responsable de la IA. Algunos ejemplos notables son:

• La Orden Ejecutiva de la Casa Blanca sobre el desarrollo y uso seguro y confiable de la inteligencia artificial: publicada el 30 de octubre de 2023 (y rescindida el 20 de enero de 2025), la orden abordaba la transparencia en varias secciones. En la sección 8 se abordó específicamente la protección de los consumidores, pacientes, pasajeros y estudiantes. Animó a las agencias reguladoras independientes a considerar el uso de su autoridad para proteger a los consumidores estadounidenses de los riesgos de la IA, incluyendo "enfatizar o clarificar los requisitos y expectativas relacionados con la transparencia de los modelos de IA y la capacidad de las entidades reguladas para explicar su uso de los modelos de IA"^1.
  
  
• El Anteproyecto para una declaración de derechos de la IA: el Anteproyecto es un conjunto de cinco principios y prácticas asociadas para ayudar a guiar el diseño, el uso y la implementación de sistemas de IA. El cuarto principio, "Aviso y explicación", aborda directamente la transparencia: "Los diseñadores, desarrolladores e implementadores de sistemas automatizados deben proporcionar documentación en lenguaje sencillo de acceso general que incluya descripciones claras del funcionamiento general del sistema y de la función que desempeña la automatización, comprobar que dichos sistemas están en uso, la persona u organización responsable del sistema y explicaciones de los resultados que sean claras, oportunas y accesibles"^2.
  
  
• Marco de políticas integral del Proceso de Hiroshima para la IA: publicado en 2023 tras su desarrollo en la Cumbre de Hiroshima del G7, el Proceso de Hiroshima para la IA es un conjunto de principios rectores para el desarrollo mundial de sistemas avanzados de IA que promueven una IA segura y fiable. El marco pide a las organizaciones que cumplan con 11 principios, varios de los cuales alientan la "publicación de informes de transparencia" y el "intercambio responsable de información"³.

La transparencia de la IA está estrechamente relacionada con los conceptos de explicabilidad e interpretabilidad de la IA. Estos conceptos aportan ideas que ayudan a resolver el viejo problema de la "caja negra", es decir, la cuestión práctica y ética de que los sistemas de IA son tan sofisticados que es imposible que los humanos los interpreten. Sin embargo, tienen definiciones y casos de uso distintos:

• Explicabilidad de la IA: ¿cómo llegó el modelo a ese resultado?
  
  
• Interpretabilidad de la IA: ¿Cómo toma decisiones el modelo?
  
  
• Transparencia de la IA: ¿Cómo se creó el modelo, qué datos lo entrenaron y cómo toma decisiones?

La explicabilidad de la IA, o IA explicable (XAI), es un conjunto de procesos y métodos que permiten a los usuarios humanos comprender y confiar en los resultados y outputs creados por los modelos de machine learning. La explicabilidad del modelo analiza cómo un sistema de IA llega a un resultado específico y ayuda a caracterizar la transparencia del modelo.

La interpretabilidad de la IA se refiere a hacer que el proceso general de la IA sea comprensible para un humano. La interpretabilidad de la IA proporciona información significativa sobre la lógica subyacente, el significado y las consecuencias previstas del sistema de IA. Es el porcentaje de éxito que los humanos pueden predecir en lo que respecta a los resultados de la IA, mientras que la explicabilidad va un paso más allá y analiza cómo el modelo de IA ha llegado a dichos resultados.

La transparencia de la IA va más allá de simplemente explicar los procesos de toma de decisiones de la IA. Abarca factores relacionados con el desarrollo de sistemas de IA y su implementación, como los datos de entrenamiento de IA y quién tiene acceso a ellos.

Aunque la transparencia de la IA difiere según el caso de uso, la organización y el sector, hay algunas estrategias que las empresas pueden tener en cuenta a la hora de crear sistemas de IA. A un alto nivel, estas estrategias incluyen contar con principios claros de confianza y transparencia, poner en práctica esos principios e integrarlos en todo el ciclo de vida de la IA.

Una estrategia más específica para la transparencia de la IA es la divulgación exhaustiva en cada etapa del ciclo de vida de la IA. Para proporcionar divulgación, las organizaciones necesitan determinar qué información compartir y cómo compartirla.

El caso de uso del modelo, el sector, el público y otros factores ayudarán a determinar qué información es necesaria divulgar. Por ejemplo, los usos de la IA de mayor riesgo (como las evaluaciones de hipotecas) probablemente requerirán una divulgación más completa que las aplicaciones de menor riesgo (como la clasificación de audio para asistentes virtuales).

La divulgación puede incluir toda o parte de la siguiente información sobre el modelo:

• Nombre del modelo
• Objetivo
• Nivel de riesgo
• Política modelo
• Generación de modelos
• Dominio previsto
• Datos de entrenamiento
• Precisión del entrenamiento y de las pruebas
• Sesgo
• Métricas de robustez de los adversarios
• Métricas de equidad
• Métricas de explicabilidad
• Información de contacto

Cada papel en el ciclo de vida de la IA puede aportar información, distribuyendo la responsabilidad a través del ecosistema en lugar de a un individuo. Hay plataformas y herramientas de software disponibles que pueden ayudar a automatizar la recopilación de información y otras actividades de gobierno de la IA.

Las organizaciones pueden presentar información para la transparencia de la IA en varios formatos, como documentos impresos o vídeos. El formato depende tanto del público como del caso de uso. ¿La información está destinada a un consumidor y, por lo tanto, debe ser fácilmente digerible? ¿O se dirige a un científico de datos o a un regulador y, por tanto, necesita un alto nivel de detalle técnico?

Los formatos pueden incluir:

• Documento dinámico que sigue el modelo de la declaración de conformidad del proveedor (DdC), un documento utilizado en muchos sectores para demostrar que un producto cumple determinadas normas o reglamentos técnicos.
  
  
• Páginas oficiales de políticas en el sitio web de la empresa que detallan cómo la organización está poniendo en práctica iniciativas transparentes de IA
  
  
• Recursos educativos, como documentos y vídeos, para ayudar a los usuarios a entender cómo se utiliza la IA en los productos y servicios y cómo afecta a la experiencia del cliente
  
  
• Discurso público con el punto de vista ético de la IA de la organización a través de actividades oficiales de relaciones públicas, eventos, redes sociales y otras comunicaciones.
  
  
• Documentos de investigación, conjuntos de datos y otras comunicaciones basadas en datos para ofrecer información sobre el uso, el desarrollo y los beneficios de la IA dentro de la industria o los casos de uso de la organización.

Las prácticas transparentes de IA tienen muchos beneficios, pero también plantean problemas de seguridad y privacidad. Por ejemplo, cuanta más información se proporcione sobre el funcionamiento interno de un proyecto de IA, más fácil será para los hackers encontrar y explotar vulnerabilidades. OpenAI abordó este desafío exacto en su Informe técnico GPT-4, donde afirmaba:

"Dado el panorama competitivo y las implicaciones de seguridad de los modelos a gran escala como GPT-4, este informe no contiene más detalles sobre la arquitectura (incluido el tamaño del modelo), el hardware, la computación de entrenamiento, la construcción del conjunto de datos, el método de entrenamiento o similares".⁴

La cita también revela otro desafío para la transparencia de la IA: el equilibrio entre la transparencia y la protección de la propiedad intelectual. Otros obstáculos podrían incluir explicar con claridad los intrincados y complejos programas y algoritmos de machine learning (como las redes neuronales) a los no expertos y la falta de normas de transparencia a nivel mundial para la IA.