¿Qué es una IA fiable?

La inteligencia artificial fiable o TAI puede mitigar los riesgos potenciales asociados a la implementación de modelos de IA. Estos riesgos de la IA incluyen daños a personas, organizaciones y ecosistemas. Cuando se producen tales daños, pueden socavar no solo la confianza en modelos de IA, sino también en la inteligencia artificial en general.

Los marcos de IA fiables pueden ayudar a guiar a las organizaciones en su desarrollo, adopción y evaluación de tecnologías de IA. Varias organizaciones gubernamentales e intergubernamentales han establecido marcos de este tipo, como el Instituto Nacional de Estándares y Tecnología (NIST) de Estados Unidos, el Grupo de Expertos de Alto Nivel sobre IA de la Comisión Europea y la Organización de Cooperación y Desarrollo Económicos (OCDE).

Además, las empresas pueden implementar diferentes estrategias y herramientas para mejorar la confiabilidad de sus sistemas de IA. Por ejemplo, la monitorización continua, la documentación y los marcos de gobierno de la IA pueden ayudar a minimizar el riesgo.

Comprender cómo funciona una tecnología suele ser clave para confiar en su eficacia. Pero muchos sistemas de IA y machine learning (ML), como los modelos de deep learning, funcionan como auténticas cajas negras; consumen datos y crean resultados, con poca o ninguna transparencia sobre cómo llegan a esos outputs.

Como resultado, abundan los déficits de confianza. Una encuesta de 2023 reveló que más del 40 % de los líderes empresariales expresaron su preocupación por la fiabilidad de la IA.¹ Mientras tanto, los consumidores también han demostrado desconfianza en la IA: un estudio de 2024 descubrió que incluir el término "inteligencia artificial" en el etiquetado de un producto puede hacer que los compradores sean menos propensos a comprar ese producto.²

Los ejemplos reales de sistemas de IA que producen resultados erróneos o perjudiciales en casos de uso de alto riesgo alimentan aún más la preocupación por la confianza en la IA. En un conocido ejemplo sanitario, un modelo de IA no consiguió diagnosticar la sepsis de forma fiable. Aunque el modelo funcionó bien en un entorno de entrenamiento, no detectó sepsis en más de dos tercios de los pacientes hospitalizados.³

En otros casos, los modelos de IA han demostrado una toma de decisiones algorítmica sesgada, que incluye sistemas de vigilancia predictiva que se dirigen desproporcionadamente a las comunidades minoritarias y sistemas de seguimiento de candidatos que favorecen a los candidatos masculinos sobre los femeninos. Y luego están los problemas de seguridad, como los chatbots de IA que revelan inadvertidamente datos personales confidenciales y los hackers que explotar las vulnerabilidades de los modelos de IA para robar información corporativa patentada.

Cuando los modelos de IA tienen un rendimiento inferior o producen resultados perjudiciales, pueden socavar la confianza no solo en esos modelos, sino en la inteligencia artificial en general, lo que podría dificultar el desarrollo y la adopción futuros de la IA. Lograr sistemas de IA fiables y apoyar el desarrollo futuro de la IA significa arrojar luz dentro de la metafórica caja negra de la IA. Esto permite a las partes interesadas contar con sus aplicaciones de IA para ofrecer resultados fiables y precisos, al tiempo que minimiza los riesgos de resultados sesgados o no alineados con la intención original.

Las diferentes organizaciones y marcos hacen hincapié en varios principios rectores y objetivos para una IA fiable. Los principios de una IA fiable citados con frecuencia incluyen:

• Responsabilidad
• Explainability
• Imparcialidad
• Interpretabilidad y transparencia
• Privacidad
• Fiabilidad
• Solidez y seguridad
• Seguridad

La responsabilidad en la IA implica responsabilizar a los actores de la IA del correcto funcionamiento de los sistemas de IA a lo largo de sus ciclos de vida. Esto incluye a las personas y organizaciones que participan en el desarrollo, la implementación o el funcionamiento de la tecnología de IA.⁴

La explicabilidad de la IA consiste en verificar o justificar los resultados de un modelo. Existen varios métodos de explicabilidad, conocidos colectivamente como IA explicable, que permiten a los usuarios humanos comprender y confiar en los resultados y el productos creados por los algoritmos de machine learning. 

La equidad en la IA se refiere al trato equitativo de individuos y grupos. Abarca la mitigación de sesgos algorítmicos y de datos. El sesgo algorítmico se produce cuando errores sistémicos en los algoritmos de machine learning producen resultados injustos o discriminatorios, mientras que el sesgo de datos se refiere a la naturaleza sesgada o no representativa de los datos de entrenamiento utilizados en un modelo de IA.

La interpretabilidad de la IA ayuda a las personas a comprender y explicar mejor los procesos de toma de decisiones de los modelos de IA. La interpretabilidad tiene que ver con la transparencia, lo que permite a los usuarios comprender la arquitectura de un modelo, las características que utiliza y cómo las combina para ofrecer predicciones. Aunque algunos modelos son inherentemente interpretables, otros requieren el uso de métodos de interpretación.

La privacidad de la IA se refiere a la protección de la información personal o sensible que la IA recopila, utiliza, comparte o almacena. La privacidad de la IA está estrechamente relacionada con la protección de los datos. La protección de datos, también conocida como privacidad de la información, es el principio por el que una persona debe tener control sobre sus datos personales. El mantenimiento de la IA y la protección de datos se puede mejorar a través de una serie de métodos, que van desde la criptografía hasta el aprendizaje federado.

La fiabilidad puede definirse como la capacidad de funcionar según lo previsto o requerido, sin fallos, durante un periodo de tiempo determinado en determinadas condiciones. Los sistemas de IA fiables, cuando se utilizan en las condiciones previstas, deben ofrecer resultados correctos durante un período determinado, que puede incluir toda la vida útil de esos sistemas.⁵

Los sistemas de IA seguros y robustos tienen mecanismos de protección contra los ataques adversarios y el acceso no autorizado, lo que minimiza los riesgos de ciberseguridad y las vulnerabilidades. Pueden funcionar en condiciones anormales sin causar daños involuntarios y volver a su funcionamiento normal después de un acontecimiento inesperado.

Los sistemas de IA seguros no ponen en peligro la vida humana, la salud, la propiedad o el medio ambiente. Están diseñados de forma proactiva para proteger a las personas de cualquier daño e incluyen medidas que mitigan los resultados inseguros, incluida la posibilidad de retirar un sistema de su uso^.6

Los sistemas de IA que carecen de cualidades de confianza plantean una amplia gama de riesgos. El Instituto Nacional de Estándares y Tecnología (NIST), que forma parte del Departamento de Comercio de EE.UU., elaboró un marco que se ha convertido en referencia para la gestión de riesgos de la IA. Organiza los riesgos de daños potenciales de los sistemas de IA en las siguientes categorías:⁷

• Daño a personas
• Daño a una organización
• Daño a un ecosistema

Esta categoría incluye los daños planteados a las libertades civiles, los derechos, la seguridad física o psicológica o las oportunidades económicas de las personas. También abarca las repercusiones sobre los grupos a través de la discriminación y las repercusiones sobre las sociedades en forma de perjuicios para la participación democrática o el acceso a la educación.

Esta categoría se refiere a los daños a las operaciones comerciales de una organización, los daños derivados de las violaciones de seguridad o las pérdidas monetarias, y los daños a su reputación.

Esta categoría abarca el daño a “elementos y recursos interconectados e interdependientes”. El NIST cita específicamente los perjuicios para el sistema financiero mundial, la cadena de suministro o los "sistemas interrelacionados", así como para los recursos naturales, el medio ambiente y el planeta.

Los resultados sesgados o inexactos de los sistemas de IA pueden provocar múltiples daños. Volviendo a un ejemplo anterior, los sistemas sesgados de seguimiento de candidatos pueden dañar las oportunidades económicas de las personas y, al mismo tiempo, dañar la reputación de una organización. Si se engaña a un modelo de lenguaje de gran tamaño (LLM) para que ejecute un malware que paralice las operaciones de una empresa, eso podría causar daños tanto a la empresa como a la cadena de suministro a la que pertenece.

Los sistemas de IA fiable podrían ayudar a prevenir situaciones y consecuencias tan nefastas. Según el NIST, “los sistemas de IA confiables y su uso responsable pueden mitigar los riesgos negativos y contribuir a generar beneficios para las personas, las organizaciones y los ecosistemas”.

En los últimos años han surgido distintos marcos para orientar a proveedores y usuarios de IA en el desarrollo, la implementación y el funcionamiento de sistemas de IA fiables. Estos marcos incluyen:

Publicado en enero de 2023, el NIST AI Risk Management Framework (AI RMF) incluye una visión general de los riesgos de la IA a lo largo de los ciclos de vida de la IA y las características de los sistemas de IA fiables. El marco también describe acciones específicas para ayudar a las organizaciones a gestionar dichos sistemas, incluidas las tareas de prueba, evaluación, verificación y validación.

El marco voluntario se aplica a cualquier empresa o geografía, pero el NIST reconoce que no todas las características de la IA fiable se aplican en todos los entornos. El marco anima a utilizar el juicio humano a la hora de elegir las métricas de fiabilidad aplicables y a tener en cuenta que normalmente hay que hacer concesiones cuando se optimiza una u otra característica de fiabilidad de la IA. En julio de 2024, el NIST publicó un recurso complementario a IA RMF, que se centraba en la IA generativa.

Los Principios de IA de la OCDE promueven el respeto de los derechos humanos y los valores democráticos en el uso de la IA. Adoptado en mayo de 2019 y actualizado en mayo de 2024, el marco de la OCDE incluye tanto principios basados en valores como recomendaciones para los responsables políticos. La OCDE presenta estas recomendaciones como las primeras normas intergubernamentales sobre IA, con 47 adhesiones en todo el mundo, incluidos Estados Unidos, países de la Unión Europea y países de Sudamérica y Asia.

Las directrices de la Unión Europea, que fueron publicadas en abril de 2019 por el Grupo de Expertos de Alto Nivel sobre IA de la Comisión Europea, se centran en la ética de la IA y hacen hincapié en un enfoque «centrado en el ser humano» para el desarrollo de la IA en la UE. Las directrices incluían siete principios éticos, como "agencia y supervisión humanas" y "bienestar social y ambiental". Al año siguiente, el grupo publicó la Assessment List for Trustworthy AI (enlace externo a ibm.com), que ayuda a las organizaciones a evaluar sus sistemas de IA.

Aunque las directrices en sí no son vinculantes, se citaron posteriormente en la histórica Ley de la IA de la UE, una ley que rige el desarrollo o el uso de la inteligencia artificial en la Unión Europea. El texto de la ley establece que los principios éticos de la IA de la UE "deben traducirse, cuando sea posible, en el diseño y uso de modelos de IA".⁸

Otras organizaciones también han publicado marcos y directrices que fomentan la IA fiable, como la Oficina de Ciencia y Tecnología de la Casa Blanca (a través de su Anteproyecto de Declaración de derechos de la IA), y empresas como Deloitte (enlace externo a ibm.com) e IBM.

Los términos IA fiable, IA ética e IA responsable suelen utilizarse indistintamente. Y como las definiciones de cada concepto pueden variar según la fuente y a menudo incluyen solapamientos significativos, establecer distinciones concluyentes entre los tres puede ser todo un reto.

Por ejemplo, las definiciones comunes de IA fiable e IA ética enumeran principios como la equidad y la privacidad como fundamentales para cada concepto. Del mismo modo, la rendición de cuentas y la transparencia son atributos que a menudo se asocian tanto a la IA fiable como a la IA responsable.

Una forma de discernir entre los tres conceptos basados en IA es mirar más allá de sus principios básicos y centrarse en cómo se utilizan:

• La IA fiable suele enmarcarse como algo que se consigue; es la IA que establece la confianza con sus usuarios.
• Por el contrario, la IA ética se ha descrito como sistemas de IA que tienen consideraciones éticas, que reflejan valores humanos y estándares morales, incorporados en ellos durante su diseño y desarrollo.
• La IA responsable puede interpretarse como aquella que abarca los medios prácticos de integrar esa ética en las aplicaciones y los flujos de trabajo de la IA.

Las organizaciones pueden tomar medidas importantes para ayudar a garantizar que sus sistemas de inteligencia artificial, incluidos los algoritmos de IA y los conjuntos de datos, funcionen en consonancia con los principios de una IA fiable.

Evaluación: la evaluación de los procesos empresariales habilitados para la IA puede ayudar a las empresas a determinar dónde hay margen de mejora en diferentes métricas de fiabilidad.

Monitorización continua: a través de la monitorización continua de problemas como el sesgo de la IA y la desviación del modelo, las organizaciones abordan de forma proactiva los procesos o resultados injustos o inexactos, así la equidad y la fiabilidad.

Gestión de riesgos: la implementación de un marco de gestión de riesgos y herramientas permite la detección y minimización de violaciones de seguridad y violaciones de la privacidad para potenciar la solidez de la IA.

Documentación: la documentación automatizada a lo largo del ciclo de vida de la ciencia de datos y la IA se puede utilizar para las auditorías industriales y reglamentarias, lo que permite la rendición de cuentas y la transparencia.

Marco de gobierno de la IA: los marcos de gobierno de la IA incluyen procedimientos sobre la gestión de datos y modelos, lo que ayuda a garantizar que los desarrolladores y científicos de datos dentro de una organización sigan tanto las normas internas como las normas del gobierno.

El software de gobierno de la IA y los kits de herramientas de código abierto pueden ayudar a las organizaciones a tomar estas y otras medidas para mejorar la fiabilidad de sus sistemas de IA. Con las medidas y protecciones adecuadas, las empresas pueden minimizar los riesgos a medida que aprovechan el potencial de la IA.