¿Qué es la IA confiable?

La inteligencia artificial confiable o TAI, puede mitigar los riesgos potenciales que se asocian con el despliegue de modelos de IA. Estos riesgos de AI incluyen daños a las personas, las organizaciones y los ecosistemas. Cuando se dan tales perjuicios, pueden socavar no solo la confianza en modelos específicos de IA sino en la inteligencia artificial en general.

Los marcos de IA confiable pueden ayudar a guiar a las organizaciones en su desarrollo, adopción y evaluación de tecnologías de IA. Varias organizaciones gubernamentales e intergubernamentales han establecido esos marcos, entre ellos el Instituto Nacional de Estándares y Tecnología (NIST) de EE.UU., el Grupo de Expertos de Alto Nivel sobre AI de la Comisión Europea y la Organización para la Cooperación y el Desarrollo Económicos (OCDE).

Además, las empresas pueden implementar diferentes Estrategias y herramientas para mejorar la confiabilidad de sus sistemas de IA. Por ejemplo, la supervisión continua, la documentación y los marcos de gobernanza de la IA pueden ayudar a minimizar el riesgo.

Entender cómo funciona una tecnología suele ser clave para confiar en su eficacia. Pero muchos sistemas de IA y machine learning (ML) (ML), como los modelos de aprendizaje profundo , operan como verdaderas cajas negras; ingieren datos y crean resultados, con poca o ninguna transparencia sobre cómo llegan a esas resultados.

Como resultado, abundan los déficits de confianza. Una encuesta de 2023 descubrió que más del 40 % de los líderes empresariales mencionaron preocupaciones sobre la confiabilidad de la IA.¹ Mientras tanto, los consumidores también demostraron desconfianza hacia la IA: un estudio de 2024 descubrió que incluir el término “inteligencia artificial” en el etiquetado de un producto puede hacer que los compradores sean menos propensos a comprar ese producto.²

Los ejemplos reales de sistemas de IA que producen resultados erróneos o dañinos en casos de uso de alto riesgo alimentan aún más las preocupaciones sobre la confianza en IA. En un ejemplo bien conocido de la atención médica, un modelo de IA no logró diagnosticar de forma confiable la sepsis. Si bien el modelo funcionó bien en un entorno de entrenamiento, no detectó sepsis en más de dos tercios de los pacientes del hospital.³

En otros casos, los modelos de IA demostraron que la toma de decisiones algorítmica es sesgada, incluidos los sistemas policiales predictivos que se dirigen desproporcionadamente a las comunidades minoritarias y los sistemas de seguimiento de solicitantes que favorecen a los candidatos masculinos en detrimento de las candidatas femeninas. Y luego están los problemas de seguridad, como que los chatbots de IA revelen inadvertidamente datos personales confidenciales y que los hackers aprovechen las vulnerabilidades de los modelos de IA para robar información corporativa privada.

Cuando los modelos de IA tienen un rendimiento inferior o producen resultados perjudiciales, pueden socavar la confianza no solo en esos modelos, sino en la inteligencia artificial en general, lo que podría obstaculizar el desarrollo y la adopción futuros de la IA. Lograr sistemas de IA confiable y apoyar el desarrollo futuro de la IA significa arrojar luz dentro de la metafórica caja negra. Esto permite a los stakeholders contar con sus aplicaciones de AI para ofrecer resultados confiables y precisos, al tiempo que minimizan los riesgos de resultados sesgados o no alineados con la intención original.

Las diferentes organizaciones y marcos enfatizan varios principios rectores y objetivos para IA confiable. Los principios de IA confiable citados con frecuencia incluyen:

• Responsabilidad
• Justificabilidad
• Imparcialidad
• Interpretabilidad y transparencia
• Privacidad
• Confiabilidad
• Robustez y seguridad
• Seguridad

La rendición de cuentas en AI implica hacer que los actores de la AI rindan cuentas del correcto funcionamiento de los sistemas de AI a lo largo de su ciclo de vida. Esto incluye a personas y organizaciones que participan en el desarrollo, despliegue o operación de Tecnología de AI.⁴

La explicabilidad de la AI consiste en verificar o proporcionar justificaciones para los resultados de un modelo. Existen varios métodos de explicabilidad , conocidos colectivamente como IA explicable, que permiten a los usuarios humanos comprender y confiar en los Resultados y resultados creados por los algoritmos de machine learning. 

La equidad en la IA se refiere al trato equitativo de individuos y grupos. Abarca la mitigación de sesgos algorítmicos y de datos . El sesgo algorítmico se produce cuando errores sistémicos en los algoritmos de machine learning producen resultados injustos o discriminatorios, mientras que el sesgo de datos se refiere a la naturaleza sesgada o no representativa de los datos de entrenamiento empleados en un modelos de IA.

La interpretabilidad de la IA ayuda a las personas a comprender y explicar mejor los procesos de toma de decisiones de los modelos de IA. La interpretabilidad tiene que ver con la transparencia, lo que permite a los usuarios comprender la arquitectura de un modelo, las características que utiliza y cómo las combina para ofrecer predicciones. Si bien algunos modelos son inherentemente interpretables, otros requieren el uso de métodos de interpretación.

La privacidad de la IA se refiere a la protección de la información personal o confidencial que la IA recopila, utiliza, comparte o almacena. La privacidad de la IA está estrechamente relacionada con la privacidad de los datos . La privacidad de datos, también conocida como privacidad de la información, es el principio de que una persona debe tener control sobre sus datos personales . El mantenimiento de la privacidad de datos y el AI se puede mejorar a través de una serie de métodos, que van desde la criptografía hasta el aprendizaje federado.

La confiabilidad puede definir como la capacidad de funcionar según lo previsto o requerido, sin fallas, durante un periodo de tiempo determinado y bajo ciertas condiciones. Los sistemas de AI fiables, cuando se emplean en las condiciones previstas, deben ofrecer Resultados correctos durante un periodo determinado, que puede incluir toda la vida útil de esos sistemas.⁵

Los sistemas de IA seguros y robustos cuentan con mecanismos de protección contra ataques de adversarios y accesos no autorizados, minimizando los riesgos y vulnerabilidades de ciberseguridad. Pueden funcionar en condiciones anormales sin causar daños involuntarios y volver a la normalidad tras un suceso inesperado.

Los sistemas de IA seguros no ponen en peligro la vida humana, la salud, la propiedad o el medio ambiente. Están diseñados de manera proactiva para proteger a las personas de daños e incluyen medidas que mitigan los resultados inseguros, incluida la posibilidad de retirar un sistema de su uso.⁶

Los sistemas de AI que carecen de cualidades confiables plantean una amplia gama de riesgos. El Instituto Nacional de Estándares y Tecnología (NIST) de EE.UU., que forma parte del Departamento de Comercio de EE. UU., desarrolló un marco que se ha convertido en un punto de referencia para la gestión de riesgos de AI. Organiza los riesgos de daños potenciales de los sistemas de AI en las siguientes categories:⁷

• Daño a las personas
• Daño a una organización
• Daño a un ecosistema

Esta categoría incluye daños a las libertades civiles, los derechos, la seguridad física o psicológica o las oportunidades económicas de los individuos. También abarca los impactos sobre los grupos a través de la discriminación y los impactos sobre las sociedades en forma de daños a la participación democrática o al acceso a la educación.

Esta categoría se refiere al daño a las Operaciones de una organización, el daño por violación de seguridad o pérdidas monetarias, y el daño a su reputación.

Esta categoría abarca el daño a “elementos y recursos interconectados e interdependientes”. El NIST cita específicamente los daños al sistema financiero global, la cadena de suministro o los "sistemas interrelacionados", así como a los recursos naturales, el medio ambiente y el planeta.

Los resultados sesgados o inexactos de los sistemas de IA pueden provocar múltiples daños. Volviendo a un ejemplo anterior, los sistemas sesgados de seguimiento de candidatos pueden dañar las oportunidades económicas de las personas y, al mismo tiempo, perjudicar la reputación de una organización. Si se engaña a un Modelo de lenguaje extenso / grande (LLM) para que ejecute malware que paralice las Operaciones de una empresa, eso podría causar daño tanto a la empresa como a la cadena de suministro a la que pertenece.

Los sistemas de IA confiables podrían ayudar a prevenir escenarios y consecuencias tan nefastas. Según el NIST, "los sistemas de AI confiables y su uso responsable pueden mitigar los riesgos negativos y contribuir a los beneficios para las personas, las organizaciones y los ecosistemas".

En los últimos años, han surgido diferentes marcos para guiar a los proveedores y usuarios de AI en el desarrollo, despliegue y operación de sistemas de IA confiable. Estos marcos incluyen:

Publicado en enero de 2023, el NIST AI Risk Management infraestructura (AI RMF) incluye una visión general de los riesgos de AI en todos los ciclos de vida de AI y las características de los sistemas de AI confiable. El marco también describe acciones específicas para ayudar a las organizaciones a gestionar dichos sistemas, incluidas las tareas de prueba, evaluación, verificación y validación.

El marco voluntario se aplica a cualquier empresa o geografía, pero el NIST reconoce que no todas las características de la IA confiable se aplican en todos los entornos. El marco fomenta el uso del juicio humano a la hora de elegir las métricas de fiabilidad aplicables y tener en cuenta que las compensaciones suelen estar involucradas cuando se optimiza para una característica de IA confiable u otra. En julio de 2024, el NIST publicó un recurso complementario a AI RMF, que se centraba en la AI generativa.

Los Principios de AI de la OCDE promueven el respeto de los derechos humanos y los valores democráticos en el uso de la AI. Adoptado en mayo de 2019 y actualizado en mayo de 2024, la infraestructura de la OCDE incluye principios basados en valores y recomendaciones para los responsables políticos. La OCDE promociona las recomendaciones como los primeros estándares intergubernamentales para AI, con 47 adherentes en todo el mundo, incluidos Estados Unidos, países de la Unión Europea y países de América del Sur y Asia.

Las directrices de la Unión Europea, que fueron publicadas en abril de 2019 por el Grupo de Expertos de Alto Nivel sobre AI de la Comisión Europea, se centran en la ética de AI y enfatizan un enfoque “centrado en el ser humano” para el desarrollo de AI en la UE. Las pautas incluían 7 principios éticos, como "agencia y supervisión humana" y "bienestar social y ambiental". Al año siguiente, el grupo publicó la Assessment List for Trustworthy AI (enlace externo a ibm.com), que ayuda a las organizaciones a evaluar sus sistemas de IA.

Si bien las pautas en sí no son vinculantes, luego se citaron en la histórica Ley de IA de la UE , una ley que rige el desarrollo o uso de AI en la Unión Europea. El texto de la ley establece que los principios éticos de la IA de la UE “deben traducirse, cuando sea posible, en el diseño y uso de modelos de IA”.⁸

Otras organizaciones también han publicado marcos y directrices que fomentan la IA confiable, incluida la Oficina de Ciencia y Tecnología de la Casa Blanca (a través de su Blueprint for AI Bill of Rights ), y empresas como Deloitte (enlace externo a ibm.com) e IBM .

Los términos IA confiable, IA ética e IA responsable a menudo se usan indistintamente. Y debido a que las definiciones de cada concepto pueden variar según la fuente y a menudo incluyen superposiciones significativas, establecer distinciones concluyentes entre los tres puede ser un desafío.

Por ejemplo, las definiciones comunes de IA confiable e IA ética enumeran principios como la equidad y la privacidad como fundamentos de cada concepto. Del mismo modo, la responsabilidad y la transparencia son atributos que a menudo se asocian tanto con la IA confiable como con la IA responsable.

Una forma de discernir entre los 3 conceptos basados en AI es mirar más allá de sus principios básicos y centrarse en cómo se utilizan:

• La IA confiable a menudo se enmarca como algo que se logra; es la IA confiable la que establece confianza con sus usuarios.
• La AI ética, por el contrario, se ha descrito como sistemas de AI que tienen consideraciones éticas, que reflejan valores humanos y estándares morales, incrustados en ellos durante su diseño y desarrollo.
• La IA responsable puede interpretarse como que abarca los medios prácticos de integrar esa ética en las aplicaciones y flujos de trabajo de IA.

Las organizaciones pueden tomar medidas importantes para ayudar a garantizar que sus sistemas de inteligencia artificial, incluidos los algoritmos de AI y los conjuntos de datos, estén operando en alineación con los principios de IA confiable.

Evaluación: Evaluar los procesos de negocio habilitados para AI puede ayudar a las empresas a determinar dónde hay margen de mejora en diferentes métricas de confiabilidad.

Monitoreo continuo: a través del monitoreo continuo de problemas como el sesgo de la AI y la desviación del modelo, las organizaciones abordan de manera proactiva procesos o outputs injustos o inexactos, respaldando así la equidad y la confiabilidad.

Gestión de riesgos: la implementación de un marco de gestión de riesgos permite la detección y minimización de violaciones de seguridad y violaciones de privacidad para potenciar la solidez de la AI.

Documentación: La documentación automatizada en todo el ciclo de vida de la ciencia de datos y la IA se puede utilizar para auditorías regulatorias y de la industria, lo que permite la rendición de cuentas y la transparencia.

Marcos de Gobernanza de la IA: los marcos de Gobernanza de la IA incluyen procedimientos sobre gestión de datos y modelos, lo que ayuda a garantizar que los desarrolladores y científicos de datos dentro de una organización sigan tanto los estándares internos como las regulaciones del gobierno.

El software de Gobernanza de la IA y los kits de herramientas de código abierto pueden ayudar a las organizaciones a tomar estas y otras medidas para mejorar la confiabilidad en sus sistemas de AI. Con las medidas y salvaguardas adecuadas, las empresas pueden minimizar los riesgos a medida que aprovechan el Power de la AI.