¿Qué es IA TRiSM?

IA TRiSM, o gestión de la confianza, el riesgo y la seguridad de la inteligencia artificial (IA), "garantiza la gobernanza, la confianza, la equidad, la fiabilidad, la robustez, la eficacia y la protección de datos del modelo de IA. Esto incluye soluciones y técnicas para la interpretabilidad y explicabilidad de los modelos, la protección de datos de IA, las operaciones de los modelos y la resistencia a los ataques de adversarios".¹
 

 Fue desarrollado por la firma de investigación y consultoría Gartner, y "proporciona soluciones proactivas para identificar y mitigar estos riesgos, garantizando confiabilidad y seguridad".²

Si bien numerosos marcos separados se centran específicamente en la confianza de la IA, el riesgo de la IA o la seguridad de la IA, son difíciles de integrar y sincronizar, según los investigadores. Esta falta de coordinación puede dar lugar a una gestión fragmentada de la IA. También puede generar lagunas de conocimiento sobre los riesgos y las consecuencias de seguridad derivadas de la implementación y las prácticas de la IA.

Sin embargo, el marco AI TRiSM proporciona un enfoque unificado. Reúne las partes importantes de diferentes marcos para una gestión más integral de las tecnologías de IA.

Los partidarios de IA TRiSM consideran que la infraestructura es importante para mitigar los riesgos y las amenazas cibernéticas relacionadas con el avance y el uso creciente de la IA generativa, como los modelos de lenguaje de gran tamaño (LLM). El uso de la IA generativa puede aumentar las superficies de ataque de las organizaciones , permitir ciberataques más sofisticados por parte de hackers y plantear nuevas consideraciones éticas. Los beneficios de las aplicaciones IA TRiSM en ámbitos como la salud y las finanzas incluyen la mitigación de riesgos, medidas mejoradas para la supervisión de modelos y salvaguardas contra ataques de adversarios y accesos no autorizados.³

Según Gartner, "la gestión de la confianza, el riesgo y la seguridad de la IA (AI TRiSM) garantiza:

• Gobernanza
• Integridad
• Imparcialidad
• Confiabilidad
• Protección de datos en despliegues de IA”⁴

Gobernanza de la IA se refiere a los procesos, estándares y medidas de protección que ayudan a garantizar que los sistemas y herramientas de IA sean seguros y éticos. La gobernanza de la IA eficaz incluye la gestión de riesgos, con mecanismos para abordar posibles sesgos, violaciones de privacidad de datos y otras preocupaciones, al tiempo que genera confianza y apoya la innovación.

Implica la supervisión y evaluación continuas de los sistemas de IA para garantizar que cumplen las normas éticas y legales establecido. La Gobernanza de la IA incluye la gobernanza de datos, una disciplina de gestión de datos diseñada para mantener datos seguros y de alta calidad a los que se pueda acceder fácilmente para las iniciativas de descubrimiento de datos y business intelligence.

Diferentes organizaciones y marcos hacen hincapié en diversos principios rectores y objetivos para determinar la fiabilidad de los sistemas de IA. Entre los principios más citados de la IA confiable se encuentran la responsabilidad, la explicabilidad y la interpretabilidad.

Cuando los usuarios de modelos de IA y otros stakeholders tienen problemas para comprender cómo funciona un modelo, puede dificultar su confianza en el sistema de IA. Los procesos y metodologías adecuados pueden ayudar a los usuarios a comprender y confiar en los procesos de toma de decisiones y resultados de los modelos de machine learning.

La equidad a menudo implica mitigar o eliminar el sesgo en los modelos de IA y los datos de IA durante el ciclo de vida de desarrollo de la IA. Los modelos de IA absorben los prejuicios de la sociedad que pueden estar incrustados en sus datos de entrenamiento. Una recopilación de datos con sesgo que refleje la desigualdad social puede causar perjuicios a grupos históricamente marginados en la calificación crediticia, la contratación y otros ámbitos.

Identificar y abordar los sesgos en la IA requiere la capacidad de dirigir, gestionar y supervisar las actividades de IA de una organización. Esto se puede lograr a través de la gobernanza de la IA, específicamente, la creación de políticas y prácticas para guiar el desarrollo de IA responsable y el uso de tecnologías de IA.

La confiabilidad generalmente se refiere a la capacidad de algo para funcionar según lo previsto o requerido durante un período determinado bajo ciertas condiciones. Con respecto a los sistemas de IA, cumplir con las expectativas de rendimiento incluye proporcionar resultados correctos durante un período que puede extenderse hasta la vida útil del sistema.⁵

Protección de datos es la práctica de salvaguardar la información confidencial de la pérdida y corrupción de datos. La protección de datos está diseñada para preservar la disponibilidad de los datos, asegurando que los usuarios puedan acceder a los datos para Operaciones, incluso si los datos se dañan o se pierden en una filtración de datos o un ataque de malware.

La protección de datos abarca la seguridad de los datos (la protección de la información digital contra el acceso no autorizado, la corrupción o el robo) y la privacidad de datos (el principio de que una persona debe tener control sobre sus datos personales). La protección de datos es clave para el cumplimiento de los principales regímenes normativos, como el Reglamento General de Protección de Datos (RGPD) europeo.

Tanto las tecnologías tradicionales como las soluciones más nuevas específicas de IA son compatibles con AI TRiSM. Los primeros incluyen herramientas para proporcionar gestión de identidad y acceso (IAM) y soluciones para la gestión de la postura de seguridad de los datos.

Las tecnologías específicas de IA para AI TRiSM varían según el proveedor. Algunos se centran en ciertas funciones, como la seguridad o el cumplimiento. Otros ofrecen productos más completos con una variedad de capacidades para la gobernanza de la IA y la inspección y aplicación del tiempo de ejecución de la IA:

El software de Gobernanza de la IA puede permitir a las empresas registrar y monitorear automáticamente la información del modelo, incluidas las actividades de desarrollo de IA, para respaldar las auditorías; realizar evaluaciones de riesgo de modelos; evaluar el rendimiento del modelo y prevenir la generación de contenido dañino; y gestionar el cumplimiento normativo. Si bien algunas herramientas de gobernanza se limitan a modelos de IA creados internamente para una organización, otras se pueden aplicar a modelos creados en plataformas de terceros, como Amazon Bedrock y Microsoft Azure.

Según un seminario web de Gartner, las funciones de inspección y aplicación del tiempo de ejecución de IA abarcan modelos de IA, aplicaciones de IA y agentes de IA. Los modelos de IA, las aplicaciones de IA y los agentes de IA proporcionan "cumplimiento de los controles internos y externos" y las aplicaciones de IA proporcionan "control de acceso basado en el contexto y clasificación dinámica de datos contextuales".⁶

Existen múltiples casos de uso para implementar AI TRiSM en el despliegue y la gestión de la IA empresarial. Entre ellos figuran:

Los profesionales médicos utilizan cada vez más herramientas impulsadas por IA para una variedad de propósitos, desde la automatización de dispositivos médicos hasta el análisis de imágenes. Un programa IA TRiSM puede ayudar a proteger los datos de atención médica utilizados en estos sistemas de las filtraciones de datos. Medidas como los controles de acceso, por ejemplo, pueden mitigar los riesgos potenciales de acceso no autorizado.

Cuando se utilizan conjuntos de datos que contienen sesgos demográficos para entrenar algoritmos de IA, los resultados pueden estar sesgados. Este fue un problema conocido en la industria financiera, que afecta las aprobaciones de préstamos, los cargos por tasas de interés y más. En Dinamarca, la Asociación Empresarial Danesa aplicó prácticas de IA TRiSM mediante la realización de pruebas de equidad para validar las predicciones de los modelos de IA que monitorear las transacciones financieras, lo que aumentó la confianza de los clientes.⁷

Además de garantizar una mayor equidad en las transacciones financieras, las medidas de IA TRiSM pueden ayudar a proteger los sistemas de detección de fraude de las instituciones financieras de los ataques de adversarios.⁸ Estas soluciones de IA también ayudan a los bancos a cumplir con los requisitos legales sobre protección del consumidor y salvaguardar la información confidencial.