¿Qué es IA TRiSM?

IA TRiSM, o gestión de la confianza, el riesgo y la seguridad de la inteligencia artificial (IA), "garantiza la gobernanza, la confianza, la equidad, la fiabilidad, la robustez, la eficacia y la protección de datos del modelo de IA. Esto incluye soluciones y técnicas para la interpretabilidad y explicabilidad de los modelos, la protección de datos de IA, las operaciones de los modelos y la resistencia a los ataques de adversarios".¹
 

 Fue desarrollado por la firma de investigación y consultoría Gartner, y "proporciona soluciones proactivas para identificar y mitigar estos riesgos, garantizando confiabilidad y seguridad".²

Si bien numerosos marcos separados se centran específicamente en la confianza de la IA, el riesgo de la IA o la seguridad de la IA, son difíciles de integrar y sincronizar, según los investigadores. Esta falta de coordinación puede dar lugar a una gestión fragmentada de la IA. También puede generar lagunas de conocimiento sobre los riesgos y las consecuencias de seguridad derivadas de la implementación y las prácticas de la IA.

Sin embargo, el marco AI TRiSM proporciona un enfoque unificado. Reúne las partes importantes de diferentes marcos para una gestión más integral de las tecnologías de IA.

Los partidarios de IA TRiSM consideran que la infraestructura es importante para mitigar los riesgos y las amenazas cibernéticas relacionadas con el avance y el uso creciente de la IA generativa, como los modelos de lenguaje de gran tamaño (LLM). El uso de la IA generativa puede aumentar las superficies de ataque de las organizaciones , permitir ciberataques más sofisticados por parte de hackers y plantear nuevas consideraciones éticas. Los beneficios de las aplicaciones IA TRiSM en ámbitos como la salud y las finanzas incluyen la mitigación de riesgos, medidas mejoradas para la supervisión de modelos y salvaguardas contra ataques de adversarios y accesos no autorizados.³

Según Gartner, "la gestión de la confianza, el riesgo y la seguridad de la IA (AI TRiSM) garantiza:

• Gobernanza
• Integridad
• Imparcialidad
• Confiabilidad
• Protección de datos en despliegues de IA”⁴

Gobernanza de la IA se refiere a los procesos, estándares y medidas de protección que ayudan a garantizar que los sistemas y herramientas de IA sean seguros y éticos. La gobernanza de la IA eficaz incluye la gestión de riesgos, con mecanismos para abordar posibles sesgos, violaciones de privacidad de datos y otras preocupaciones, al tiempo que genera confianza y apoya la innovación.

Implica la supervisión y evaluación continuas de los sistemas de IA para garantizar que cumplen las normas éticas y legales establecido. La Gobernanza de la IA incluye la gobernanza de datos, una disciplina de gestión de datos diseñada para mantener datos seguros y de alta calidad a los que se pueda acceder fácilmente para las iniciativas de descubrimiento de datos y business intelligence.

Diferentes organizaciones y marcos hacen hincapié en diversos principios rectores y objetivos para determinar la fiabilidad de los sistemas de IA. Entre los principios más citados de la IA confiable se encuentran la responsabilidad, la explicabilidad y la interpretabilidad.

Cuando los usuarios de modelos de IA y otros stakeholders tienen problemas para comprender cómo funciona un modelo, puede dificultar su confianza en el sistema de IA. Los procesos y metodologías adecuados pueden ayudar a los usuarios a comprender y confiar en los procesos de toma de decisiones y resultados de los modelos de machine learning.

La equidad a menudo implica mitigar o eliminar el sesgo en los modelos de IA y los datos de IA durante el ciclo de vida de desarrollo de la IA. Los modelos de IA absorben los prejuicios de la sociedad que pueden estar incrustados en sus datos de entrenamiento. Una recopilación de datos con sesgo que refleje la desigualdad social puede causar perjuicios a grupos históricamente marginados en la calificación crediticia, la contratación y otros ámbitos.

Identificar y abordar los sesgos en la IA requiere la capacidad de dirigir, gestionar y supervisar las actividades de IA de una organización. Esto se puede lograr a través de la gobernanza de la IA, específicamente, la creación de políticas y prácticas para guiar el desarrollo de IA responsable y el uso de tecnologías de IA.

La confiabilidad generalmente se refiere a la capacidad de algo para funcionar según lo previsto o requerido durante un período determinado bajo ciertas condiciones. Con respecto a los sistemas de IA, cumplir con las expectativas de rendimiento incluye proporcionar resultados correctos durante un período que puede extenderse hasta la vida útil del sistema.⁵

Protección de datos es la práctica de salvaguardar la información confidencial de la pérdida y corrupción de datos. La protección de datos está diseñada para preservar la disponibilidad de los datos, asegurando que los usuarios puedan acceder a los datos para Operaciones, incluso si los datos se dañan o se pierden en una filtración de datos o un ataque de malware.

La protección de datos abarca la seguridad de los datos (la protección de la información digital contra el acceso no autorizado, la corrupción o el robo) y la privacidad de datos (el principio de que una persona debe tener control sobre sus datos personales). La protección de datos es clave para el cumplimiento de los principales regímenes normativos, como el Reglamento General de Protección de Datos (RGPD) europeo.

Tanto las tecnologías tradicionales como las soluciones más nuevas específicas de IA son compatibles con AI TRiSM. Los primeros incluyen herramientas para proporcionar gestión de identidad y acceso (IAM) y soluciones para la gestión de la postura de seguridad de los datos.

Las tecnologías específicas de IA para AI TRiSM varían según el proveedor. Algunos se centran en ciertas funciones, como la seguridad o el cumplimiento. Otros ofrecen productos más completos con una variedad de capacidades, que incluyen:

• Gobernanza de la IA

• Protección y clasificación de datos de IA

• Inspección y aplicación del tiempo de ejecución de IA (consulte la información adicional en la siguiente sección)

Según una guía adicional de Gartner publicada en febrero de 2025, las soluciones TRiSM también deberían incluir:⁷

Un inventario de entidades de IA empleadas en la organización, tales como modelos, agentes y aplicaciones con diversas configuraciones, que van desde IA integrada en aplicaciones comerciales de terceros hasta IA propia, pasando por sistemas de generación aumentada por recuperación y modelos propios.

Datos empleados para capacitar o ajustar modelos de IA, proporcionar contexto para consultas de usuarios en un sistema RAG o alimentar sistemas de IA agéntica.

Garantías y evaluación continuas de las expectativas y métricas de rendimiento, fiabilidad, seguridad o protección que se emplean como puntos de partida. Las garantías y evaluaciones se aplican antes y después del despliegue (fuera de banda).

Aplicado a modelos, aplicaciones e interacciones con agentes para apoyar la alineación transaccional con las políticas de gobernanza organizacional. Las conexiones, procesos, comunicaciones, entradas y salidas aplicables se inspeccionan en busca de violaciones de políticas y comportamientos esperados. Las anomalías se destacan y se bloquean, se autorremedian o se envían a humanos o a sistemas de respuesta a incidentes para su investigación, triaje, respuesta y corrección aplicable.

Existen múltiples casos de uso para implementar AI TRiSM en el despliegue y la gestión de la IA empresarial. Entre ellos figuran:

Los profesionales médicos utilizan cada vez más herramientas impulsadas por IA para una variedad de propósitos, desde la automatización de dispositivos médicos hasta el análisis de imágenes. Un programa IA TRiSM puede ayudar a proteger los datos de atención médica utilizados en estos sistemas de las filtraciones de datos. Medidas como los controles de acceso, por ejemplo, pueden mitigar los riesgos potenciales de acceso no autorizado.

Cuando se utilizan conjuntos de datos que contienen sesgos demográficos para entrenar algoritmos de IA, los resultados pueden estar sesgados. Este fue un problema conocido en la industria financiera, que afectó las aprobaciones de préstamos, los cargos por tasas de interés y más. En Dinamarca, la Asociación Empresarial Danesa aplicó prácticas de IA TRiSM mediante la realización de pruebas de equidad para validar las predicciones de los modelos de IA que monitorean las transacciones financieras, lo que aumentó la confianza de los clientes.⁸

Además de garantizar una mayor equidad en las transacciones financieras, las medidas de IA TRiSM pueden ayudar a proteger los sistemas de detección de fraude de las instituciones financieras de los ataques de adversarios.⁹ Estas soluciones de IA también ayudan a los bancos a cumplir con los requisitos legales sobre protección del consumidor y salvaguardar la información confidencial.

Lea el reporte completo aquí.