¿Qué es AI TRiSM?

La AI TRiSM, o la gestión de la confianza, el riesgo y la seguridad de la inteligencia artificial (IA), "garantiza el gobierno, la fiabilidad, la imparcialidad, la robustez, la eficacia y la protección de datos del modelo de IA. Esto incluye soluciones y técnicas para la interpretabilidad y explicabilidad de los modelos, la protección de datos de IA, las operaciones de modelos y la resistencia a los ataques adversarios".¹
 

 Lo desarrolló la firma de investigación y consultoría Gartner, y “ofrece soluciones proactivas para identificar y mitigar estos riesgos, garantizando la fiabilidad, la confianza y la seguridad”.²

Aunque existen numerosos marcos independientes que se centran específicamente en la confianza en la IA, el riesgo de la IA o la seguridad de la IA, según los investigadores, es difícil integrarlos y sincronizarlos. Esta falta de coordinación puede dar lugar a una gestión fragmentada de la IA. También puede dar lugar a lagunas de conocimiento sobre los riesgos y las consecuencias para la seguridad derivados de la implementación y las prácticas de IA.

Sin embargo, el marco AI TRiSM proporciona un enfoque unificado. Reúne las partes importantes de diferentes marcos para una gestión más integral de las tecnologías de IA.

Los partidarios de la IA TRiSM consideran que el marco es importante para mitigar los riesgos y las ciberamenazas relacionados con el avance y el uso creciente de la IA generativa (IA gen), como los modelos de lenguaje de gran tamaño (LLM). El uso generativo de la IA puede aumentar las superficies de ataque de las organizaciones, permitir ciberataques más sofisticados por parte de los hackers y plantear consideraciones éticas novedosas. Los beneficios de las aplicaciones de IA TRiSM en ámbitos como la sanidad y las finanzas incluyen la mitigación de riesgos, medidas mejoradas para la supervisión de modelos y salvaguardas contra ataques de adversarios y accesos no autorizados³.

Según Gartner, “la gestión de la confianza, el riesgo y la seguridad de la IA (AI TRiSM) garantiza:

• Gobierno
• Confianza
• Imparcialidad
• Fiabilidad
• Protección de datos en implementaciones de IA"⁴

El gobierno de la IA se refiere a los procesos, normas y barreras que ayudan a garantizar que los sistemas y herramientas de IA sean seguros y éticos. El gobierno de la IA eficaz incluye la gestión de riesgos, con mecanismos para abordar posibles sesgos, violaciones de protección de datos y otras preocupaciones, al tiempo que genera confianza y apoya la innovación.

Implica la supervisión y la evaluación continua de los sistemas de IA para garantizar que cumplan con las normas éticas y las regulaciones legales establecidas. El gobierno de la IA incluye el gobierno de datos, una disciplina de gestión de datos diseñada para mantener datos seguros y de alta calidad a los que se pueda acceder fácilmente para la detección de datos e inteligencia empresarial iniciativas.

Las diferentes organizaciones y marcos hacen hincapié en varios principios rectores y objetivos para determinar la fiabilidad de los sistemas de IA. Los principios de la IA fiable citados con frecuencia incluyen la responsabilidad, la explicabilidad y la interpretabilidad.

Cuando los usuarios del modelo de IA y otros stakeholders tienen problemas para entender cómo funciona un modelo, puede obstaculizar su confianza en el sistema de IA. Los procesos y metodologías adecuados pueden ayudar a los usuarios a comprender y confiar en los procesos de toma de decisiones y los resultados de los modelos de machine learning.

La equidad a menudo implica mitigar o eliminar el sesgo en los modelos de IA y los datos de IA durante el ciclo de vida del desarrollo de IA. Los modelos de IA absorben los sesgos de la sociedad que pueden integrarse en sus datos de entrenamiento. La recopilación de datos sesgada que refleja la inequidad social puede resultar en perjuicio para grupos históricamente marginados en la calificación crediticia, la contratación y otras áreas.

Identificar y abordar los sesgos en la IA requiere la capacidad de dirigir, gestionar y supervisar las actividades de IA de una organización. Esto se puede lograr a través del gobierno de la IA, específicamente, la creación de políticas y prácticas para guiar el desarrollo de IA responsable y el uso de tecnologías de IA.

En general, la fiabilidad se refiere a la capacidad de algo para funcionar según lo previsto o requerido durante un periodo determinado en ciertas condiciones. Con respecto a los sistemas de IA, cumplir las expectativas de rendimiento incluye proporcionar outputs correctos durante un periodo que puede extenderse tanto como la vida útil del sistema⁵.

La protección de datos es la práctica de salvaguardar los datos sensibles de la pérdida y corrupción. La protección de datos tiene como objetivo preservar la disponibilidad de los datos y garantizar que los usuarios puedan acceder a los datos para las operaciones empresariales, incluso si los datos se dañan o se pierden en una vulneración de datos o un ataque de malware.

La protección de datos abarca la seguridad de datos (la protección de la información digital contra el acceso no autorizado, la corrupción o el robo) y la protección de datos (el principio de que una persona debe tener control sobre sus datos personales). La protección de datos es clave para el cumplimiento de los principales regímenes normativos, como el Reglamento General Europeo de Protección de Datos (RGPD).

Tanto las tecnologías tradicionales como las soluciones más nuevas y específicas para la IA son compatibles con la AI TriSM. Las primeras incluyen herramientas para proporcionar gestión de identidades y accesos (IAM) y soluciones para la gestión de la posición de seguridad de los datos.

Las tecnologías específicas de IA para AI TRiSM varían según el proveedor. Algunas se centran en determinadas funciones, como la seguridad o el cumplimiento. Otras ofrecen productos más completos con una variedad de capacidades, que incluyen:

• gobierno de la IA

• Protección y clasificación de datos de IA

• Inspección y aplicación en tiempo de ejecución de la IA (véase la información adicional en la siguiente sección)

Según una guía adicional de Gartner publicada en febrero de 2025, las soluciones TRiSM también deberían incluir:⁷

Un inventario de las entidades de IA utilizadas en la organización, como modelos, agentes y aplicaciones en varias configuraciones, que van desde la IA integrada en aplicaciones de terceros listas para usar hasta la IA propia, los sistemas de generación aumentada por recuperación y los modelos propios

Los datos utilizados para entrenar o afinar modelos de IA, proporcionar contexto para consultas de usuarios en un sistema RAG o alimentar sistemas agénticos de IA.

Garantías y evaluaciones continuas del rendimiento, la fiabilidad, la seguridad o las expectativas y métricas de seguridad que se utilizan como referencias. Las garantías y evaluaciones se aplican antes y después de la implementación (fuera de banda).

Se aplica a los modelos, las aplicaciones y las interacciones entre agentes para apoyar la alineación transaccional con las políticas de gobierno organizacional. Las conexiones, procesos, comunicaciones, entradas y output aplicables se inspeccionan en busca de violaciones de políticas y comportamientos esperados. Las anomalías se destacan y se bloquean, se autorremedian o se envían a humanos o a sistemas de respuesta a incidentes para su investigación, triaje, respuesta y corrección aplicable.

Existen múltiples casos de uso para implementar AI TRiSM en la implementación y la gestión de la IA empresarial. Entre ellos figuran:

Los profesionales médicos utilizan cada vez más herramientas con IA para diversos fines, desde la automatización de dispositivos médicos hasta el análisis de imágenes. Un programa AI TRiSM puede ayudar a proteger los datos sanitarios utilizados en estos sistemas de las vulneraciones de datos. Medidas como los controles de acceso, por ejemplo, pueden mitigar los riesgos potenciales del acceso no autorizado.

Cuando se utilizan conjuntos de datos que contienen sesgos demográficos para entrenar algoritmos de IA, los resultados pueden estar sesgados. Este ha sido un problema conocido en el sector financiero, que ha afectado a la aprobación de préstamos, a los tipos de interés y a otros aspectos. En Dinamarca, la Asociación Empresarial Danesa aplicó prácticas de AI TRiSM realizando pruebas de imparcialidad para validar las predicciones de los modelos de IA que supervisan las transacciones financieras, aumentando la confianza de los clientes.⁸

Además de garantizar una mayor equidad en las transacciones financieras, las medidas de AI TRiSM pueden ayudar a proteger los sistemas de detección del fraude de las instituciones financieras de los ataques adversarios.⁹ Estas soluciones de IA también ayudan a los bancos a cumplir con los requisitos legales sobre protección de los consumidores y salvaguardar la información confidencial.

Lea el informe completo aquí.