Gestión de riesgos de IA es el proceso de identificar, mitigar y abordar sistemáticamente los riesgos potenciales asociados con las tecnologías de IA. Implica una combinación de herramientas, prácticas y principios, con un énfasis particular en el despliegue de marcos formales de gestión de riesgos de IA.

En términos generales, el objetivo de la gestión de riesgos de la IA es minimizar los posibles impactos negativos de la IA y maximizar sus beneficios.

La gestión de riesgos de la IA forma parte del campo más amplio de la gobernanza de la IA . La gobernanza de la IA se refiere a las medidas de seguridad que garantizan que las herramientas y los sistemas de IA sean seguros y éticos y sigan siéndolo.

La gobernanza de la IA es una disciplina integral, mientras que la gestión de riesgos de la IA es un proceso dentro de esa disciplina. La gestión de riesgos de IA se centra específicamente en identificar y abordar vulnerabilidades y amenazas para mantener los sistemas de IA a salvo de daños. La gobernanza de la IA establece los marcos, reglas y estándares que dirigen la investigación, el desarrollo y la aplicación de la IA para garantizar la seguridad, la equidad y el respeto de los derechos humanos.

En los últimos años, el uso de sistemas de IA aumentó en todas las industrias. McKinsey informa (el enlace se encuentra fuera de ibm.com) que el 72% de las organizaciones emplean ahora alguna forma de inteligencia artificial (IA), un 17% más que en 2023.

Si bien las organizaciones persiguen los beneficios de la IA, como la innovación, la eficiencia y la mejora de la productividad, no siempre abordan sus riesgos potenciales, como los problemas de privacidad, las amenazas de seguridad y los problemas éticos y legales.

Los líderes son muy conscientes de este desafío. Un estudio reciente del IBM Institute for Business Value (IBM IBV) (enlace externo a ibm.com) encontró que el 96% de los líderes creen que la adopción de la IA generativa hace que sea más probable una violación de seguridad. Al mismo tiempo, IBM IBV también descubrió que solo el 24% de los proyectos actuales de IA generativa están protegidos.

La gestión de riesgos de la IA puede ayudar a cerrar esta brecha y capacitar a las organizaciones para aprovechar todo el potencial de los sistemas de IA sin comprometer la ética o la seguridad de la IA.

Al igual que otros tipos de riesgo de seguridad, el riesgo de IA puede entender como una medida de la probabilidad de que una amenaza potencial relacionada con la IA afecte a una organización y cuánto daño causaría esa amenaza.

Aunque cada modelo de IA y caso de uso es diferente, los riesgos de la IA suelen dividirse en cuatro categorías:

• Riesgos de datos
• Riesgos del modelo
• Riesgos operacionales
• Riesgos éticos y legales

Si no se gestionan correctamente, estos riesgos pueden exponer a los sistemas y organizaciones de IA a daños significativos, como pérdidas financieras, daños a la reputación, sanciones normativas, erosión de la confianza pública y filtraciones de datos.

Los sistemas de IA se basan en conjuntos de datos que podrían ser vulnerables a manipulaciones, brechas, sesgos o ciberataques. Las organizaciones pueden mitigar estos riesgos protegiendo la integridad, la seguridad y la disponibilidad de los datos a lo largo de todo el ciclo de vida de la IA, desde el desarrollo hasta el entrenamiento y el despliegue.

 Los riesgos de datos comunes incluyen:

• Seguridad de los datos: la seguridad de los datos es uno de los desafíos más grandes y críticos que enfrentan los sistemas de IA. Los actores de amenazas pueden causar serios problemas a las organizaciones al violar los conjuntos de datos que impulsan las tecnologías de IA, incluido el acceso no autorizado, la pérdida de datos y la confidencialidad comprometida.

• Privacidad de datos: los sistemas de IA a menudo manejan datos personales confidenciales, que pueden ser vulnerables a violaciones de privacidad, lo que genera problemas regulatorios y legales para las organizaciones.

• Integridad de los datos: los modelos de IA son tan confiables como sus datos de entrenamiento. Los datos distorsionados o sesgados pueden generar falsos positivos, resultados inexactos o una mala toma de decisiones.

<a href="" target="">Actores de amenazas pueden apuntar a los modelos de IA para robo, ingeniería inversa o manipulación no autorizada. Los atacantes pueden comprometer la integridad de un modelo al alterar su arquitectura, pesos o parámetros, los componentes centrales que determinan el comportamiento y el rendimiento de un modelo de IA.

Algunos de los riesgos de modelo más comunes incluyen:

• Ataques adversarios: estos ataques manipulan los datos de entrada para engañar a los sistemas de IA y lograr que realicen predicciones o clasificaciones incorrectas. Por ejemplo, los atacantes pueden generar ejemplos adversarios que alimentan a algoritmos de IA para interferir deliberadamente con la toma de decisiones o producir sesgos.

• Inyecciones de instrucción: estos ataques se dirigen a modelos de lenguaje de gran tamaño (LLM). Los hackers disfrazan entradas maliciosas de instrucciones legítimas, manipulando sistemas de IA generativa para que filtren datos confidenciales, difundan información errónea o cosas peores. Incluso las inyecciones básicas de instrucción pueden hacer que los chatbots de IA como ChatGPT ignoren las barreras del sistema y digan cosas que no debieran.

• Interpretabilidad de los modelos: los modelos de IA complejos suelen ser difíciles de interpretar, lo que dificulta que los usuarios entiendan cómo llegan a sus decisiones. Esta falta de transparencia puede, en última instancia, impedir la detección de sesgos y la rendición de cuentas, al tiempo que erosiona la confianza en los sistemas de IA y sus proveedores.

• Ataques a la cadena de suministro: los ataques a la cadena de suministro ocurren cuando los actores de amenazas apuntan a los sistemas de IA a nivel de la cadena de suministro, incluso en sus etapas de desarrollo, despliegue o mantenimiento. Por ejemplo, los atacantes podrían explotar vulnerabilidades en componentes de terceros empleados en el desarrollo de IA, lo que daría lugar a filtraciones de datos o acceso no autorizado.

Aunque los modelos de IA pueden parecer mágicos, son fundamentalmente productos de código sofisticado y algoritmos de machine learning. Como todas las tecnologías, son susceptibles a los riesgos operativos. Si no se abordan, estos riesgos pueden provocar fallas en el sistema y vulnerabilidades de seguridad que los actores de amenazas pueden explotar. 

Algunos de los riesgos operativos más comunes incluyen:

• Deriva o decaimiento: los modelos de IA pueden experimentar la deriva del modelo, un proceso en el que los cambios en los datos o las relaciones entre los puntos de datos pueden conducir a un rendimiento degradado. Por ejemplo, un modelo de detección de fraudes puede volver menos preciso con el tiempo y dejar que las transacciones fraudulentas pasen desapercibidas.

• Problemas de sustentabilidad: los sistemas de IA son tecnologías nuevas y complejas que requieren un escalado y soporte adecuados. Descuidar la sustentabilidad puede generar desafíos en el mantenimiento y la actualización de estos sistemas, lo que provoca un rendimiento inconsistente y mayores costos operativos y consumo de energía.

• Retos de integración: la integración de los sistemas de IA con la infraestructura informática existente puede ser compleja y requerir muchos recursos. Las organizaciones se encuentran a menudo con problemas de compatibilidad, silos de datos e interoperabilidad de sistemas. La introducción de sistemas de IA también puede crear nuevas vulnerabilidades al ampliar la superficie de ataque de las ciberamenazas. 

• Falta de responsabilidad: dado que los sistemas de IA son tecnologías relativamente nuevas, muchas organizaciones no cuentan con las estructuras adecuadas de gobernanza corporativa. El resultado es que los sistemas de IA a menudo carecen de supervisión. McKinsey descubrió (enlace externo a ibm.com) que solo el 18 por ciento de las organizaciones tienen un consejo o junta con autoridad para tomar decisiones sobre la gobernanza responsable de la IA.

Si las organizaciones no dan prioridad a la seguridad y la ética a la hora de desarrollar y desplegar sistemas de IA, corren el riesgo de cometer violaciones de la privacidad y producir resultados sesgados. Por ejemplo, los datos de entrenamiento sesgados utilizados en las decisiones de contratación podrían reforzar estereotipos de género o raciales y crear modelos de IA que favorezcan a determinados grupos demográficos en detrimento de otros.

 Los riesgos éticos y legales comunes incluyen:

• Falta de transparencia: Las organizaciones que no son transparentes y responsables con sus sistemas de IA corren el riesgo de perder la confianza del público.

• Incumplimiento de los requisitos normativos: el incumplimiento de las normativas gubernamentales, como el RGPD o las directrices específicas del sector, puede dar lugar a multas y sanciones legales elevadas.

• Sesgos algorítmicos: Los algoritmos de IA pueden heredar sesgos de los datos de entrenamiento, lo que puede dar lugar a resultados discriminatorios, como decisiones de contratación sesgadas y acceso desigual a los servicios financieros.

• Dilemas éticos: las decisiones de la IA pueden plantear preocupaciones éticas relacionadas con la privacidad, la autonomía y los derechos humanos. Manejar mal estos dilemas puede dañar la reputación de una organización y erosionar la confianza pública.

• Falta de explicabilidad: la explicabilidad en IA se refiere a la capacidad de comprender y justificar las decisiones tomadas por los sistemas de IA. La falta de explicación puede obstaculizar la confianza y provocar un escrutinio legal y dañar la reputación. Por ejemplo, si el director ejecutivo (CEO) de una organización no sabe de dónde obtiene su LLM los datos de capacitación, esto puede generar mala prensa o investigaciones regulatorias.

Muchas organizaciones abordan los riesgos de la IA adoptando marcos de gestión de riesgos de IA, que son conjuntos de directrices y prácticas para gestionar los riesgos a lo largo de todo el ciclo de vida de la IA.

También se puede pensar en estas directrices como playbooks que esbozan políticas, procedimientos, funciones y responsabilidades en relación con el uso de la IA por parte de una organización. Los marcos de gestión de riesgos de la IA ayudan a las organizaciones a desarrollar, desplegar y mantener los sistemas de IA de forma que se minimicen los riesgos, se mantengan las normas éticas y se logre el cumplimiento continuo de la normativa.

Algunos de los marcos de gestión de riesgos de IA más empleados incluyen:

• El marco de gestión de riesgos de la IA del NIST
• La Ley de IA de la UE
• Normas ISO/IEC
• La orden ejecutiva de EE. UU. sobre IA

En enero de 2023, el Instituto Nacional de Estándares y Tecnología (NIST) de EE. UU. publicó el Marco de Gestión de Riesgos de IA (AI RMF) (enlace externo a ibm.com) para proporcionar un enfoque estructurado para gestionar los riesgos de IA. Desde entonces, el NIST AI RMF se ha convertido en un punto de referencia para la gestión de riesgos de IA.

El objetivo principal de AI RMF es ayudar a las organizaciones a diseñar, desarrollar, desplegar y emplear sistemas de IA de una manera que gestione eficazmente los riesgos y promueva prácticas confiables de IA responsable.

Desarrollado en colaboración con los sectores público y privado, el RMF de IA es totalmente voluntario y aplicable en cualquier compañía, industria o geografía.

El marco se divide en dos partes. La primera parte ofrece una visión general de los riesgos y las características de los sistemas de IA confiable. La parte 2, el núcleo del RMF de IA, describe cuatro funciones para ayudar a las organizaciones a abordar los riesgos de los sistemas de IA:

• Gobernar: Creación de una cultura organizacional de administración de riesgos de IA
• Mapa: Enmarcar los riesgos de la IA en contextos empresariales específicos
• Medida: Analizar y evaluar los riesgos de IA
• Gestionar: abordar los riesgos mapeados y medidos

La Ley de Inteligencia Artificial de la UE (Ley de IA de la UE) es una ley que regula el desarrollo y el uso de la inteligencia artificial en la Unión Europea (UE). La ley adopta un enfoque basado en el riesgo para la regulación, aplicando diferentes reglas a los sistemas de IA de acuerdo con las amenazas que representan para la salud, la seguridad y los derechos humanos. La ley también establece reglas para el diseño, el entrenamiento y el despliegue de modelos de inteligencia artificial de uso general, como los modelos fundacionales que impulsan ChatGPT y Google Gemini.

La Organización Internacional de Normalización (ISO) y la Comisión Electrotécnica Internacional (IEC)desarrollaron estándares (enlace externo a ibm.com) que abordan diversos aspectos de la gestión de riesgos de la IA.

Las normas ISO/IEC hacen hincapié en la importancia de la transparencia, la responsabilidad y las consideraciones éticas en la gestión de los riesgos de la IA. También proporcionan directrices aplicables en la práctica para gestionar los riesgos de la IA a lo largo de todo el ciclo de vida de la IA, desde el diseño y el desarrollo hasta el despliegue y la operación.

A finales de 2023, la administración Biden emitió una orden ejecutiva (enlace externo a ibm.com) para garantizar la seguridad de la IA. Aunque técnicamente no es un marco de gestión de riesgos, esta directiva exhaustiva proporciona directrices para establecer nuevas normas para gestionar los riesgos de la tecnología de IA.

La orden ejecutiva destaca varias preocupaciones clave, incluida la promoción de una IA confiable que sea transparente, explicable y responsable. En muchos sentidos, la orden ejecutiva ayudó a sentar un precedente para el sector privado, señalando la importancia de las prácticas integrales de gestión de riesgos de IA.

Si bien el proceso de gestión de riesgos de IA varía necesariamente de una organización a otra, las prácticas de gestión de riesgos de IA pueden proporcionar algunos beneficios básicos comunes cuando se implementan con éxito.

La gestión de riesgos de la IA puede mejorar la postura de ciberseguridad de una organización y el uso de la seguridad de la IA.

Al realizar evaluaciones de riesgos y auditorías periódicas, las organizaciones pueden identificar riesgos y vulnerabilidades potenciales a lo largo del ciclo de vida de la IA.

Tras estas evaluaciones, pueden implementar estrategias de mitigación para reducir o eliminar los riesgos identificados. Este proceso puede implicar medidas técnicas, como mejorar la seguridad de los datos y mejorar la solidez del modelo. El proceso también podría implicar ajustes organizacionales, como el desarrollo de pautas éticas y el fortalecimiento de los controles de acceso.

Adoptar este enfoque más proactivo para la detección y respuesta a amenazas puede ayudar a las organizaciones a mitigar los riesgos antes de que se intensifiquen, reduciendo la probabilidad de filtraciones de datos y el impacto potencial de los ciberataques.

La gestión de riesgos de la IA también puede ayudar a mejorar la toma de decisiones general de una organización.

Mediante el uso de una combinación de análisis cualitativos y cuantitativos, incluidos métodos estadísticos y opiniones de expertos, las organizaciones pueden obtener una comprensión clara de sus riesgos potenciales. Esta visión completa ayuda a las organizaciones a priorizar las amenazas de alto riesgo y a tomar decisiones más informadas sobre el despliegue de IA, equilibrando el deseo de innovación con la necesidad de mitigación de riesgos.

Un enfoque global cada vez mayor en la protección de datos confidenciales ha impulsado la creación de importantes requisitos regulatorios y estándares de la industria, incluido el Reglamento General de Protección de Datos (GDPR), la California Consumer Privacy Act (CCPA) y la Ley de IA de la UE.

El incumplimiento de estas leyes puede dar lugar a fuertes multas y sanciones legales significativas. La gestión de riesgos de la IA puede ayudar a las organizaciones a lograr el cumplimiento y mantener al día, especialmente a medida que las regulaciones que rodean a la IA evolucionan casi tan rápido como la propia tecnología.

La gestión de riesgos de IA ayuda a las organizaciones a minimizar las interrupciones y garantizar la continuidad del negocio al permitirles abordar los riesgos potenciales con sistemas de IA en tiempo real. La gestión de riesgos de la IA también puede fomentar una mayor responsabilidad y sustentabilidad a largo plazo al permitir que las organizaciones establezcan prácticas y metodologías de gestión claras para el uso de la IA. 

La gestión de riesgos de IA fomenta un enfoque más ético de los sistemas de IA al priorizar la confianza y la transparencia.

La mayoría de los procesos de gestión de riesgos de IA involucran a una amplia gama de stakeholders, incluidos ejecutivos, desarrolladores de IA, científicos de datos, usuarios, responsables políticos e incluso especialistas en ética. Este enfoque inclusivo ayuda a garantizar que los sistemas de IA se desarrollen y empleen de manera responsable, teniendo en cuenta a todos los stakeholders. 

Al realizar pruebas periódicas y procesos de monitoreo, las organizaciones pueden rastrear mejor el rendimiento de un sistema de IA y detectar antes las amenazas emergentes. Este monitoreo ayuda a las organizaciones a mantener el cumplimiento normativo continuo y remediar los riesgos de IA antes, reduciendo el impacto potencial de las amenazas. 

A pesar de todo su potencial para agilizar y optimizar la forma en que se realiza el trabajo, las tecnologías de IA no están exentas de riesgos. Casi todas las piezas de TI empresarial pueden convertir en un arma en las manos equivocadas.

Las organizaciones no necesitan evitar la IA generativa. Simplemente necesitan tratarlo como cualquier otra herramienta tecnológica. Eso significa comprender los riesgos y tomar medidas proactivas para minimizar la posibilidad de un ataque exitoso.

Con IBM watsonx.governance, las organizaciones pueden dirigir, gestionar y monitorear fácilmente las actividades de IA en una plataforma integrada. IBM watsonx.governance puede gobernar modelos de IA generativa de cualquier proveedor, evaluar el estado y la precisión del modelo y automatizar flujos de trabajo de cumplimiento clave.