La gestión de riesgos de la IA es el proceso de identificar, mitigar y abordar sistemáticamente los posibles riesgos asociados a las tecnologías de la IA. Implica una combinación de herramientas, prácticas y principios, con especial énfasis en la implementación de marcos formales de gestión de riesgos de la IA.

En términos generales, el objetivo de la gestión de riesgos de la IA es minimizar los posibles impactos negativos de la IA y maximizar sus beneficios.

La gestión de los riesgos de la IA forma parte del campo más amplio del gobierno de la IA. El gobierno de la IA se refiere a las barreras que garantizan que las herramientas y los sistemas de IA sean seguros y éticos y sigan siéndolo.

El gobierno de la IA es una disciplina integral, mientras que la gestión de riesgos de la IA es un proceso dentro de esa disciplina. La gestión de riesgos de la IA se centra específicamente en identificar y abordar las vulnerabilidades y amenazas para mantener los sistemas de IA a salvo de daños. El gobierno de la IA establece los marcos, reglas y estándares que dirigen la investigación, el desarrollo y la aplicación de la IA para garantizar la seguridad, la equidad y el respeto de los derechos humanos.

En los últimos años, el uso de sistemas de IA ha aumentado en todos los sectores. McKinsey informa (enlace externo a ibm.com) que el 72 % de las organizaciones utilizan ahora alguna forma de inteligencia artificial (IA), un 17 % más que en 2023.

Aunque las organizaciones persiguen los beneficios de la IA, como la innovación, la eficiencia y la mejora de la productividad, no siempre abordan sus riesgos potenciales, como las preocupaciones sobre la privacidad, las amenazas a la seguridad y los problemas éticos y legales.

Los líderes son muy conscientes de este reto. Un estudio reciente del IBM Institute for Business Value (IBM IBV) (enlace externo a ibm.com) reveló que el 96 % de los líderes cree que la adopción de la IA generativa hace más probable una violación de la seguridad. Al mismo tiempo, el IBM IBV también descubrió que solo el 24 % de los proyectos actuales de IA generativa están asegurados.

La gestión de riesgos de la IA puede ayudar a cerrar esta brecha y capacitar a las organizaciones para aprovechar todo el potencial de los sistemas de IA sin comprometer la ética o la seguridad de la IA.

Al igual que otros tipos de riesgo de seguridad, el riesgo de IA puede entenderse como una medida de la probabilidad de que una amenaza potencial relacionada con la IA afecte a una organización y de los daños que causaría dicha amenaza.

Aunque cada modelo de IA y caso de uso es diferente, los riesgos de la IA suelen dividirse en cuatro categorías:

• Riesgos de datos
• Riesgos del modelo
• Riesgos operacionales
• Riesgos éticos y legales

Si no se gestionan correctamente, estos riesgos pueden exponer a los sistemas y organizaciones de IA a daños importantes, como pérdidas financieras, daños a la reputación, sanciones normativas, erosión de la confianza pública y vulneraciones de datos.

Los sistemas de IA dependen de conjuntos de datos que puedan ser vulnerables a manipulaciones, infracciones, sesgos o ciberataques. Las organizaciones pueden mitigar estos riesgos protegiendo la integridad, la seguridad y la disponibilidad de los datos a lo largo de todo el ciclo de vida de la IA, desde el desarrollo hasta la formación y la implementación.

 Los riesgos comunes para los datos incluyen:

• Seguridad de los datos: la seguridad de los datos es uno de los mayores y más cruciales retos a los que se enfrentan los sistemas de IA. Los actores de las amenazas pueden causar graves problemas a las organizaciones al vulnerar los conjuntos de datos que alimentan las tecnologías de IA, incluidos el acceso no autorizado, la pérdida de datos y la confidencialidad comprometida.

• Protección de datos: los sistemas de IA a menudo manejan datos personales confidenciales, que pueden ser vulnerables a violaciones de la privacidad, lo que genera problemas regulatorios y legales para las organizaciones.

• Integridad de los datos: los modelos de IA son tan fiables como sus datos de entrenamiento. Los datos distorsionados o sesgados pueden dar lugar a falsos positivos, resultados inexactos o una mala toma de decisiones.

Los actores de amenazas pueden apuntar a modelos de IA para robarlos, aplicar ingeniería inversa o manipularlos sin autorización. Los atacantes pueden comprometer la integridad de un modelo manipulando su arquitectura, pesos o parámetros, los componentes principales que determinan el comportamiento y el rendimiento de un modelo de IA.

Algunos de los riesgos más comunes de los modelos incluyen:

• Ataques adversarios: estos ataques manipulan los datos de entrada para engañar a los sistemas de IA para que hagan predicciones o clasificaciones incorrectas. Por ejemplo, los atacantes pueden generar ejemplos adversarios que alimentan a los algoritmos de IA para interferir deliberadamente en la toma de decisiones o producir sesgos.

• Inyecciones de prompt: estos ataques se dirigen a modelos de lenguaje de gran tamaño (LLM). Los hackers disfrazan entradas maliciosas de prompts legítimos, manipulándolos sistemas de IA generativa para que filtren datos confidenciales, difundan información errónea o cosas peores. Incluso las inyecciones básicas de prompt pueden hacer que los chatbots de IA como ChatGPT ignoren las barreras del sistema y digan cosas que no deberían.

• Interpretabilidad del modelo: los modelos complejos de IA suelen ser difíciles de interpretar, lo que dificulta que los usuarios comprendan cómo toman sus decisiones. Esta falta de transparencia puede, en última instancia, impedir la detección de sesgos y la responsabilidad, al tiempo que erosiona la confianza en los sistemas de IA y sus proveedores.

• Ataques a la cadena de suministro: los ataques a la cadena de suministro se producen cuando los actores de amenazas se dirigen a los sistemas de IA a nivel de la cadena de suministro, incluidas sus etapas de desarrollo, implementación o mantenimiento. Por ejemplo, los atacantes pueden explotar vulnerabilidades en componentes de terceros utilizados en el desarrollo de IA, lo que provoca vulneraciones de datos o accesos no autorizados.

Aunque los modelos de IA pueden parecer mágicos, son fundamentalmente productos de un código sofisticado y algoritmos de machine learning. Como todas las tecnologías, son susceptibles a riesgos operativos. Si no se abordan, estos riesgos pueden provocar fallos en el sistema y vulnerabilidades de seguridad que los actores de amenazas pueden explotar. 

Algunos de los riesgos operativos más comunes incluyen:

• Deriva o decadencia: los modelos de IA pueden experimentar una deriva del modelo, un proceso en el que los cambios en los datos o las relaciones entre los puntos de datos pueden provocar un rendimiento degradado. Por ejemplo, un modelo de detección de fraude podría volverse menos preciso con el tiempo y permitir que se escapen transacciones fraudulentas.

• Cuestiones de sostenibilidad: los sistemas de IA son tecnologías nuevas y complejas que requieren una escalabilidad y un soporte adecuados. Descuidar la sostenibilidad puede generar desafíos en el mantenimiento y la actualización de estos sistemas, lo que provoca un rendimiento inconsistente y un aumento de los costos operativos y el consumo de energía.

• Retos de integración: integrar los sistemas de IA con la infraestructura de TI existente puede resultar complejo y consumir muchos recursos. Las organizaciones suelen tener problemas de compatibilidad, silos de datos e interoperabilidad de los sistemas. La introducción de sistemas de IA también puede crear nuevas vulnerabilidades al ampliar la superficie de ataque para las ciberamenazas. 

• Falta de responsabilidad: dado que los sistemas de IA son tecnologías relativamente nuevas, muchas organizaciones no cuentan con las estructuras de gobierno corporativo adecuadas. El resultado es que los sistemas de IA a menudo carecen de supervisión. McKinsey descubrió (enlace externo a ibm.com) que solo el 18 por ciento de las organizaciones tienen un consejo o junta con autoridad para tomar decisiones sobre el gobierno responsable de la IA.

Si las organizaciones no dan prioridad a la seguridad y la ética a la hora de desarrollar e implementar sistemas de IA, corren el riesgo de cometer violaciones de la privacidad y producir resultados sesgados. Por ejemplo, los datos de entrenamiento sesgados utilizados para las decisiones de contratación podrían reforzar los estereotipos raciales o de género y crear modelos de IA que favorezcan a ciertos grupos demográficos sobre otros.

 Los riesgos éticos y legales comunes incluyen:

• Falta de transparencia: las organizaciones que no son transparentes y responsables con sus sistemas de IA corren el riesgo de perder la confianza del público.

• Incumplimiento de los requisitos reglamentarios: el incumplimiento de las normativas gubernamentales, como el RGPD o las directrices específicas del sector, puede dar lugar a fuertes multas y sanciones legales.

• Sesgos algorítmicos: los algoritmos de IA pueden heredar sesgos de los datos de entrenamiento, lo que conduce a resultados potencialmente discriminatorios, como decisiones de contratación sesgadas y acceso desigual a los servicios financieros.

• Dilemas éticos: las decisiones de la IA pueden plantear preocupaciones éticas relacionadas con la privacidad, la autonomía y los derechos humanos. Una mala gestión de estos dilemas puede dañar la reputación de una organización y erosionar la confianza pública.

• Falta de explicabilidad: la explicabilidad en IA se refiere a la capacidad de comprender y justificar las decisiones tomadas por los sistemas de IA. La falta de explicación puede obstaculizar la confianza y provocar un escrutinio legal y dañar la reputación. Por ejemplo, si el CEO de una organización no sabe de dónde obtiene su LLM los datos de capacitación, esto puede generar mala prensa o investigaciones regulatorias.

Muchas organizaciones abordan los riesgos de la IA adoptando marcos de gestión de riesgos de IA, que son conjuntos de directrices y prácticas para gestionar los riesgos a lo largo de todo el ciclo de vida de la IA.

También se puede pensar en estas directrices como guías de estrategias que esbozan políticas, procedimientos, funciones y responsabilidades en relación con el uso de la IA por parte de una organización. Los marcos de gestión de riesgos de la IA ayudan a las organizaciones a desarrollar, implementar y mantener los sistemas de IA de forma que se minimicen los riesgos, se mantengan las normas éticas y se logre el cumplimiento continuo de la normativa.

Algunos de los marcos de gestión de riesgos de IA más utilizados son:

• El marco de gestión de riesgos de IA del NIST
• La Ley de AI de la UE
• Normas ISO/IEC
• La orden ejecutiva de EE. UU. sobre IA

En enero de 2023, el Instituto Nacional de Estándares y Tecnología (NIST) publicó el Marco de Gestión de Riesgos de IA (AI RMF) (enlace externo a ibm.com) para proporcionar un enfoque estructurado para gestionar los riesgos de IA. Desde entonces, el NIST AI RMF se ha convertido en un punto de referencia para la gestión de riesgos de IA.

El objetivo principal de la AI RMF es ayudar a las organizaciones a diseñar, desarrollar, implementar y utilizar sistemas de IA de forma que se gestionen eficazmente los riesgos y se promuevan prácticas de IA fiables y responsables.

Desarrollado en colaboración con los sectores público y privado, el RMF de IA es totalmente voluntario y aplicable en cualquier empresa, industria o geografía.

El marco se divide en dos partes. La primera parte ofrece una visión general de los riesgos y las características de los sistemas de IA fiables. La parte 2, el núcleo del AI RMF, describe cuatro funciones para ayudar a las organizaciones a abordar los riesgos de los sistemas de IA:

• Gobierno: crear una cultura organizacional de gestión de riesgos de IA
• Mapa: enmarcar los riesgos de la IA en contextos empresariales específicos
• Medición: análisis y evaluación de los riesgos de la IA
• Gestión: abordar los riesgos mapeados y medidos

La Ley de Inteligencia Artificial de la UE (Ley de IA de la UE) es una ley que regula el desarrollo y uso de la inteligencia artificial en la Unión Europea (UE). La ley adopta un enfoque de la regulación basado en el riesgo y aplica diferentes reglas a los sistemas de IA en función de las amenazas que representen para la salud, la seguridad y los derechos humanos. La ley también crea reglas para diseñar, entrenar e implementar modelos de inteligencia artificial de propósito general, como los modelos fundacionales que impulsan ChatGPT y Google Gemini.

La Organización Internacional de Normalización (ISO) y la Comisión Electrotécnica Internacional (IEC) han desarrollado normas (enlace externo a ibm.com) que abordan diversos aspectos de la gestión de riesgos de la IA.

Las normas ISO/IEC hacen hincapié en la importancia de la transparencia, la responsabilidad y las consideraciones éticas en la gestión de los riesgos de la IA. También proporcionan directrices prácticas para gestionar los riesgos de la IA a lo largo de todo el ciclo de vida de la IA, desde el diseño y el desarrollo hasta la implementación y el funcionamiento.

A finales de 2023, la administración Biden emitió una orden ejecutiva (enlace externo a ibm.com) para garantizar la seguridad de la IA. Aunque técnicamente no es un marco de gestión de riesgos, esta directiva exhaustiva proporciona directrices para establecer nuevas normas para gestionar los riesgos de la tecnología de IA.

La orden ejecutiva destaca varias preocupaciones clave, incluida la promoción de una IA fiable que sea transparente, explicable y responsable. En muchos sentidos, la orden ejecutiva ayudó a sentar un precedente para el sector privado, señalando la importancia de las prácticas integrales de gestión de riesgos de IA.

Aunque el proceso de gestión de riesgos de IA varía necesariamente de una organización a otra, las prácticas de gestión de riesgos de IA pueden proporcionar algunos beneficios básicos comunes cuando se implementan con éxito.

La gestión de riesgos de la IA puede mejorar la posición de ciberseguridad de una organización y el uso de la seguridad de la IA.

Mediante la realización periódica de evaluaciones de riesgos y auditorías, las organizaciones pueden identificar posibles riesgos y vulnerabilidades a lo largo del ciclo de vida de la IA.

Tras estas evaluaciones, pueden implementar estrategias de mitigación para reducir o eliminar los riesgos identificados. Este proceso puede implicar medidas técnicas, como mejorar la seguridad de los datos y mejorar la solidez del modelo. El proceso también puede implicar ajustes organizativos, como el desarrollo de directrices éticas y el fortalecimiento de los controles de acceso.

Adoptar este enfoque más proactivo para la detección y respuesta a las amenazas puede ayudar a las organizaciones a mitigar los riesgos antes de que se intensifiquen, reduciendo la probabilidad de violaciones de datos y el impacto potencial de los ciberataques.

La gestión de riesgos de la IA también puede ayudar a mejorar la toma de decisiones general de una organización.

Mediante una combinación de análisis cualitativos y cuantitativos, incluidos métodos estadísticos y opiniones de expertos, las organizaciones pueden comprender claramente sus riesgos potenciales. Esta visión completa ayuda a las organizaciones a priorizar las amenazas de alto riesgo y tomar decisiones más informadas sobre la implementación de IA, lo que equilibra el deseo de innovación con la necesidad de mitigar riesgos.

Un enfoque global cada vez mayor en la protección de datos confidenciales ha impulsado la creación de importantes requisitos regulatorios y estándares de la industria, incluido el Reglamento General de Protección de Datos (RGPD), la California Consumer Privacy Act (CCPA) y la Ley de IA de la UE.

El incumplimiento de estas leyes puede acarrear fuertes multas e importantes sanciones legales. La gestión de riesgos de la IA puede ayudar a las organizaciones a lograr el cumplimiento y mantenerse en buena posición, especialmente porque las regulaciones que rodean a la IA evolucionan casi tan rápido como la propia tecnología.

La gestión de riesgos de IA ayuda a las organizaciones a minimizar las interrupciones y garantizar la continuidad del negocio al permitirles abordar riesgos potenciales con sistemas de IA en tiempo real. La gestión de riesgos de la IA también puede fomentar una mayor responsabilidad y sostenibilidad a largo plazo al permitir que las organizaciones establezcan prácticas y metodologías de gestión claras para el uso de la IA. 

La gestión de riesgos de la IA fomenta un enfoque más ético de los sistemas de IA al priorizar la confianza y la transparencia.

La mayoría de los procesos de gestión de riesgos de la IA implican a una amplia gama de partes interesadas, incluidos ejecutivos, desarrolladores de IA, científicos de datos, usuarios, responsables políticos e incluso especialistas en ética. Este enfoque inclusivo ayuda a garantizar que los sistemas de IA se desarrollen y utilicen de manera responsable, teniendo en cuenta a todas las partes interesadas. 

Mediante la realización de pruebas periódicas y procesos de supervisión, las organizaciones pueden realizar un mejor seguimiento del rendimiento de un sistema de IA y detectar antes las amenazas emergentes. Esta monitorización ayuda a las organizaciones a mantener un cumplimiento normativo continuo y a remediar antes los riesgos de la IA, reduciendo el impacto potencial de las amenazas. 

A pesar de todo su potencial para agilizar y optimizar la forma en que se realiza el trabajo, las tecnologías de IA no están exentas de riesgos. Casi todas las piezas de TI de la empresa pueden convertirse en un arma en las manos equivocadas.

Las organizaciones no necesitan evitar la IA generativa. Simplemente tienen que tratarlo como cualquier otra herramienta tecnológica. Eso significa entender los riesgos y tomar medidas proactivas para minimizar las posibilidades de que un ataque tenga éxito.

Con IBM watsonx.governance, las organizaciones pueden dirigir, gestionar y monitorizar fácilmente las actividades de IA en una plataforma integrada. IBM watsonx.governance puede gobernar modelos de IA generativa de cualquier proveedor, evaluar el estado y la precisión del modelo y automatizar flujos de trabajo de cumplimiento clave.