¿Qué es la gestión de riesgos de la IA?

La gestión de riesgos de la IA es el proceso de identificar, mitigar y abordar sistemáticamente los posibles riesgos asociados a las tecnologías de la IA. Implica una combinación de herramientas, prácticas y principios, con especial énfasis en la implementación de marcos formales de gestión de riesgos de la IA.

En términos generales, el objetivo de la gestión de riesgos de la IA es minimizar los posibles impactos negativos de la IA y maximizar sus beneficios.

La gestión de riesgos de la IA forma parte del campo más amplio del gobierno de la IA. El gobierno de la IA se refiere a las barreras que garantizan que las herramientas y los sistemas de IA sean seguros y éticos y sigan siéndolo.

El gobierno de la IA es una disciplina integral, mientras que la gestión de riesgos de la IA es un proceso dentro de esa disciplina. La gestión de riesgos de la IA se centra específicamente en identificar y abordar las vulnerabilidades y amenazas para mantener los sistemas de IA a salvo de daños. El gobierno de la IA establece los marcos, reglas y estándares que dirigen la investigación, el desarrollo y la aplicación de la IA para garantizar la seguridad, la equidad y el respeto de los derechos humanos.

En los últimos años, el uso de sistemas de IA se ha disparado en todos los sectores. McKinsey informa de que el 72 % de las organizaciones utilizan actualmente alguna forma de inteligencia artificial (IA), un 17 % más que en 2023.

Aunque las organizaciones persiguen los beneficios de la IA, como la innovación, la eficiencia y la mejora de la productividad, no siempre abordan sus riesgos potenciales, como las preocupaciones sobre la privacidad, las amenazas a la seguridad y los problemas éticos y legales.

Los líderes son muy conscientes de este reto. En un estudio reciente del IBM Institute for Business Value (IBM IBV) se descubrió que el 96 % de los líderes creen que la adopción de la IA generativa hace más probable una violación de la seguridad. Al mismo tiempo, el IBM IBV también descubrió que sólo el 24 % de los proyectos actuales de IA generativa están asegurados.

La gestión de riesgos de la IA puede ayudar a cerrar esta brecha y capacitar a las organizaciones para aprovechar todo el potencial de los sistemas de IA sin comprometer la ética o la seguridad de la IA.

Al igual que otros tipos de riesgo de seguridad, el riesgo de IA puede entenderse como una medida de la probabilidad de que una amenaza potencial relacionada con la IA afecte a una organización y de los daños que causaría dicha amenaza.

Aunque cada modelo de IA y caso de uso es diferente, los riesgos de la IA suelen dividirse en cuatro categorías:

• .
• Riesgos de datos
• Riesgos del modelo
• Riesgos operacionales
• Riesgos éticos y legales

Si no se gestionan correctamente, estos riesgos pueden exponer a los sistemas y organizaciones de IA a daños importantes, como pérdidas financieras, daños a la reputación, sanciones normativas, erosión de la confianza pública y vulneraciones de datos.

Los sistemas de IA se basan en conjuntos de datos que pueden ser vulnerables a la manipulación, las infracciones, el sesgo o los ciberataques. Las organizaciones pueden mitigar estos riesgos protegiendo la integridad, la seguridad y la disponibilidad de los datos a lo largo de todo el ciclo de vida de la IA, desde el desarrollo hasta la formación y la implementación.

 Los riesgos comunes para los datos incluyen:

• .
• Seguridad de los datos: la seguridad de los datos es uno de los mayores y más cruciales retos a los que se enfrentan los sistemas de IA. Los actores de las amenazas pueden causar graves problemas a las organizaciones al vulnerar los conjuntos de datos que alimentan las tecnologías de IA, incluidos el acceso no autorizado, la pérdida de datos y la confidencialidad comprometida.

• .
• Protección de datos: los sistemas de IA a menudo gestionan datos personales confidenciales, que pueden ser vulnerables a violaciones de la privacidad, lo que genera problemas regulatorios y legales para las organizaciones.

• .
• Integridad de los datos: los modelos de IA son tan fiables como sus datos de entrenamiento. Los datos distorsionados o sesgados pueden dar lugar a falsos positivos, resultados inexactos o una mala toma de decisiones.

Los actores de amenazas pueden atacar modelos de IA para robarlos, aplicar ingeniería inversa o manipularlos sin autorización. Los atacantes pueden poner en peligro la integridad de un modelo si alteran su arquitectura, sus ponderaciones o sus parámetros, los componentes básicos que determinan el comportamiento y el rendimiento de un modelo de IA.

Algunos de los riesgos más comunes de los modelos incluyen:

• .
• Ataques adversarios: estos ataques manipulan los datos de entrada para engañar a los sistemas de IA para que hagan predicciones o clasificaciones incorrectas. Por ejemplo, los atacantes pueden generar ejemplos adversarios que alimentan a los algoritmos de IA para interferir deliberadamente en la toma de decisiones o producir sesgos.

• .
• Inyecciones de instrucción: estos ataques tienen como objetivo los modelos de lenguaje de gran tamaño (LLM). Los hackers disfrazan las entradas maliciosas como solicitudes legítimas, manipulando los sistemas de IA generativa para que filtren datos confidenciales, difundan información errónea o cosas peores. Incluso las inyecciones de instrucción básicas pueden hacer que los chatbots de IA como ChatGPT ignoren los guardarraíles del sistema y digan cosas que no deberían.

• .
• Interpretabilidad del modelo: los modelos complejos de IA suelen ser difíciles de interpretar, lo que dificulta que los usuarios comprendan cómo toman sus decisiones. Esta falta de transparencia puede, en última instancia, impedir la detección de sesgos y la responsabilidad, al tiempo que erosiona la confianza en los sistemas de IA y sus proveedores.

• .
• Ataques a la cadena de suministro: los ataques a la cadena de suministro se producen cuando los actores de amenazas se dirigen a los sistemas de IA a nivel de la cadena de suministro, incluidas sus etapas de desarrollo, implementación o mantenimiento. Por ejemplo, los atacantes pueden explotar vulnerabilidades en componentes de terceros utilizados en el desarrollo de IA, lo que provoca vulneraciones de datos o accesos no autorizados.

Aunque los modelos de IA pueden parecer mágicos, son fundamentalmente productos de un código sofisticado y algoritmos de machine learning. Como todas las tecnologías, son susceptibles a riesgos operativos. Si no se abordan, estos riesgos pueden provocar fallos en el sistema y vulnerabilidades de seguridad que los actores de amenazas pueden explotar.

Algunos de los riesgos operativos más comunes incluyen:

• .
• Deriva o decadencia: los modelos de IA pueden experimentar una deriva del modelo, un proceso en el que los cambios en los datos o las relaciones entre los puntos de datos pueden provocar un rendimiento degradado. Por ejemplo, un modelo de detección de fraude podría volverse menos preciso con el tiempo y permitir que se escapen transacciones fraudulentas.

• .
• Cuestiones de sostenibilidad: los sistemas de IA son tecnologías nuevas y complejas que requieren una escalabilidad y un soporte adecuados. Descuidar la sostenibilidad puede generar desafíos en el mantenimiento y la actualización de estos sistemas, lo que provoca un rendimiento inconsistente y un aumento de los costes operativos y el consumo de energía.

• .
• Desafíos de integración: la integración de sistemas de IA con la infraestructura de TI existente puede ser compleja y requerir muchos recursos. Las organizaciones suelen tener problemas de compatibilidad, silos de datos e interoperabilidad de sistemas. La introducción de sistemas de IA también puede generar nuevas vulnerabilidades al ampliar la superficie de ataque para las ciberamenazas. 

• .
• Falta de responsabilidad: dado que las tecnologías de IA son relativamente nuevas, muchas organizaciones no cuentan con las estructuras de gobierno corporativo adecuadas. El resultado es que los sistemas de IA suelen carecer de supervisión. McKinsey descubrió que solo el 18 % de las organizaciones tienen un consejo o junta con la autoridad para tomar decisiones sobre el gobierno de la IA responsable.

Si las organizaciones no dan prioridad a la seguridad y la ética a la hora de desarrollar e implementar sistemas de IA, corren el riesgo de cometer violaciones de la privacidad y producir resultados sesgados. Por ejemplo, los datos de entrenamiento sesgados utilizados para las decisiones de contratación podrían reforzar los estereotipos raciales o de género y crear modelos de IA que favorezcan a ciertos grupos demográficos sobre otros.

 Los riesgos éticos y legales comunes incluyen:

• .
• Falta de transparencia: las organizaciones que no son transparentes y responsables con sus sistemas de IA corren el riesgo de perder la confianza del público.

• .
• Incumplimiento de los requisitos reglamentarios: el incumplimiento de las normativas gubernamentales, como el RGPD o las directrices específicas del sector, puede dar lugar a fuertes multas y sanciones legales.

• .
• Sesgos algorítmicos: los algoritmos de IA pueden heredar sesgos de los datos de entrenamiento, lo que conduce a resultados potencialmente discriminatorios, como decisiones de contratación sesgadas y acceso desigual a los servicios financieros.

• .
• Dilemas éticos: las decisiones de la IA pueden plantear preocupaciones éticas relacionadas con la privacidad, la autonomía y los derechos humanos. Una mala gestión de estos dilemas puede dañar la reputación de una organización y erosionar la confianza pública.

• .
• Falta de explicabilidad: la explicabilidad en IA se refiere a la capacidad de comprender y justificar las decisiones tomadas por los sistemas de IA. La falta de explicación puede obstaculizar la confianza y provocar un escrutinio legal y dañar la reputación. Por ejemplo, si el CEO de una organización no sabe de dónde obtiene su LLM los datos de capacitación, esto puede generar mala prensa o investigaciones regulatorias.

Muchas organizaciones abordan los riesgos de la IA adoptando marcos de gestión de riesgos de IA, que son conjuntos de directrices y prácticas para gestionar los riesgos a lo largo de todo el ciclo de vida de la IA.

También se pueden considerar estas directrices como guías de estrategias que describen las políticas, los procedimientos, las funciones y las responsabilidades con respecto al uso de la IA por parte de una organización. Los marcos de gestión de riesgos de IA ayudan a las organizaciones a desarrollar, implementar y mantener sistemas de IA de una manera que minimice los riesgos, mantenga los estándares éticos y logre el cumplimiento normativo continuo.

Algunos de los marcos de gestión de riesgos de IA más utilizados incluyen:

• El marco de gestión de riesgos de IA del NIST
• La Ley de Inteligencia Artificial de la UE
• Normas ISO/IEC
• La orden ejecutiva de EE. UU. sobre IA

En enero de 2023, el Instituto Nacional de Estándares y Tecnología (NIST) publicó el Marco de Gestión de Riesgos de IA (AI RMF) para proporcionar un enfoque estructurado para gestionar los riesgos de IA. Desde entonces, el AI RMF del NIST se ha convertido en una referencia para la gestión de riesgos de IA.

El objetivo principal de la AI RMF es ayudar a las organizaciones a diseñar, desarrollar, implementar y utilizar sistemas de IA de forma que se gestionen eficazmente los riesgos y se promuevan prácticas de IA fiables y responsables.

Desarrollado en colaboración con los sectores público y privado, el AI RMF es totalmente voluntario y aplicable en cualquier empresa, industria o geografía.

El marco se divide en dos partes. La primera parte ofrece una visión general de los riesgos y las características de los sistemas de IA fiables. La parte 2, el núcleo del AI RMF, describe cuatro funciones para ayudar a las organizaciones a abordar los riesgos de los sistemas de IA:

• .
• Gobierno: crear una cultura organizacional de gestión de riesgos de IA
• Mapa: enmarcar los riesgos de la IA en contextos empresariales específicos
• Medición: análisis y evaluación de los riesgos de la IA
• Gestión: abordar los riesgos mapeados y medidos

La Ley de Inteligencia Artificial de la UE (Ley de IA de la UE) es una ley que rige el desarrollo y el uso de la inteligencia artificial en la Unión Europea (UE). La ley adopta un enfoque de regulación basado en el riesgo y aplica diferentes normas a los sistemas de IA según las amenazas que representan para la salud humana, la seguridad y los derechos humanos. La ley también crea normas para el diseño, el entrenamiento y la implementación de modelos de inteligencia artificial de uso general, como los modelos fundacionales que impulsan ChatGPT y Google Gemini.

La Organización Internacional de Normalización (ISO) y la Comisión Electrotécnica Internacional (IEC) han desarrollado normas (enlace externo a ibm.com) que abordan diversos aspectos de la gestión de riesgos de la IA.

Las normas ISO/IEC subrayan la importancia de la transparencia, la responsabilidad y las consideraciones éticas en la gestión de los riesgos de la IA. También proporcionan directrices prácticas para gestionar los riesgos de la IA a lo largo de todo el ciclo de vida de la IA, desde el diseño y el desarrollo hasta la implementación y el funcionamiento.

Aunque el proceso de gestión de riesgos de la IA varía necesariamente de una organización a otra, las prácticas de gestión de riesgos de IA pueden proporcionar algunos beneficios básicos comunes cuando se implementan con éxito.

La gestión de riesgos de la IA puede mejorar la posición de ciberseguridad de una organización y el uso de la seguridad de la IA.

Mediante la realización periódica de evaluaciones de riesgos y auditorías, las organizaciones pueden identificar posibles riesgos y vulnerabilidades a lo largo del ciclo de vida de la IA.

Tras estas evaluaciones, pueden implementar estrategias de mitigación para reducir o eliminar los riesgos identificados. Este proceso puede implicar medidas técnicas, como mejorar la seguridad de los datos y mejorar la solidez del modelo. El proceso también puede implicar ajustes organizativos, como el desarrollo de directrices éticas y el fortalecimiento de los controles de acceso.

Adoptar este enfoque más proactivo para la detección y respuesta a las amenazas puede ayudar a las organizaciones a mitigar los riesgos antes de que se intensifiquen, lo que reduce la probabilidad de vulneraciones de datos y el impacto potencial de los ciberataques.

La gestión de riesgos de la IA también puede ayudar a mejorar la toma de decisiones general de una organización.

Mediante una combinación de análisis cualitativos y cuantitativos, incluidos métodos estadísticos y opiniones de expertos, las organizaciones pueden comprender claramente sus riesgos potenciales. Esta visión completa ayuda a las organizaciones a priorizar las amenazas de alto riesgo y tomar decisiones más informadas sobre la implementación de IA, lo que equilibra el deseo de innovación con la necesidad de mitigar riesgos.

La creciente atención mundial a la protección de los datos sensibles ha impulsado la creación de importantes requisitos reglamentarios y normas industriales, como el Reglamento General de Protección de Datos (RGPD), la California Consumer Privacy Act y la Ley de IA de la UE.

El incumplimiento de estas leyes puede acarrear fuertes multas e importantes sanciones legales. La gestión de riesgos de la IA puede ayudar a las organizaciones a lograr el cumplimiento y mantenerse en buena posición, especialmente porque las regulaciones que rodean a la IA evolucionan casi tan rápido como la propia tecnología.

La gestión de riesgos de IA ayuda a las organizaciones a minimizar las interrupciones y asegurar la continuidad del negocio al permitirles abordar riesgos potenciales con sistemas de IA en tiempo real. La gestión de riesgos de la IA también puede fomentar una mayor responsabilidad y sostenibilidad a largo plazo al permitir que las organizaciones establezcan prácticas y metodologías de gestión claras para el uso de la IA. 

La gestión de riesgos de la IA fomenta un enfoque más ético de los sistemas de IA al priorizar la confianza y la transparencia.

La mayoría de los procesos de gestión de riesgos de la IA implican a una amplia gama de partes interesadas, incluidos ejecutivos, desarrolladores de IA, científicos de datos, usuarios, responsables políticos e incluso especialistas en ética. Este enfoque inclusivo ayuda a garantizar que los sistemas de IA se desarrollen y utilicen de manera responsable, teniendo en cuenta a todas las partes interesadas. 

Mediante la realización de pruebas periódicas y procesos de monitorización, las organizaciones pueden realizar un mejor seguimiento del rendimiento de un sistema de IA y detectar antes las amenazas emergentes. Esta monitorización ayuda a las organizaciones a mantener un cumplimiento normativo continuo y a remediar antes los riesgos de la IA, reduciendo el impacto potencial de las amenazas. 

A pesar de todo su potencial para agilizar y optimizar la forma en que se realiza el trabajo, las tecnologías de IA no están exentas de riesgos. Casi todas las piezas de TI de la empresa pueden convertirse en un arma en las manos equivocadas.

Las organizaciones no necesitan evitar la IA generativa. Simplemente tienen que tratarla como cualquier otra herramienta tecnológica. Eso significa entender los riesgos y tomar medidas proactivas para minimizar las posibilidades de que un ataque tenga éxito.

Con IBM watsonx.governance, las organizaciones pueden dirigir, gestionar y monitorizar fácilmente las actividades de IA. IBM watsonx.governance puede gobernar modelos de IA generativa de cualquier proveedor, evaluar la salud y la precisión del modelo y automatizar flujos de trabajo de cumplimiento clave.