Buenas prácticas para proteger la implementación de la IA

A medida que las organizaciones adoptan la IA generativa, esperan una serie de beneficios de estos proyectos: desde ganancias en eficiencia y productividad hasta una mayor velocidad de negocio y más innovación en productos y servicios. Sin embargo, un factor que forma una parte crítica de esta innovación de IA es la confianza. La IA fiable se basa en comprender cómo funciona la IA y cómo toma decisiones.

Según una encuesta a altos ejecutivos del IBM Institute for Business Value, el 82 % de los encuestados afirma que una IA segura y fiable es esencial para el éxito de su negocio, pero solo el 24 % de los proyectos actuales de IA generativa están asegurados. Esto deja un vacío asombroso en la seguridad de los proyectos de IA conocidos. Si a esto le añadimos que la "IA en la sombra" presente en las organizaciones, la brecha de seguridad para la IA es aún más considerable.

Las organizaciones tienen todo un nuevo pipeline de proyectos en construcción que aprovechan la IA generativa. Durante la fase de recopilación y gestión de datos, es necesario recopilar enormes volúmenes de datos para alimentar el modelo y se da acceso a varias personas diferentes, incluidos científicos de datos, ingenieros, desarrolladores y otros. Esto presenta un riesgo inherente al centralizar todos esos datos en un solo lugar y dar acceso a ellos a muchas personas. Esto significa que la IA generativa es un nuevo tipo de almacén de datos que puede crear nuevos datos basándose en datos existentes de la organización. Ya sea que haya entrenado el modelo, lo haya ajustado o lo haya conectado a una RAG (Vector DB), es probable que esos datos contengan información personal, problemas de privacidad y otro tipo de información confidencial. Este montón de datos confidenciales es un objetivo rojo parpadeante al que los atacantes van a intentar acceder.

Dentro del desarrollo de modelos, las nuevas aplicaciones se están construyendo de una forma totalmente nueva con nuevas vulnerabilidades que se convierten en nuevos puntos de entrada que los atacantes intentarán explotar. El desarrollo suele empezar cuando los equipos de ciencia de datos descargan y reutilizan modelos de aprendizaje automático de código abierto previamente entrenados de repositorios de modelos en línea como HuggingFace o TensorFlow Hub. Los repositorios de compartición de modelos de código abierto han surgido de la complexidad inherente a la ciencia de datos, la escasez de profesionales y el valor que aportan a las organizaciones al reducir drásticamente el tiempo y esfuerzo requeridos para la adopción de la IA generativa. Sin embargo, estos repositorios pueden carecer de controles de seguridad integrales, que en última instancia trasladan el riesgo a la empresa, y los atacantes cuentan con ello. Pueden inyectar una puerta trasera o malware en uno de estos modelos y volver a cargar el modelo infectado en los repositorios de intercambio de modelos, afectando a cualquiera que lo descargue. La escasez general de seguridad en torno a los modelos de ML, junto con los datos cada vez más sensibles a los que están expuestos los modelos de ML, significa que los ataques dirigidos a estos modelos tienen una alta propensión a causar daños.

Y durante la inferencia y el uso en vivo, los atacantes pueden manipular las instrucciones para escapar de las barreras de seguridad y convencer a los modelos para que se comporten mal generando respuestas no permitidas a instrucciones dañinas, incluyendo información sesgada, falsa y otras informaciones tóxicas, causando daño reputacional. O bien, los atacantes pueden manipular el modelo y analizar pares de entrada-salida para entrenar un modelo sustituto que imite el comportamiento del modelo objetivo, "robando" efectivamente sus capacidades, lo que le cuesta a la empresa su ventaja competitiva.

Diferentes organizaciones utilizan diferentes enfoques para proteger la IA a medida que evolucionan los estándares y los marcos para proteger la IA. El marco de IBM para asegurar la IA gira en torno a asegurar los principios clave de una implementación de IA: proteger los datos, proteger el modelo y asegurar su uso. Además, necesita proteger la infraestructura en la que se crean y ejecutan los modelos de IA. Y necesita establecer el gobierno de la IA y monitorizar la equidad, el sesgo y la deriva a lo largo del tiempo, todo de forma continua para llevar un seguimiento de cualquier cambio o deriva del modelo.

• Protección de los datos: las organizaciones deberán centralizar y recopilar cantidades masivas de datos para aprovechar al máximo la IA generativa y maximizar su valor. Cada vez que comienza a combinar y centralizar sus joyas de la corona en un solo lugar, se expone a un riesgo significativo, por lo que necesita tener un plan de seguridad de datos para identificar y proteger los datos confidenciales.
• Asegurar el modelo: muchas organizaciones están descargando modelos de código abierto para acelerar los esfuerzos de desarrollo. Los científicos de datos están descargando estos modelos de caja negra sin ver cómo funcionan. Los atacantes tienen el mismo acceso a estos repositorios de modelos en línea y pueden implementar una puerta trasera o malware en uno de estos modelos y volver a cargarlos en el repositorio como punto de entrada para cualquiera que descargue el modelo infectado. Tiene que entender las vulnerabilidades y los errores de configuración de la implementación.
• Asegurar el uso: las organizaciones deben garantizar un uso seguro de la implementación de la IA. Los actores de amenazas podrían ejecutar una inyección de instrucción en la que utilizan instrucciones maliciosas para hacer jailbreak a los modelos, obtener acceso injustificado, robar datos sensibles o sesgar las salidas. Los atacantes también pueden crear entradas para recopilar las salidas del modelo, acumulando un gran conjunto de datos de pares entrada-salida para entrenar un modelo sustituto que imite el comportamiento del modelo objetivo, robando efectivamente sus capacidades. Tiene que entender el uso del modelo y mapearlo con los marcos de evaluación para garantizar un uso seguro.

Y todo esto debe hacerse manteniendo el cumplimiento normativo.

A medida que las organizaciones trabajan con amenazas existentes y el creciente coste de las vulneraciones de datos, asegurar la IA será una gran iniciativa, y una en la que muchas organizaciones necesitarán apoyo. Para ayudar a las organizaciones a utilizar una IA segura y fiable, IBM ha lanzado IBM Guardium AI Security. Basándose en décadas de experiencia en seguridad de datos con IBM Guardium, esta nueva oferta permite a las organizaciones asegurar su implementación de IA.

Le permite gestionar el riesgo de seguridad y las vulnerabilidades de los datos sensibles de IA y los modelos de IA. Le ayuda a identificar y corregir las vulnerabilidades del modelo de IA y a proteger los datos sensibles. Supervise continuamente los errores de configuración de la IA, detecte fugas de datos y optimice el control de acceso, con un líder de confianza en seguridad de datos.

Parte de esta nueva oferta es IBM Guardium Data Security Center, que permite a los equipos de seguridad e IA colaborar en toda la organización a través de flujos de trabajo integrados, una vista común de los activos de datos y políticas de cumplimiento centralizadas.

Asegurar la IA es un proceso y requiere colaboración entre equipos multifuncionales —equipos de seguridad, equipos de riesgos y cumplimiento, y los equipos de IA— y las organizaciones deben trabajar mediante un enfoque programático para asegurar su implementación de IA.

Vea cómo Guardium AI Security puede ayudar a su organización e inscríbase en nuestro webinar para obtener más información.