Aunque la inteligencia artificial generativa (IA) se está convirtiendo en una de las principales áreas de inversión en tecnología, muchas organizaciones no están preparadas para hacer frente a los riesgos de ciberseguridad asociados con ella.
Al igual que con cualquier Tecnología nueva, es primordial que reconozcamos los nuevos riesgos de seguridad que conlleva la IA generativa, porque sin duda los adversarios intentarán explotar cualquier debilidad en la búsqueda de sus objetivos. De hecho, según el IBM Institute for Business Value, el 96 % de los ejecutivos afirman que la adopción de la IA generativa hace probable una violación de seguridad en su organización en los próximos tres años.
Dado que los modelos de IA consumen cantidades ingentes de datos valiosos y confidenciales en sus conjuntos de entrenamiento, además de que los líderes empresariales examinan cómo estos modelos pueden optimizar las operaciones y los resultados críticos, lo que está en juego es increíblemente importante. Las organizaciones no pueden permitirse llevar IA no segura a sus entornos.
En este blog, presentamos el marco de IBM para proteger la IA generativa. Puede ayudar a clientes, partners y organizaciones de todo el mundo a comprender mejor los ataques más probables a la IA y a priorizar los enfoques defensivos más importantes para proteger rápidamente sus iniciativas de IA generativa.
Es crucial que protejamos la IA en todas las fases de su desarrollo, es decir, durante la recopilación y el tratamiento de datos, el desarrollo y la formación de modelos, y la inferencia y el uso de modelos. Por ello, las organizaciones deben proteger los datos, el modelo y su uso. También deben cerciorar la infraestructura en la que se construyen y ejecutan los modelos de IA. Por último, deben establecer una gobernanza de la IA y monitorear su imparcialidad, parcialidad y desviación a lo largo del tiempo.
A continuación, detallamos los riesgos en cada fase del proceso de IA y cómo protegerla contra los principales ataques identificados.
Durante la fase de recopilación y gestión de datos, no solo necesita recopilar montones y montones de datos para alimentar un modelo de IA, sino que también proporciona acceso a muchas personas diferentes, incluidos científicos de datos, ingenieros, desarrolladores y otros. Existe un riesgo inherente al centralizar todos esos datos en un solo lugar y otorgar acceso a ellos a varios stakeholders, la mayoría de los cuales no tienen experiencia en seguridad.
Simplemente considere si la propiedad intelectual (PI), que es fundamental para el negocio, queda expuesta debido al mal manejo de los datos de capacitación, lo que podría crear una amenaza existencial para el negocio. Aprovechar grandes cantidades de datos para un modelo de IA significa que las organizaciones necesitan evaluar los diferentes riesgos asociados a la información de identificación personal (PII), las preocupaciones por la privacidad y otra información confidencial, y luego implementar los controles de seguridad adecuados en torno a esos datos.
El objetivo principal en la fase de recopilación de datos son los conjuntos de datos subyacentes, y la exfiltración de datos se considera la técnica más probable que los atacantes intentarán emplear para obtener información valiosa y monetizable. Mientras los atacantes buscan el camino de menor resistencia, los conjuntos de datos subyacentes son una luz parpadeante que promete un alto rendimiento.
Las organizaciones no deben pasar por alto la importancia de los fundamentos de seguridad; de hecho, deben priorizarse. Si se aplican correctamente, estos fundamentos pueden tener un impacto sustancial en la postura de seguridad de una organización. Esto incluye centrarse en el descubrimiento y la clasificación de datos, el cifrado en reposo y en tránsito, y la gestión de claves proporcionadas desde plataformas de seguridad de datos como IBM Security Guardium . Esto también significa centrarse en los fundamentos de la gestión de identidad y acceso impuestos por soluciones como IBM Security Verify, que ayudan a garantizar que ninguna entidad tenga acceso sin restricciones al modelo de IA. Finalmente, las organizaciones deben crear concientización sobre la seguridad con los científicos de datos y los investigadores y asegurarse de que los equipos de seguridad trabajen en estrecha colaboración con esos equipos para garantizar las medidas de seguridad adecuadas.
En el desarrollo de modelos, se crean aplicaciones de una forma nueva, y eso suele implicar la introducción de nuevas vulnerabilidades explotables que los atacantes pueden utilizar como puntos de entrada al entorno y, a su vez, a sus modelos de IA. Teniendo en cuenta que históricamente a las organizaciones les ha costado gestionar la creciente deuda de vulnerabilidades conocidas que se encuentran en sus entornos, este riesgo se trasladará a la IA.
El desarrollo de aplicaciones de IA suele empezar con los equipos de ciencia de datos que reutilizan modelos de machine learning (ML) preentrenados y de código abierto a partir de repositorios de modelos en línea, que a menudo carecen de controles de seguridad exhaustivos. Sin embargo, el valor que proporcionan a las organizaciones, como la reducción drástica del tiempo y el esfuerzo necesarios para la adopción de la IA generativa, a menudo supera ese riesgo y, en última instancia, lo transmite a la empresa. La escasez general de seguridad en torno a los modelos de machine learning (ML), junto con los datos cada vez más sensibles a los que están expuestos los modelos de machine learning (ML), significa que los ataques dirigidos a estos modelos tienen un alto potencial de daño.
Las principales técnicas de ataque durante el desarrollo de modelos son los ataques a la cadena de suministro debido a la gran dependencia de modelos de aprendizaje automático (ML) preentrenados y de código abierto procedentes de repositorios de modelos en línea empleados para acelerar los esfuerzos de desarrollo. Los atacantes tienen el mismo acceso a estos repositorios en línea y pueden desplegar una puerta trasera o malware en ellos. Una vez que se vuelven a cargar en el repositorio, pueden convertirse en un punto de entrada para cualquier persona que descargue el modelo infectado. Si estos modelos están infectados, puede ser increíblemente difícil de detectar. Las organizaciones deben ser muy cautelosas sobre dónde consumen los modelos y qué tan confiable es la fuente.
Los ataques a la interfaz de programación de aplicaciones (API) son otra preocupación. Las organizaciones que no cuentan con los recursos o la experiencia para crear sus propios modelos de lenguaje de gran tamaño (LLM) dependen de las API para consumir las capacidades de los modelos preempaquetados y preentrenados. Los atacantes reconocen que este será un modelo de consumo importante para los LLM y buscarán apuntar a las interfaces de API para acceder y explotar los datos que se transportan a través de las API.
Los atacantes también pueden tratar de explotar agentes o complementos de LLM con permisos excesivos para acceder a funciones abiertas o sistemas posteriores que pueden realizar acciones privilegiadas en los flujos de trabajo empresariales. Si un atacante puede comprometer los privilegios que se conceden a los agentes de la IA, el daño podría ser destructivo.
El enfoque de las organizaciones debe incluir:
Durante la inferencia y el uso en vivo, los atacantes pueden manipular las instrucciones para escapar de las barandillas y convencer a las modelos para que se porten mal generando respuestas no permitidas a las instrucciones dañinas, que incluyen información con sesgo, falsa y otra información tóxica. Esto puede infligir daños a la reputación de la empresa. Los atacantes también podrían tratar de manipular el modelo y analizar los pares de entrada/salida para entrenar un modelo sustituto que imite el comportamiento del modelo objetivo, "robando" efectivamente sus capacidades y costándole a una empresa su ventaja competitiva.
Hay varios tipos de ataques preocupantes en esta fase del proceso de la IA. En primer lugar, las inyecciones de instrucciones, en las que los atacantes utilizan instrucciones maliciosas para hacer jailbreak a los modelos y obtener accesos injustificados, robar datos confidenciales o introducir sesgos en los resultados. Otra preocupación tiene que ver con la denegación del servicio del modelo, en la que los atacantes abruman el LLM con entradas que degradan la calidad del servicio e incurren en altos costes de recursos. Las organizaciones también deben prepararse y defenderse contra el robo de modelos, en el que los atacantes manipulan las entradas para recopilar los resultados de los modelos con el fin de entrenar un modelo sustituto que imite el comportamiento del modelo objetivo.
Nuestras mejores prácticas incluyen la monitorización de entradas maliciosas, como inyecciones de instrucciones y salidas que contienen datos confidenciales o contenido inapropiado, y la implementación de nuevas defensas que pueden detectar y responder a ataques específicos de IA, como el envenenamiento de datos, la evasión de modelos y la extracción de modelos. Nuevas soluciones específicas de IA han entrado en el mercado con el nombre de detección y respuesta de machine learning (MLDR). Las alertas generadas a partir de estas soluciones pueden integrarse en soluciones de operaciones de seguridad, como IBM Security QRadar, lo que permite a los equipos del centro de operaciones de seguridad (SOC) iniciar rápidamente playbooks de respuesta que denieguen el acceso, pongan en cuarentena o desconecten los modelos comprometidos.
Una de las primeras líneas de defensa es una infraestructura segura. Las organizaciones deben aprovechar la experiencia existente para optimizar los estándares de seguridad, privacidad y cumplimiento en los entornos distribuidos que alojan los sistemas de IA. Es esencial que reforce la seguridad de la red, el control de acceso, el cifrado de datos y la detección y prevención de intrusiones en entornos de IA. También deberían considerar invertir en nuevas defensas de seguridad diseñadas específicamente para proteger la IA.
IBM proporciona no solo seguridad para la IA, sino también gobierno operativo para la IA. IBM está liderando la industria en la gobernanza de la IA para alcanzar modelos de IA confiable. A medida que las organizaciones descargan los procesos comerciales operativos a la IA, deben asegurarse de que el sistema de IA no esté a la deriva y actúe como se espera. Esto hace que las barreras operativas sean fundamentales para una estrategia de IA eficaz. Un modelo que se desvía operativamente de aquello para lo que fue diseñado puede introducir el mismo nivel de riesgo que un adversario que haya comprometido su infraestructura.
IBM tiene una larga tradición de confianza y un profundo compromiso con la IA basada en la seguridad, la ética, la privacidad y el gobierno. Estos principios sustentan nuestra IA, por lo que sabemos que la forma en la que se construyen y entrenan los modelos de IA es crítica para lograr resultados satisfactorios, y responsables, impulsados por la IA.
La calidad de los datos, el linaje de los datos y la protección de los datos en todos nuestros modelos fundacionales es una de nuestras principales prioridades. En IBM, implementamos controles estrictos y procesos meticulosos sobre el pipeline de entrenamiento de nuestros modelos. Se entrenan con datos altamente curados para lograr la precisión, integridad y procedencia de los datos, al tiempo que reducen el riesgo de alucinación del modelo.
Nuestro compromiso es evidente a través de la introducción de IBM watsonx.governance, un producto diseñado para ayudar a las empresas que utilizan modelos de IA de gran tamaño a obtener resultados imparciales, objetivamente correctos y explicables.
También hemos estructurado procesos para abordar la transparencia de los datos y la trazabilidad total a nuestros clientes, con la capacidad de dirección nuestras fuentes de datos. Recientemente expresamos nuestro compromiso con la transparencia y la IA responsable al publicar los detalles de los conjuntos de datos de entrenamiento para los modelos Granite. IBM también proporciona una indemnización de IP (protección contractual) para sus modelos fundacionales.
IBM sigue demostrando y fomentando su compromiso con la implementación eficaz y responsable de la IA, con un fondo empresarial de IA de USD 500 millones para impulsar la innovación y también invertir en capacidades que ayuden a proteger la IA y crear soluciones responsables para las necesidades cambiantes de los clientes.
Para obtener más información sobre cómo las organizaciones pueden adoptar la IA generativa de forma segura, consulte: