A medida que las organizaciones adoptan la IA generativa, esperan una serie de beneficios de estos proyectos: desde ganancias en eficiencia y productividad hasta una mayor velocidad de negocio y más innovación en productos y servicios. Sin embargo, un factor que forma una parte crítica de esta innovación de IA es la confianza. La IA confiable se basa en comprender cómo funciona la IA y cómo toma decisiones.
Según una encuesta x altos ejecutivos del IBM Institute for Business Value, el 82% de los encuestados afirman que seguro e IA confiable es esencial para el éxito de su negocio, pero solo el 24% de los proyectos actuales de IA generativa están siendo asegurados. Esto deja una brecha asombrosa en la seguridad de los proyectos de IA conocidos. A esto hay que añadir la "IA en la sombra" presente en las organizaciones, lo que hace que la brecha de seguridad de la IA sea aún más considerable.
Boletín de noticias Think
Únase a los líderes de seguridad que confían en el boletín Think para obtener noticias seleccionadas sobre IA, ciberseguridad, datos y automatización. Aprende rápido con tutoriales de expertos y documentos explicativos, que se envían directamente a su bandeja de entrada. Consulte la Declaración de privacidad de IBM.
Su subscripción se entregará en inglés. En cada boletín, encontrará un enlace para darse de baja. Puede gestionar sus suscripciones o darse de baja aquí. Consulte nuestra Declaración de privacidad de IBM para obtener más información.
Las organizaciones tienen toda una nueva cartera de proyectos en desarrollo que aprovechan la IA generativa. Durante la fase de recopilación y manejo de datos, es necesario recopilar grandes volúmenes de datos para alimentar el modelo y proporcionar acceso a varias personas diferentes, incluyendo científicos de datos, ingenieros, desarrolladores y otros. Esto presenta un riesgo inherente al centralizar todos esos datos en un solo lugar y dar acceso a ellos a muchas personas. Esto significa que la IA generativa es un nuevo tipo de almacenamiento de datos que puede crear nuevos datos basados en datos organizacionales existentes. Ya sea que haya entrenado el modelo, lo haya ajustado o lo haya conectado a un RAG (base de datos vectorial), es probable que esos datos contengan PII, preocupaciones de privacidad y otra información confidencial. Esta montaña de datos confidenciales es un objetivo rojo parpadeante al que los atacantes intentarán acceder.
Dentro del desarrollo de modelos, se están creando nuevas aplicaciones de una manera completamente nueva con nuevas vulnerabilidades que se convierten en nuevos puntos de entrada que los atacantes intentarán explotar. El desarrollo suele comenzar con equipos de ciencia de datos que descargan y reutilizan modelos de machine learning de código abierto previamente entrenados de repositorios de modelos en línea, como HuggingFace o TensorFlow Hub. Los repositorios de modelos compartidos de código abierto nacieron de la complejidad inherente de la ciencia de datos, la escasez de profesionales y el valor que brindan a las organizaciones al reducir drásticamente el tiempo y el esfuerzo necesarios para la adopción de la IA generativa. Sin embargo, estos repositorios pueden carecer de controles de seguridad integrales, que en última instancia trasladan el riesgo a la empresa, y los atacantes cuentan con ello. Pueden inyectar una puerta trasera o malware en uno de estos modelos y volver a cargar el modelo infectado en los repositorios de intercambio de modelos, afectando a cualquiera que lo descargue. La escasez general de seguridad en torno a los modelos de ML, junto con los datos cada vez más confidenciales a los que están expuestos los modelos de ML, significa que los ataques dirigidos a estos modelos tienen una alta propensión a causar daños.
Y durante la inferencia y el uso en vivo, los atacantes pueden manipular las instrucciones para burlar las barreras de seguridad y engañar a los modelos para que se comporten de forma incorrecta, generando respuestas no permitidas a instrucciones dañinas, incluyendo información con sesgo, falsa y otra información tóxica, lo que causa daños a la reputación. O bien, los atacantes pueden manipular el modelo y analizar pares de entrada-salida para entrenar un modelo sustituto para imitar el comportamiento del modelo objetivo, "robando" efectivamente sus capacidades, lo que le cuesta a la empresa su ventaja competitiva.
Diferentes organizaciones están utilizando distintos enfoques para proteger la IA a medida que evolucionan los estándares y marcos para proteger la IA. El marco de IBM para proteger la IA gira en torno a la protección de los elementos clave de un despliegue de la IA: protección de los datos, protección del modelo y protección del uso. Además, es necesario proteger la infraestructura sobre la que se construyen y ejecutan los modelos de IA. Y necesitan establecer la gobernanza de la IA y monitorear la equidad, el sesgo y la desviación a lo largo del tiempo, todo de manera continua para realizar un seguimiento de cualquier cambio o desviación del modelo.
Y todo esto debe hacerse manteniendo el cumplimiento normativo.
A medida que las organizaciones trabajen con las amenazas existentes y el creciente costo de las filtraciones de datos, proteger la IA será una gran iniciativa, y una en la que muchas organizaciones necesitarán apoyo. Para ayudar a las organizaciones a utilizar una IA segura y confiable, IBM ha lanzado IBM Guardium AI Security. Basándose en décadas de experiencia en seguridad de datos con IBM Guardium, esta nueva oferta permite a las organizaciones proteger su despliegue de IA.
Le permite gestionar los riesgos de seguridad y las vulnerabilidades de los datos confidenciales de IA y los modelos de IA. Te ayuda a identificar y hacer arreglos en los modelos de IA y a proteger datos sensibles. Supervise continuamente la configuración incorrecta de la IA, detecte fugas de datos y optimice el control de acceso con un líder de confianza en seguridad de datos.
Parte de esta nueva oferta es el IBM Guardium Data Security Center, que permite a los equipos de seguridad e IA colaborar en toda la organización a través de flujos de trabajo integrados, una vista común de los activos de datos y políticas de cumplimiento centralizadas.
Garantizar la seguridad de la IA es un proceso que requiere la colaboración entre equipos multifuncionales (equipos de seguridad, equipos de riesgo y cumplimiento normativo y equipos de IA), y las organizaciones deben trabajar con un enfoque programático para garantizar la seguridad de su despliegue de IA.
Vea cómo Guardium IA Security puede ayudar a su organización, e inscríbase en nuestro seminario web para aprendar más.