Cómo la IA generativa está ampliando la superficie de ataque de las amenazas de usuario interno

A medida que se dispara la adopción de la IA generativa, también lo hace el riesgo de amenazas internas. Esto ejerce aún más presión sobre las empresas para que reconsideren las políticas de seguridad y confidencialidad.

En solo unos años, la inteligencia artificial (IA) ha cambiado radicalmente el mundo del trabajo. El 61% de los trabajadores del conocimiento ahora emplean herramientas de IA generativa, particularmente ChatGPT de OpenAI, en sus rutinas diarias. Al mismo tiempo, los líderes empresariales, a menudo impulsados en parte por el miedo a quedarse atrás, están invirtiendo miles de millones en herramientas basadas en la IA generativa. No solo están invirtiendo en chatbots, sino también en sintetizadores de imágenes, software de clonación de voz e incluso tecnología de video deepfake para crear avatares virtuales.

Todavía estamos lejos de que la IA generativa sea indistinguible de los humanos. Incluso si, o tal vez cuando, eso realmente suceda, los riesgos éticos y cibernéticos que conlleva continuarán creciendo. Después de todo, cuando se vuelve imposible saber si alguien o algo es real o no, aumenta el riesgo de que las personas sean manipuladas involuntariamente por las máquinas.

Gran parte de la conversación sobre seguridad en la era de la IA generativa se refiere a sus implicaciones en la ingeniería social y otras amenazas externas. Pero los profesionales de la seguridad de la información no deben pasar por alto cómo la tecnología también puede ampliar en gran medida la superficie de ataque de amenazas internas.

Ante la prisa por adoptar las herramientas GenAI, muchas empresas ya se han encontrado metiendo en problemas. El año pasado, Samsung supuestamente prohibió el uso de herramientas de IA generativa en el lugar de trabajo después de que se sospechara que empleados compartían datos sensibles en conversaciones con ChatGPT de OpenAI.

Por defecto, OpenAI registra y archiva todas las conversaciones, potencialmente para su uso en el entrenamiento de futuras generaciones del Modelos de lenguaje extensos (LLM). Por ello, información sensible, como secretos corporativos, podría reaparecer más adelante en respuesta a una instrucción del usuario. En diciembre, los investigadores estaban probando la susceptibilidad de ChatGPT a la filtración de datos cuando descubrieron una técnica sencilla para extraer los datos de entrenamiento del LLM (PDF), demostrando así la viabilidad del concepto. OpenAI podría haber parcheado esta vulnerabilidad desde entonces, pero es poco probable que sea la última.

Con el rápido crecimiento del uso no autorizado de la IA generativa en el negocio, TI debe intervenir para encontrar el equilibrio adecuado entre innovación y riesgo cibernético. Es posible que los equipos de seguridad ya estén familiarizados con el término TI en la sombra, pero la nueva amenaza en el bloque es la IA en la sombra o el uso de IA fuera del gobierno de la organización. Para evitar que eso suceda, los equipos de TI deben revisar sus políticas y tomar todas las medidas posibles para reforzar el uso responsable de estas herramientas.

Una forma obvia de abordar estas amenazas podría ser construir una solución de IA personalizada adaptada al caso de uso empresarial específico. Las compañías pueden construir un modelo desde cero o, más probablemente, empezar con un modelo fundacional de código abierto. Ninguna de las dos opciones está exenta de riesgos. Sin embargo, aunque los riesgos que conllevan los modelos de código abierto tienden a ser mayores, los relacionados con los sistemas de IA patentados son un poco más matizados y son igual de graves.

A medida que las funciones impulsadas por IA ganan terreno en las aplicaciones de software empresarial, también se convierten en un objetivo más apetecible para los actores maliciosos, incluidos los internos. El envenenamiento de datos, donde los atacantes manipulan los datos utilizados para entrenar modelos de IA, es un ejemplo de ello. La amenaza interna también es real, especialmente si los datos en cuestión son ampliamente accesibles en toda la organización, como suele ser el caso de los chats de atención al cliente, las descripciones de productos o las pautas de marca. Si está utilizando dichos datos para entrenar un modelo de IA patentado, entonces debe asegurarse de que su integridad no se haya visto comprometida, ya sea intencional o involuntariamente.

Los usuarios internos maliciosos con acceso a modelos de IA patentados también pueden intentar realizar ingeniería inversa. Por ejemplo, alguien con información privilegiada podría eludir los registros de auditoría, ya que los sistemas propietarios suelen tener soluciones de registro y supervisión personalizadas que podrían no ser tan seguras como sus homólogos convencionales.

La explotación de las vulnerabilidades del modelo presenta un riesgo grave. Mientras que los modelos de código abierto pueden parchearse rápidamente gracias a la participación de la comunidad, no se puede decir lo mismo de los defectos ocultos que puede tener un modelo propietario. Para mitigar estos riesgos, es fundamental que los responsables de TI protejan sus cadenas de suministro de software de IA. La transparencia y la supervisión son las únicas formas de garantizar que la innovación en IA no suponga un riesgo inaceptable para su negocio.