Código abierto, riesgos abiertos: los crecientes peligros de la IA generativa no regulada

A diferencia de los modelos de IA generativa convencionales, que cuentan con barreras de seguridad integradas, las alternativas de código abierto no tienen tales restricciones. Esto es lo que supone para el cibercrimen.

No cabe duda de que el código abierto es el futuro del software. Según el Informe sobre el estado del código abierto de 2024, más de dos tercios de las empresas aumentaron su uso de software de código abierto en el último año.

La IA generativa no es una excepción. El número de desarrolladores que contribuyen a proyectos de código abierto en GitHub y otras plataformas está en aumento. Las organizaciones están invirtiendo miles de millones en IA generativa para una amplia variedad de casos de uso, que van desde los chatbots de atención al cliente hasta la generación de código. Muchas de ellas están desarrollando modelos de IA desde cero o basándose en proyectos de código abierto.

Sin embargo, las empresas legítimas no son las únicas que invierten en IA generativa. También es una auténtica mina de oro para los actores maliciosos, desde Estados rebeldes empeñados en difundir desinformación entre sus rivales hasta ciberdelincuentes que desarrollan códigos maliciosos o estafas de phishing.

Por ahora, una de las pocas cosas que frenan a los actores maliciosos son las barreras de seguridad que los desarrolladores han establecido para proteger sus modelos de IA contra el uso indebido. ChatGPT no generará conscientemente un correo electrónico de phishing, y Midjourney no creará imágenes abusivas. Sin embargo, estos modelos pertenecen a ecosistemas totalmente de código cerrado, en los que los desarrolladores que están detrás de ellos tienen el poder de dictar para qué se pueden utilizar y para qué no.

Solo dos meses después de su lanzamiento, ChatGPT alcanzó los 100 millones de usuarios. Desde entonces, miles de usuarios han intentado superar sus barreras de seguridad y emplear "jailbreak" para hacer lo que quisieran, con distintos grados de éxito.

El auge imparable de los modelos de código abierto hará que estas barreras queden obsoletas de todos modos. Aunque el rendimiento suele estar por detrás del de los modelos de código cerrado, no hay duda de que los modelos de código abierto mejorarán. La razón es sencilla: los desarrolladores pueden usar los datos que quieran para entrenarlos. En el lado positivo, esto puede promover la transparencia y la competencia al tiempo que apoya la democratización de la IA, en lugar de dejarla únicamente en manos de las grandes corporaciones y los reguladores.

Sin embargo, sin barreras, la IA generativa es la próxima frontera en el cibercrimen. Las IA no autorizadas como FraudGPT y WormGPT están ampliamente disponibles en los mercados de la dark web. Ambos se basan en el modelo de lenguaje de gran tamaño (LLM) de código abierto GPT-J desarrollado por EleutherAI en 2021.

Los actores maliciosos también están utilizando sintetizadores de imágenes de código abierto como Stable Diffusion para construir modelos especializados capaces de generar contenidos abusivos. El contenido de vídeo generado por IA está a la vuelta de la esquina. Actualmente, sus capacidades solo están limitadas por la disponibilidad de modelos de código abierto de alto rendimiento y la considerable potencia de procesamiento necesaria para ejecutarlos.

Puede ser tentador descartar estos problemas como amenazas externas que cualquier equipo suficientemente formado debería estar adecuadamente preparado para manejar. Pero a medida que más organizaciones invierten en la creación de modelos propios de IA generativa, también corren el riesgo de ampliar sus superficies de ataque internas.

Una de las mayores fuentes de amenaza en el desarrollo de modelos es el propio proceso de entrenamiento. Por ejemplo, si hay datos confidenciales, protegidos por derechos de autor o incorrectos en el conjunto de datos de entrenamiento, podrían volver a aparecer más tarde en respuesta a una instrucción. Esto podría deberse a un descuido por parte del equipo de desarrollo o a un ataque deliberado de envenenamiento de datos por parte de un actor malicioso.

Los ataques de inyección de instrucciones son otra fuente de riesgo, que implica engañar o hackear a un modelo para que genere contenido que vaya en contra de las condiciones de uso del vendedor. Se trata de un riesgo al que se enfrentan todos los modelos de IA generativa, pero podría decirse que los riesgos son mayores en entornos de código abierto, ya que carecen de la supervisión suficiente. Una vez que las herramientas de IA son de código abierto, las organizaciones de las que proceden pierden el control sobre el desarrollo y el uso de la tecnología.

La forma más fácil de comprender las amenazas que plantea la IA no regulada es pedir a las de código cerrado que se comporten mal. En la mayoría de los casos, se niegan a cooperar, pero como han demostrado numerosos casos, normalmente basta con un poco de creatividad y prueba y error. Sin embargo, no encontrará ninguna restricción de este tipo con los sistemas de IA de código abierto desarrollados por organizaciones como Stability AI, EleutherAI o Hugging Face, ni tampoco con un sistema propietario en desarrollo interno.

En última instancia, la amenaza de los modelos de IA de código abierto radica en lo expuestos que están al uso indebido. Aunque promover la democratización en el desarrollo de modelos es un objetivo noble en sí mismo, la amenaza solo va a evolucionar y crecer, por lo que las empresas no pueden esperar que los reguladores se mantengan al día. Es por eso que la propia IA se ha convertido en una herramienta vital en el arsenal de los profesionales de la ciberseguridad. Para entender por qué, lea nuestra guía sobre ciberseguridad de la IA.