Código abierto, riesgos abiertos: los crecientes peligros de la IA generativa no regulada

Mientras que los modelos de IA generativa convencionales cuentan con barreras de seguridad integradas, las alternativas de código abierto no tienen tales restricciones. Esto es lo que significa para los delitos cibernéticos.

No hay duda de que el código abierto es el futuro del software. Según el Informe sobre el estado del código abierto de 2024, más de dos tercios de las empresas aumentaron su uso de software de código abierto durante el último año.

La IA generativa no es una excepción. El número de desarrolladores que contribuyen a proyectos de código abierto en GitHub y otras plataformas está en aumento. Las organizaciones están invirtiendo miles de millones en IA generativa en una amplia gama de casos de uso, desde chatbots de atención al cliente hasta generación de código. Muchos de ellos están creando modelos de IA propios desde cero o basándose en proyectos de código abierto.

Pero las empresas legítimas no son las únicas que invierten en IA generativa. También es una verdadera mina de oro para actores maliciosos, desde estados deshonestos empeñados en proliferar desinformación entre sus rivales hasta ciberdelincuentes que desarrollan código malicioso o estafas de phishing dirigidas.

Por ahora, una de las pocas cosas que frenan a los actores maliciosos son las medidas de seguridad que los desarrolladores han establecido para proteger sus modelos de IA contra el uso indebido. ChatGPT no generará a sabiendas un correo electrónico de phishing y Midjourney no creará imágenes abusivas. Sin embargo, estos modelos pertenecen a ecosistemas de código completamente cerrado, donde los desarrolladores detrás de ellos tienen el poder de dictar para qué pueden y no pueden usarse.

Solo pasaron dos meses desde su lanzamiento público para que ChatGPT alcanzara los 100 millones de usuarios. Desde entonces, innumerables miles de usuarios han intentado romper sus barreras de seguridad y "jailbreak" para hacer lo que quieran, con diversos grados de éxito.

El imparable auge de los modelos de código abierto hará que estas barreras de seguridad queden obsoletas de todos modos. Aunque el rendimiento suele estar por detrás del de los modelos de código cerrado, no hay duda de que los modelos de código abierto mejorarán. La razón es simple: los desarrolladores pueden usar los datos que quieran para entrenarlos. En el lado positivo, esto puede promover la transparencia y la competencia, al tiempo que apoya la democratización de la IA, en lugar de dejarla únicamente en manos de las grandes corporaciones y los reguladores.

Sin embargo, sin medidas de seguridad, la IA generativa es la próxima frontera en el delito cibernético. Las IA no autorizadas, como FraudGPT y WormGPT, están ampliamente disponibles en los mercados de la dark web. Ambos se basan en el modelo de lenguaje grandes (LLM) de código abierto GPT-J desarrollado por EleutherAI en 2021.

Los actores maliciosos también están utilizando sintetizadores de imágenes de código abierto como Stable Diffusion para construir modelos especializados capaces de generar contenido abusivo. El contenido de video generado por IA está a la vuelta de la esquina. Actualmente, sus capacidades solo están limitadas por la disponibilidad de modelos de código abierto de alto rendimiento y la considerable potencia de procesamiento necesaria para ejecutarlos.

Puede ser tentador descartar estos problemas como amenazas externas que cualquier equipo suficientemente formado debería estar adecuadamente preparado para manejar. Pero a medida que más organizaciones invierten en la creación de modelos de IA generativa patentados, también corren el riesgo de ampliar sus superficies de ataque internas.

Una de las mayores fuentes de amenazas en el desarrollo de modelos es el propio proceso de entrenamiento. Por ejemplo, si hay datos confidenciales, protegidos por derechos de autor o incorrectos en el conjunto de datos de entrenamiento, podrían volver a aparecer más adelante en respuesta a una instrucción. Esto podría deberse a un descuido por parte del equipo de desarrollo o a un ataque deliberado de contaminación de datos por parte de un actor malintencionado.

Los ataques de inyección de instrucción son otra fuente de riesgo, que consiste en engañar o burlar un modelo para que genere contenido que va en contra de los términos de uso del proveedor. Ese es un riesgo al que se enfrentan todos los modelos de IA generativa, pero podría decirse que los riesgos son mayores en entornos de código abierto que carecen de supervisión suficiente. Una vez que las herramientas de IA se convierten en código abierto, las organizaciones de las que proceden pierden el control sobre el desarrollo y el uso de la tecnología.

La manera más fácil de entender las amenazas que plantea la IA no regulada es pedir a los de código cerrado que se porten mal. En la mayoría de las circunstancias, se negarán a cooperar, pero como han demostrado numerosos casos, todo lo que normalmente se necesita son algunas indicaciones creativas y prueba y error. Sin embargo, no se encontrará con ninguna de esas restricciones con los sistemas de IA de código abierto desarrollados por organizaciones como Stability AI, EleutherAI o Hugging Face o, para el caso, un sistema de IA de código abierto que está construyendo internamente.

En última instancia, la amenaza de los modelos de IA de código abierto radica en lo abiertos que están al mal uso. Si bien avanzar en la democratización en el desarrollo de modelos es en sí mismo un objetivo noble, la amenaza solo va a evolucionar y crecer, y las empresas no pueden esperar contar con los reguladores para mantenerse al día. Por eso, la IA se ha convertido también en una herramienta fundamental en el arsenal de los profesionales de la ciberseguridad. Para entender por qué, lea nuestra guía sobre ciberseguridad de IA.