Riscos abertos e de código aberto: os perigos crescentes da IA generativa não regulamentada

Embora os modelos principais de IA generativa tenham barreiras de segurança incorporadas, as alternativas de código aberto não têm tais restrições. Veja o que isso significa para os crimes cibernéticos.

Há poucas dúvidas de que o código aberto é o futuro do software. De acordo com o Relatório Estado do Código Aberto de 2024, mais de dois terços das empresas aumentaram o uso de software de código aberto no último ano.

A IA generativa não é exceção. O número de desenvolvedores que contribuem para projetos de código aberto no GitHub e outras plataformas está aumentando. As organizações estão investindo bilhões em IA generativa em uma vasta gama de casos de uso, desde chatbots para atendimento ao cliente até geração de código. Muitos deles estão desenvolvendo modelos de IA proprietários desde o início ou com base em projetos de código aberto.

Mas as empresas legítimas não são as únicas que investem em IA generativa. É também uma verdadeira mina de ouro para atores maliciosos, desde estados desonestos inclinados a proliferar desinformação entre seus rivais até criminosos cibernéticos que desenvolvem códigos maliciosos ou golpes de phishing direcionados.

Por enquanto, uma das poucas coisas que impedem os agentes maliciosos de avançar são as proteções que os desenvolvedores implementam para proteger seus modelos de IA contra o uso indevido. O ChatGPT não gerará conscientemente um e-mail de phishing, e o Midjourney não criará imagens abusivas. No entanto, esses modelos pertencem a ecossistemas fechados, nos quais os desenvolvedores por trás deles têm o poder de determinar o que podem ou não ser usados.

Demorou apenas dois meses desde seu lançamento público para o ChatGPT alcançar 100 milhões de usuários. Desde então, inúmeros milhares de usuários tentaram violar suas proteções e "jailbreak" dele para fazer o que bem entendessem – com diferentes graus de sucesso.

A ascensão imparável dos modelos de código aberto tornará essas proteções obsoletas de qualquer forma. Embora o desempenho normalmente tenha ficado atrás dos modelos de código fechado, não há dúvida de que os modelos de código aberto melhorarão. O motivo é simples: os desenvolvedores podem usar os dados que quiserem para treiná-los. No lado positivo, isso pode promover a transparência e a concorrência e, ao mesmo tempo, apoiar a democratização da IA — em vez de deixá-la exclusivamente nas mãos de grandes corporações e reguladores.

Entretanto, sem salvaguardas, a IA generativa é a próxima fronteira do crime cibernético. IAs não autorizadas, como FraudGPT e WormGPT, estão amplamente disponíveis nos mercados da dark web. Ambas se baseiam no grande modelo de linguagem de código aberto (LLM) GPT-J desenvolvido pela EleutherAI em 2021.

Agentes maliciosos também estão usando sintetizadores de imagens de código aberto como o Stable Diffusion para construir modelos especializados capazes de gerar conteúdo abusivo. Os conteúdos de vídeo gerados por IA estão chegando. Atualmente, seus recursos são limitados apenas pela disponibilidade de modelos de código aberto de alto desempenho e pelo considerável poder de computação necessário para executá-los.

Pode ser tentador descartar esses problemas como ameaças externas que qualquer equipe suficientemente treinada deve estar adequadamente preparada para lidar. Porém, à medida que mais organizações investem na criação de modelos de IA generativa proprietários, elas também correm o risco de expandir a superfície de ataque interna.

Uma das maiores fontes de ameaça ao desenvolvimento de modelos é o próprio processo de treinamento. Por exemplo, se houver dados confidenciais, protegidos por direitos autorais ou incorretos no conjunto de dados de treinamento, eles poderão ressurgir mais tarde em resposta a um prompt. Talvez isso se deva a um descuido por parte da equipe de desenvolvimento ou devido a um ataque deliberado de envenenamento de dados perpetrado por um agente mal-intencionado.

Ataques de injeção de prompt são outra fonte de risco, que envolve enganar ou desbloquear um modelo para gerar conteúdo que vai contra os termos de uso do fornecedor. Esse é um risco que todos os modelos de IA generativa enfrentam, mas os riscos são indiscutivelmente maiores em ambientes de código aberto sem supervisão suficiente. Quando as ferramentas de IA ganham o código aberto, as organizações de onde elas vêm perdem o controle sobre o desenvolvimento e o uso da tecnologia.

A maneira mais fácil de entender as ameaças representadas pela IA não regulamentada é pedir às de código fechado que se comportem mal. Na maioria das circunstâncias, elas se recusarão a cooperar, mas, como vários casos demonstraram, tudo o que normalmente é necessário é algum prompt criativo e tentativa e erro. No entanto, você não encontrará nenhuma dessas restrições com sistemas de IA de código aberto desenvolvidos por organizações como Stability AI, EleutherAI ou Hugging Face — ou, nesse caso, um sistema proprietário que você está desenvolvendo internamente.

Em última análise, a ameaça dos modelos de IA de código aberto está no quanto eles são abertos ao uso indevido. Embora o avanço da democratização no desenvolvimento de modelos seja em si um objetivo refinado, a ameaça só vai evoluir e crescer, e as empresas não podem esperar que os reguladores as acompanhem. É por isso que a própria IA também se tornou uma ferramenta vital no arsenal do profissional de cibersegurança. Para entender o porquê, leia nosso guia sobre cibersegurança de IA.