Melhores práticas para proteger a implementação da sua IA

À medida que as organizações adotam a IA generativa, há uma série de benefícios que elas esperam desses projetos, desde ganhos de eficiência e produtividade até maior velocidade dos negócios e mais inovação em produtos e serviços. No entanto, um fator que forma uma parte crítica dessa inovação em IA é a confiança. A IA confiável depende de entender como a IA funciona e como ela toma decisões.

De acordo com uma pesquisa com diretores executivos do Institute for Business Value da IBM, 82% dos entrevistados afirmam que a IA segura e confiável é essencial para o sucesso da empresa, mas apenas 24% dos projetos atuais de IA generativa estão sendo protegidos. Isso deixa uma lacuna impressionante na proteção dos projetos de IA conhecidos. Somado a isso, a "IA oculta" presente nas organizações torna a lacuna de segurança para a IA ainda maior.

As organizações têm um novo pipeline de projetos sendo construídos que aproveitam a IA generativa. Durante a fase de coleta e manuseio de dados, você precisa coletar grandes volumes de dados para alimentar o modelo e está fornecendo acesso a várias pessoas diferentes, incluindo cientistas de dados, engenheiros, desenvolvedores e outros. Isso apresenta de forma inerente um risco ao centralizar todos esses dados em um só lugar e dar acesso a eles a muitas pessoas. Isso significa que a IA generativa é um novo tipo de armazenamento de dados que pode criar novos dados com base em dados organizacionais existentes. Seja você treinando o modelo, ajustando-o ou conectando-o a um RAG (Vector DB), esses dados provavelmente contêm PII, preocupações de privacidade e outras informações confidenciais. Esse monte de dados confidenciais é um alvo vermelho intermitente que ao qual os invasores tentarão obter acesso.

Dentro do desenvolvimento do modelo, novas aplicações estão sendo criadas de maneira totalmente nova, com novas vulnerabilidades que se tornam novos pontos de entrada que os invasores tentarão fazer exploração. O desenvolvimento geralmente começa com as equipes de ciência de dados baixando e reutilizando modelos de aprendizado de máquina de código aberto pré-treinados de repositórios de modelos online, como o HuggingFace. ou TensorFlow Hub. Os repositórios de compartilhamento de modelos de código aberto nasceram da complexidade inerente à ciência de dados, da escassez de profissionais e do valor que eles agregam às organizações, reduzindo drasticamente o tempo e o esforço necessários para a adoção da IA generativa. No entanto, esses repositórios podem não ter controles de segurança abrangentes, o que acaba transferindo o risco para a empresa — e os invasores contam com isso. Eles podem injetar uma backdoor ou malware em um desses modelos e carregar o modelo infectado de volta para os repositórios de compartilhamento de modelos, afetando qualquer pessoa que o baixe. A escassez geral de segurança em torno dos modelos de ML, aliada aos dados cada vez mais confidenciais aos quais esses modelos estão expostos, significa que os ataques direcionados a esses modelos têm alta propensão para causar danos.

E durante a inferência e o uso em tempo real, os invasores podem manipular prompts para desbloquear proteções e persuadir modelos a se comportarem mal, gerando respostas não permitidas a prompts com viés, incluindo informações com viés, falsas e outras informações tóxicas, causando danos à reputação. Ou os invasores podem manipular o modelo e analisar pares de entrada-saída para treinar um modelo substituto para imitar o comportamento do modelo-alvo, efetivamente "roubando" seus recursos, custando à empresa sua vantagem competitiva.

Diferentes organizações estão usando diferentes abordagens para proteger a IA à medida que as normas e frameworks para proteger a IA evoluem. O framework da IBM para a segurança da IA gira em torno da segurança dos principais pilares de uma implementação da IA—segurança dos dados, segurança do modelo e segurança do uso. Além disso, você precisa proteger a infraestrutura na qual os modelos de IA estão sendo construídos e executados. E eles precisam estabelecer governança de IA e monitorar a justiça, o viés e o descompasso ao longo do tempo — tudo de forma contínua para acompanhar quaisquer mudanças ou descompassos do modelo.

• Proteção dos dados: as organizações precisarão centralizar e reunir grandes volumes de dados para aproveitar ao máximo a IA generativa e maximizar seu valor. Sempre que você começa a combinar e centralizar suas joias da coroa em um só lugar, você se expõe a um risco significativo, por isso precisa ter um plano de segurança de dados para identificar e proteger dados confidenciais.
• Proteção do modelo: muitas organizações estão baixando modelos de código aberto para acelerar os esforços de desenvolvimento. Os cientistas de dados estão baixando esses modelos de caixa-preta sem visibilidade de como eles funcionam. Os invasores têm o mesmo acesso a esses repositórios de modelos online e podem implementar uma backdoor ou malware em um desses modelos e carregá-los de volta para o repositório como um ponto de entrada para qualquer pessoa que baixe o modelo infectado. Você precisa entender as vulnerabilidades e as configurações incorretas na implementação.
• Proteção do uso: as organizações precisam garantir o uso seguro da implementação de IA. Agentes de ameaças poderiam executar uma injeção de prompts onde eles usam prompts maliciosos para desbloquear modelos, obter acesso indevido, roubar dados confidenciais ou introduzir viés nas saídas. Os invasores também podem criar entradas para coletar saídas de modelos, acumulando um grande conjunto de dados de pares de entrada-saída para treinar um modelo substituto para imitar o comportamento do modelo-alvo, efetivamente "roubando" seus recursos. Você precisa entender o uso do modelo e mapeá-lo com frameworks de avaliação para garantir um uso seguro.

E tudo isso precisa ser feito enquanto mantém a conformidade regulatória.

À medida que as organizações trabalham com as ameaças existentes e com o custo crescente das violações de dados, proteger a IA será uma grande iniciativa - e uma iniciativa em que muitas organizações precisarão de suporte. Para ajudar as organizações a usarem uma IA segura e confiável, a IBM lançou o IBM Guardium AI Security. Com base em décadas de experiência em segurança de dados com o IBM Guardium, essa nova oferta permite que as organizações protejam sua implementação de IA.

Ele permite gerenciar riscos de segurança e vulnerabilidades de dados de IA confidenciais e modelos de IA. Ele ajuda a identificar e corrigir vulnerabilidades no modelo de IA e proteger dados confidenciais. Monitore continuamente a configuração incorreta da IA, detecte vazamentos de dados e otimize o controle de acesso - com um líder confiável em segurança de dados.

Parte dessa nova oferta é o IBM Guardium Data Security Center, que capacita as equipes de segurança e IA a colaborar em toda a organização por meio de fluxos de trabalho integrados, uma visão comum dos ativos e políticas de conformidade centralizadas.

Proteger a IA é uma jornada e requer a colaboração entre equipes multifuncionais (equipes de segurança, equipes de risco e conformidade e equipes de IA), e as organizações precisam trabalhar por meio de uma abordagem programática para garantir a implementação de sua IA.

Veja como o Guardium IA Segurança pode ajudar sua organização e inscreva-se em nosso webinar para saber mais.