A segurança da IA refere-se a práticas e princípios que ajudam a garantir que as tecnologias de IA sejam projetadas e usadas de forma a beneficiar a humanidade e minimizar qualquer possível dano ou resultado negativo.
Construir sistemas seguros de inteligência artificial (IA) é uma consideração crítica para as empresas e a sociedade devido à crescente predominância e impacto da IA. A segurança da IA ajuda a garantir que os sistemas de IA sejam usados da maneira mais responsável possível e que o futuro da IA seja desenvolvido visando os valores humanos.
O desenvolvimento e a manutenção de uma IA segura envolvem a identificação de possíveis riscos de IA (como viés, segurança de dados e vulnerabilidade a ameaças externas) e a criação de processos para evitar e mitigar esses riscos. Por exemplo, medidas de segurança da IA, como mitigação de viés, testes de robustez e framework éticas de IA, podem ajudar as empresas a desenvolver e usar ferramentas de IA de forma responsável em suas organizações.
Receba insights selecionados sobre as notícias mais importantes (e intrigantes) sobre IA. Inscreva-se no nosso boletim informativo semanal Think. Consulte a Declaração de privacidade da IBM.
À medida que os sistemas de IA se tornam mais sofisticados, eles se tornam mais profundamente integrados às vidas das pessoas e às áreas críticas do mundo real, como infraestrutura, finanças e segurança nacional. Essas tecnologias podem ter impactos positivos e negativos sobre as organizações que as utilizam e a sociedade como um todo.
As preocupações com os impactos negativos da IA são cada vez maiores. Uma pesquisa de 2023 descobriu que 52% dos americanos estavam mais preocupados do que animados com o aumento do uso da inteligência artificial.1 Outra descobriu que 83% se preocupam com o fato de a IA poder acidentalmente levar a um evento catastrófico.2
Outras pesquisas mostram que as preocupações não são infundadas: um relatório de 2024 descobriu que 44% dos entrevistados disseram que suas organizações sofreram consequências negativas (como problemas de imprecisão ou cibersegurança) com o uso da IA.3 Os esforços de segurança são frequentemente tratados como uma reflexão tardia: de acordo com o 2023 Impact Report do Center for AI Safety, apenas 3% das pesquisas técnicas se concentram em tornar a IA mais segura.4
Para a sociedade como um todo, as medidas de segurança da IA são necessárias para proteger a segurança pública, a privacidade e os direitos fundamentais. Sistemas de IA que são tendenciosos, opacos ou que não estão em conformidade com os valores humanos podem perpetuar ou ampliar as desigualdades sociais.
Os especialistas também temem que alguns sistemas avançados de IA possam se tornar tão ou mais inteligentes que os seres humanos. A inteligência artificial geral (AGI) refere-se a possíveis sistemas de IA que entendem, aprendem e realizam tarefas de pensamento da mesma forma que os seres humanos. A superinteligência artificial (ASI) refere-se a sistemas hipotéticos de IA com um escopo intelectual e funções cognitivas mais avançadas do que qualquer ser humano. O desenvolvimento da AGI e da ASI levanta preocupações de que tais sistemas seriam perigosos se não estivessem alinhados com os valores humanos ou sujeitos à supervisão humana. Com tanta autonomia, os críticos dizem que esses sistemas representariam uma ameaça existencial para a humanidade.
Do ponto de vista das empresas, a IA segura ajuda a construir a confiança do consumidor, proteger contra responsabilidades legais e evitar tomadas de decisões inadequadas. As organizações que tomam medidas para garantir que o uso da IA esteja alinhado com seus valores podem evitar consequências negativas para si mesmas e para seus clientes.
Os riscos de IA podem ser categorizados em vários tipos, cada um exigindo diferentes medidas de segurança de IA e esforços de gerenciamento de risco.
Os sistemas de IA podem perpetuar ou amplificar vieses sociais. O viés algorítmico ocorre quando a IA é treinada com dados e entradas incompletos ou enganosos. Isso pode levar a tomadas de decisões injustas. Por exemplo, uma ferramenta de IA treinada com dados discriminatórios pode ter menos probabilidade de aprovar hipotecas para candidatos de determinadas origens ou pode ser mais propensa a recomendar a contratação de um candidato a emprego do sexo masculino em vez de uma mulher.
Os sistemas de IA têm o potencial de acessar, expor ou usar indevidamente dados pessoais, o que gera preocupações com a privacidade. Se dados confidenciais forem violados, os criadores ou usuários de um sistema de IA podem ser responsabilizados.
Os resultados de sistemas avançados de IA, especialmente sistemas desenvolvidos para operar como agentes autônomos, podem ser imprevisíveis. Suas ações também podem ser prejudiciais. Se eles forem capazes de decidir de forma independente, pode ser difícil pará-los. Sem um elemento de controle humano, pode ser impossível intervir ou desligar um sistema de IA que esteja agindo de forma inadequada.
A AGI, a ASI e outros sistemas de IA altamente avançados podem agir de formas que coloquem em risco a humanidade ou interromper sistemas globais se forem mal gerenciados. Os perigos de uma corrida de IA, semelhante a uma corrida armamentista, colocam a estabilidade geopolítica em risco.
A IA também pode ser usada indevidamente para manipulação social em grande escala ou guerra cibernética. Em 2023, a organização sem fins lucrativos Center for IA Safety (CAIS) divulgou uma declaração de uma única frase com o apoio de vários pesquisadores e líderes de IA. Ela dizia: "Mitigar o risco de extinção proveniente da IA deve ser uma prioridade global ao lado de outros riscos em escala social, como pandemias e guerra nuclear."5
Embora consequências e erros não intencionais sejam uma fonte de risco da IA, os agentes mal-intencionados também podem usar a tecnologia intencionalmente para causar danos. A IA pode ser usada como arma para causar ataques cibernéticos, campanhas de desinformação, vigilância ilegal e até mesmo danos físicos. Essas ameaças existem no nível individual e no nível social.
Os sistemas de IA podem ser vulneráveis a problemas de segurança. Eles enfrentam a possibilidade de ataques adversários, nos quais agentes mal-intencionados manipulam as entradas de dados para enganar os modelos, levando a saídas incorretas.
Por exemplo, jailbreaks de IA ocorrem quando hackers usam injeções de prompts e outras técnicas para exploração vulnerabilidades em sistemas de IA e realizar ações restritas. O envenenamento de dados acontece quando dados de treinamento comprometidos distorcem o comportamento da IA. O acesso não autorizado e outras vulnerabilidades ou riscos de segurança podem levar ao uso indevido dos sistemas de IA e seus dados.
A segurança da IA e a proteção da IA são aspectos relacionados, mas distintos, da inteligência artificial. A segurança da IA visa lidar com problemas inerentes e consequências não intencionais, enquanto a proteção da IA se concentra na proteção dos sistemas de IA contra ameaças externas.
A segurança da IA tenta conectar a IA com valores humanos e reduzir a chance de que os sistemas de IA tenham um impacto negativo nas empresas e na sociedade. Ela enfatiza o alinhamento da IA, que é o processo de codificação de valores e objetivos humanos em modelos de IA.
A segurança da IA consiste em proteger os sistemas de IA contra ameaças externas, como ataques cibernéticos e violações de dados. Ela envolve a proteção da confidencialidade e da integridade dos modelos de IA. A segurança da IA também pode se referir ao uso da inteligência artificial para aprimorar a postura de segurança de uma organização. Sob essa definição, inclui o uso da IA e aprendizado de máquina (ML) para antecipar e abordar possíveis ameaças.
Líderes de IA e empresas estão implementando várias práticas para apoiar o desenvolvimento e uso responsável de tecnologias de IA. Medidas de segurança da IA incluem:
Os algoritmos podem perpetuar ou amplificar preconceitos presentes nos dados nos quais são treinados. Para combater esse problema, as empresas estão investindo em esforços para lidar com o viés algorítmico. Técnicas como a coleta de diversos conjuntos de dados, avaliações algorítmicas de imparcialidade e métodos de remoção de vieses ajudam a identificar possíveis problemas.
Processos rigorosos de testes e validação ajudam os sistemas de IA a resistir a perigos e a identificar riscos técnicos. Técnicas como testes adversários, testes de estresse e verificação formal ajudam a garantir que as ferramentas e os modelos de IA funcionem conforme o esperado e não apresentem comportamentos indesejáveis.
Muitos modelos de IA, especialmente grandes modelos de linguagem (LLMs), são "caixas-pretas" que tomam decisões difíceis de serem interpretadas pelos seres humanos. Sem transparência no processo de tomada de decisões, os usuários são menos propensos a confiar nos resultados e recomendações. A IA explicável (XAI) visa esclarecer os processos opacos por trás de sistemas complexos de IA, com foco na interpretabilidade para mostrar como eles chegam aos seus resultados.
Muitas organizações têm frameworks de IA ética para orientar o desenvolvimento e o uso de sistemas de IA. Esses frameworks e seus benchmarks relacionados geralmente incluem princípios como transparência, justiça, responsabilização e privacidade. Eles fornecem proteções para o uso e desenvolvimento de ferramentas de IA.
Embora a automação seja um dos atrativos da IA para muitas empresas, manter o controle humano é importante por razões de segurança. Isso significa ter operadores humanos monitorando o desempenho do sistema de IA, intervindo quando necessário e tomando as decisões finais em situações críticas. As abordagens com intervenção humana ajudam a garantir que uma pessoa real seja responsável pelas ações de um sistema de IA.
A implementação de medidas de segurança robustas, como criptografia, controle de acesso e detecção de anomalias, ajuda a proteger os sistemas de IA contra o uso indevido ou acesso não autorizado. As empresas também podem investir em medidas de cibersegurança para se proteger contra ataques cibernéticos e ameaças cibernéticas que possam comprometer a integridade de seus sistemas de IA.
A segurança da IA é um campo complexo e em evolução que requer a colaboração entre pesquisadores, líderes de setores e legisladores. Muitas empresas participam de consórcios setoriais, iniciativas de pesquisa e esforços de padronização para compartilhar conhecimento, melhores práticas e lições aprendidas. Ao trabalhar em conjunto, a comunidade da IA pode desenvolver medidas de segurança mais robustas e confiáveis.
A pesquisa de segurança da IA é um esforço compartilhado entre muitos stakeholders.
A segurança da IA começa com os desenvolvedores e engenheiros responsáveis por projetar, construir e testar os sistemas de IA. Eles podem se concentrar em questões fundamentais, como o alinhamento dos objetivos da IA aos valores humanos e a criação de modelos transparentes e explicáveis. Eles também são responsáveis por testar e validar modelos e ferramentas para ajudar a garantir que operem conforme o esperado.
Empresas que lideram o desenvolvimento da IA, incluindo IBM, OpenAI, Google DeepMind, Microsoft, Anthropic e outras, estão na vanguarda dos esforços de segurança da IA. Elas investem em equipes dedicadas de segurança da IA, estabelecem diretrizes éticas e seguem aos princípios da IA responsável para evitar resultados prejudiciais.
Algumas empresas também criaram frameworks e protocolos para lidar com riscos nas fases de pesquisa e implementação, como ferramentas de detecção de viés e sistemas que permitem a supervisão humana. Muitas também colaboram em coalizões setoriais, compartilhando conhecimento para definir padrões para segurança da IA para todo o setor.
Esforços mais amplos de governança de IA são uma parte fundamental das medidas globais de segurança da IA. Organizações internacionais, incluindo a ONU, o Fórum Econômico Mundial e a Organização para Cooperação e Desenvolvimento Econômico (OECD), lideram iniciativas focadas na ética e segurança da IA. Governos individuais em todo o mundo também estão criando regras e regulamentações de segurança da IA:
Nos Estados Unidos, o Artificial Intelligence Safety Institute (AISI), uma parte do Instituto Nacional de Padrões e Tecnologia (NIST), trabalha para lidar com problemas de segurança. Seus esforços se concentram nas prioridades, como o avanço da pesquisa e o desenvolvimento de mitigações de riscos.
Na União Europeia, a Lei de IA da UE inclui várias normas e diretrizes de segurança e penalidades por não conformidade. Separadamente, o Reino Unido criou o AI Safety Institute para promover o desenvolvimento seguro da IA. Vários outros países, incluindo Singapura, Japão e Canadá, também estão criando órgãos de segurança da IA para conduzir pesquisas e informar o desenvolvimento e a regulamentação com foco na segurança pública.
Os legisladores e pesquisadores de organizações não governamentais (ONGs), think tanks e outros grupos trabalham para lidar com as questões de segurança. Eles consideram questões de segurança nacional, direitos humanos e política legislativa e recomendam maneiras de ajudar o desenvolvimento da IA a se alinhar com valores e interesses sociais. Eles aumentam a consciência sobre os riscos, estabelecem diretrizes éticas, promovem a transparência e incentivam a pesquisa responsável.
Algumas das principais organizações sem fins lucrativos e de defesa da segurança da IA incluem:
Pesquisas recentes destacam como os rápidos avanços nos sistemas modernos de IA estão superando as práticas tradicionais de gerenciamento de riscos e segurança na IA.Essa tendência é especialmente preocupante para os sistemas de IA generativa, que podem produzir conteúdo altamente realista e escalável, tornando-os propensos ao uso indevido, desinformação e danos automatizados.
No artigo intitulado "Safety Pretraining: Toward the Next Generation of Safe AI",6 pesquisadores da Carnegie Mellon demonstram que os métodos de alinhamento pós-treinamento amplamente utilizados podem ser frágeis. Em outras palavras: o modelo parece seguro durante os testes normais de segurança, mas pode falhar sob pequenas mudanças em seu ambiente.
Além disso, comportamentos inseguros aprendidos durante o treinamento são difíceis de eliminar posteriormente.O artigo argumenta que a segurança deve ser incorporada mais cedo no processo de desenvolvimento, incorporação de proteções diretamente nos dados de pré-treinamento e no design do modelo, em vez de depender apenas de correções por meio de atualizações após o lançamento.
Da mesma forma, o Relatório Internacional de Segurança da IA de 20267, um relatório conjunto de mais de 100 especialistas em IA, descobriu que as melhorias nos recursos da IA estão introduzindo riscos complexos e sistêmicos em vários domínios, ao mesmo tempo que exacerbam os problemas existentes.
Outro artigo recente, "ForesightSafety Bench: A Frontier Risk Evaluation and Governance Framework toward Safe AI"8, analisa os frameworks de avaliação de segurança da IA.O artigo destaca que os benchmarks e abordagens de testes existentes muitas vezes não conseguem capturar os riscos do mundo real e os impactos sociais da fronteira da IA, nem podem detectar de forma confiável comportamentos inseguros sob condições adversas. Os pesquisadores defendem métodos de avaliação mais abrangentes e dinâmicos.
Juntos, esse conjunto de pesquisas sugere que a segurança da IA deve ser tratada como uma preocupação contínua, abrangendo todo o ciclo de vida, em vez de uma etapa isolada, aplicada após o desenvolvimento do modelo. Assim, as abordagens recentes à governança de IA têm enfatizado a importância de incorporar proteções em camadas diretamente no ecossistema de IA mais amplo. Essas proteções em camadas geralmente incluem coleta de dados, arquitetura de modelos e ambientes de implementação.
Há um consenso cada vez maior de que a segurança eficaz da IA requer uma combinação de intervenções técnicas, controles de pré-treinamento e frameworks de avaliação aprimorados. Esses desenvolvimentos indicam que a segurança da IA não é mais apenas um problema exclusivo da ciência da computação, mas um esforço multidisciplinar que requer adaptação contínua à medida que as tecnologias evoluem.
Governe modelos de IA generativa de qualquer lugar e implemente na nuvem ou no local com o IBM watsonx.governance.
Veja como a governança de IA pode ajudar a aumentar a confiança de seus funcionários na IA, acelerar a adoção e a inovação e melhorar a confiança dos clientes.
Prepare-se para a Lei de IA da UE e estabeleça uma abordagem de governança de IA responsável com a ajuda da IBM Consulting.
1 Growing public concern about the role of artificial intelligence in daily life, Pew Research Center, agosto de 2023.
2 Poll Shows Overwhelming Concern About Risks From AI, AI Policy Institute (AIPI), julho de 2023.
3 The state of AI in early 2024, McKinsey, maio de 2024.
4 2023 Impact Report, Center for AI Safety, novembro de 2023.
5 Statement on AI Risk, Center for AI Safety, março de 2023.
6 "Safety Pretraining: Toward the Next Generation of Safe AI," Pratyush Maini et al, 2025.
7 "International AI Safety Report 2026," Y. Bengio et al., 24 de fevereiro de 2026.
8 "ForesightSafety Bench: A Frontier Risk Evaluation and Governance Framework toward Safe AI," Haibo Tong et al., 15 de fevereiro de 2026.