Gerenciamento de riscos de IA é o processo de identificar, mitigar e lidar sistematicamente com os possíveis riscos associados às tecnologias de IA. Envolve uma combinação de ferramentas, práticas e princípios, com ênfase particular na implementação de frameworks formais de gerenciamento de riscos de IA.
De modo geral, o objetivo do gerenciamento de riscos de IA é minimizar os possíveis impactos negativos da IA e, ao mesmo tempo, maximizar seus benefícios.
O gerenciamento de riscos de IA faz parte do campo mais amplo da governança de IA. A governança de IA se refere às barreiras que garantem que as ferramentas e os sistemas de IA sejam seguros e éticos e permaneçam assim.
A governança de IA é uma disciplina abrangente, enquanto o gerenciamento de riscos de IA é um processo dentro dessa disciplina. O gerenciamento de riscos de IA concentra-se especificamente na identificação e no tratamento de vulnerabilidades e ameaças para manter os sistemas de IA protegidos contra danos. A governança de IA estabelece frameworks, regras e normas que direcionam a pesquisa, o desenvolvimento e a aplicação da IA para garantir a segurança, a justiça e o respeito pelos direitos humanos.
Nos últimos anos, o uso de sistemas de IA aumentou em todos os setores. A McKinsey relata que 72% das organizações agora usam alguma forma de inteligência artificial (IA), um aumento de 17% em relação a 2023.
Embora as organizações busquem os benefícios da IA, como inovação, eficiência e maior produtividade, nem sempre elas atacam seus possíveis riscos, como dúvidas com a privacidade, ameaças à segurança e questões éticas e legais.
Os líderes estão bem cientes desse desafio. Um estudo recente do IBM Institute for Business Value (IBM IBV) revelou que 96% dos líderes acreditam que a adoção da IA generativa aumenta a probabilidade de uma violação de segurança. Ao mesmo tempo, o IBM IBV também descobriu que apenas 24% dos projetos atuais de IA generativa estão protegidos.
O gerenciamento de riscos de IA pode ajudar a preencher essa lacuna e capacitar as organizações a aproveitar todo o potencial dos sistemas de IA sem comprometer a ética ou a segurança da IA.
Assim como outros tipos de riscos de segurança, o risco de IA pode ser entendido como uma medida da probabilidade de uma possível ameaça relacionada à IA de afetar uma organização e o grau de danos que essa ameaça causaria.
Embora cada modelo e caso de uso de IA seja diferente, os riscos da IA geralmente se enquadram em quatro grupos:
Se não forem gerenciados corretamente, esses riscos podem expor os sistemas de IA e as organizações a danos significativos, inclusive perdas financeiras, danos à reputação, penalidades regulatórias, erosão da confiança pública e violação de dados.
Os sistemas de IA dependem de conjuntos de dados que podem ser vulneráveis a adulterações, violações, vieses ou ataques cibernéticos. As organizações podem mitigar esses riscos ao proteger a integridade, a segurança e a disponibilidade dos dados durante todo o ciclo de vida da IA, desde o desenvolvimento até o treinamento e a implementação.
Os riscos comuns de dados incluem:
Os agentes maliciosos podem atacar modelos de IA para roubo, engenharia reversa ou manipulação não autorizada. Os invasores podem comprometer a integridade de um modelo alterando-o em sua arquitetura, pesos ou parâmetros, que são os componentes centrais que determinam o comportamento e o desempenho de um modelo de IA.
Alguns dos riscos de modelos mais comuns incluem:
Embora os modelos de IA possam parecer magia, são fundamentalmente produtos de código sofisticado e algoritmos de aprendizado de máquina. Como todas as tecnologias, são suscetíveis a riscos operacionais. Se não forem resolvidos, esses riscos podem levar a falhas no sistema e vulnerabilidades de segurança que podem ser exploradas por agentes de ameaças.
Alguns dos riscos operacionais mais comuns incluem:
Se as organizações não priorizarem a segurança e a ética no desenvolvimento e na implementação de sistemas de IA, elas correm o risco de cometerem violações de privacidade e gerarem resultados com viés. Por exemplo, dados de treinamento com viés usados para decisões de contratação podem reforçar os estereótipos raciais ou de gênero e criar modelos de IA que favorecem determinados grupos demográficos em detrimento de outros.
Riscos éticos e legais comuns incluem:
Muitas organizações lidam com os riscos da IA adotando frameworks de gerenciamento de riscos de IA, que são conjuntos de diretrizes e práticas para gerenciar riscos em todo o ciclo de vida da IA.
Pode-se pensar também nessas diretrizes como playbooks que descrevem políticas, procedimentos, funções e responsabilidades referentes ao uso da IA por uma organização. Os frameworks de gerenciamento de riscos de IA ajudam as organizações a desenvolver, implementar e manter sistemas de IA de uma forma que minimize riscos, mantenha padrões éticos e alcance conformidade regulatória contínua.
Alguns dos frameworks de gerenciamento de riscos de IA mais usados incluem:
Em janeiro de 2023, o Instituto Nacional de Padrões e Tecnologia dos EUA (NIST) publicou o Framework de Gerenciamento de Riscos de IA (AI Risk Management Framework - AI RMF) para fornecer uma abordagem estruturada para gerenciar riscos de IA. O AI RMF do NIST se tornou um benchmark para gerenciamento de riscos de IA.
O objetivo principal do AI RMF é ajudar as organizações a projetar, desenvolver, implementar e utilizar sistemas de IA para gerenciar riscos de forma eficaz e promover práticas de IA confiáveis e responsáveis.
Desenvolvido em colaboração com os setores público e privado, o AI RMF é totalmente voluntário e aplicável a qualquer empresa, setor ou localização geográfica.
O framework é dividido em duas partes. A Parte 1 oferece uma visão geral dos riscos e das características dos sistemas de IA confiáveis. A Parte 2, o AI RMF Core, descreve quatro funções para ajudar as organizações a lidar com os riscos do sistema de IA:
A Lei de Inteligência Artificial da UE (Lei de IA da UE) é uma lei que rege o desenvolvimento e o uso da inteligência artificial na União Europeia (UE). A lei adota uma abordagem de regulamentação baseada em riscos, aplicando regras diferentes aos sistemas de IA de acordo com as ameaças que eles representam à integridade, segurança e direitos humanos. A lei também cria regras para projetar, treinar e implementar modelos de inteligência artificial de uso geral, como os modelos de base que impulsionam o ChatGPT e o Google Gemini.
A International Organization for Standardization (ISO) and the International Electrotechnical Commission (IEC) desenvolveram normas (link externo a ibm.com) que lidam com vários aspectos do gerenciamento de riscos de IA.
As normas ISO/IEC enfatizam a importância da transparência, da responsabilidade e das considerações éticas no gerenciamento de riscos de IA. Eles também apresentam diretrizes práticas para gerenciar os riscos de IA em todo o ciclo de vida da IA, desde o projeto e o desenvolvimento até a implementação e a operação.
Embora o processo de gerenciamento de riscos de IA necessariamente varie de uma organização para outra, as práticas de gerenciamento de riscos de IA podem proporcionar alguns benefícios principais comuns quando implementadas com sucesso.
O gerenciamento de riscos de IA pode melhorar a postura de cibersegurança e o uso da segurança de IA de uma organização.
Ao realizar avaliações e auditorias de risco regulares, as organizações podem identificar riscos em potencial e vulnerabilidades durante todo o ciclo de vida da IA.
Após essas avaliações, podem implementar estratégias de mitigação para reduzir ou eliminar os riscos identificados. Esse processo pode envolver medidas técnicas, como aprimoramento da segurança de dados e melhoria da robustez do modelo. O processo também pode envolver ajustes organizacionais, como o desenvolvimento de diretrizes éticas e o fortalecimento dos controles de acesso.
Adotar essa abordagem mais proativa para detecção e resposta a ameaças pode ajudar as organizações a mitigar os riscos antes que eles aumentem, reduzindo a probabilidade de violações de dados e o possível impacto dos ataques cibernéticos.
O gerenciamento de riscos de IA também pode ajudar a melhorar a tomada de decisões gerais de uma organização.
Ao utilizar uma combinação de análises qualitativas e quantitativas, incluindo métodos estatísticos e opiniões de especialistas, as organizações podem obter uma compreensão clara de seus possíveis riscos. Essa visão abrangente ajuda as organizações a priorizar ameaças de alto risco e a tomar decisões mais embasadas sobre a implementação da IA, equilibrando o desejo de inovação com a necessidade de mitigação de riscos.
Um foco global cada vez maior na proteção de dados confidenciais estimulou a criação de importantes requisitos regulatórios e normas setoriais, incluindo o Regulamento Geral de Proteção de Dados (GDPR), a California Consumer Privacy Act (CCPA) e a Lei de IA da UE.
A não conformidade com essas leis pode resultar em multas pesadas e penalidades legais consideráveis. O gerenciamento de riscos de IA pode ajudar as organizações a obter conformidade e permanecer em situação regular, especialmente porque as regulamentações relacionadas à IA evoluem quase tão rapidamente quanto a própria tecnologia.
O gerenciamento de riscos de IA ajuda as organizações a minimizar interrupções e garantir a continuidade dos negócios, ao possibilitar que lidem com possíveis riscos com sistemas de IA em tempo real. O gerenciamento de riscos da IA também pode incentivar uma maior responsabilidade e sustentabilidade de longo prazo, permitindo que as organizações estabeleçam práticas de gerenciamento e metodologias claras para uso da IA.
O gerenciamento de riscos de IA incentiva uma abordagem mais ética aos sistemas de IA, ao priorizar a confiança e a transparência.
A maioria dos processos de gerenciamento de riscos de IA envolve uma ampla gama de stakeholders, incluindo executivos, desenvolvedores de IA, cientistas de dados, usuários, legisladores e até mesmo especialistas em ética. Essa abordagem inclusiva ajuda a garantir que os sistemas de IA sejam desenvolvidos e utilizados de forma responsável, levando em consideração todos os stakeholders.
Ao realizar testes regulares e processos de monitoramento, as organizações podem acompanhar melhor o desempenho de um sistema de IA e detectar ameaças emergentes mais cedo. Esse monitoramento ajuda as organizações a manter a conformidade regulatória contínua e a remediar riscos de IA mais cedo, reduzindo o possível impacto das ameaças.
Apesar de todo o seu potencial de simplificar e otimizar a forma como o trabalho é realizado, as tecnologias de IA não estão isentas de riscos. Quase todas as áreas de TI das empresas podem se tornar uma arma nas mãos erradas.
As organizações não precisam evitar a IA generativa. Eles simplesmente precisam tratá-la como qualquer outra ferramenta tecnológica. Isso significa entender os riscos e adotar medidas proativas para minimizar a chance de um ataque bem-sucedido.
Com o IBM watsonx.governance, as organizações podem facilmente direcionar, gerenciar e monitorar atividades de IA. O IBM watsonx.governance pode governar modelos de IA generativa de qualquer fornecedor, avaliar a integridade e a precisão do modelo e automatizar fluxos de trabalho de conformidade essenciais.