Preparando sua organização para escalar a IA agêntica responsável

Na governança de IA, você não pode governar o que não consegue ver. No entanto, a visibilidade por si só não é útil, a menos que você também entenda os riscos dentro de seus modelos e sistemas de inteligência artificial (IA).

Isso é especialmente verdadeiro para tecnologias emergentes, como a IA agêntica. Os agentes de IA podem melhorar a eficiência e aumentar a produtividade, mas entender o escopo completo de risco que eles introduzem é mais desafiador. “Os riscos para a IA generativa e o aprendizado de máquina podem ser significativos no início, especialmente para determinados casos de uso”, escrevem Manish Bhide, Heather Gentile e Jordan Byrd, da IBM. "Adicione agentes de IA, e os riscos são amplificados ainda mais."  

Nosso white paper, “AI agents: Opportunities, risks and mitigations”, fornece uma investigação completa dos riscos da IA agêntica, explorando tanto a amplificação de riscos da IA conhecidos anteriormente quanto o surgimento de desafios novos e únicos.

Com base em nosso trabalho anterior de identificação de riscos e mitigações para modelos de base, este documento equipa os profissionais com o conhecimento básico necessário para entender, identificar e mitigar riscos. Este é um primeiro passo importante para dimensionar de forma responsável a IA agêntica.

Os agentes de IA são altamente autônomos, realizando várias tarefas sem supervisão humana contínua. Eles também possuem quatro características que podem introduzir risco:

·      Opacidade:Opacidadea visibilidade limitada do funcionamento interno e das interações de um agente de IA pode dificultar a compreensão das ações.

·      Abertura: os agentes de IA podem selecionar recursos, ferramentas e até mesmo outros agentes de IA para realizar tarefas, aumentando a probabilidade de ações inesperadas.  

·      Complexidade: à medida que os agentes de IA aprendem e se adaptam, seu funcionamento interno torna-se mais complexo, tornando a análise cada vez mais difícil.

-      Não reversibilidade: agindo sem supervisão humana contínua, os agentes de IA têm mais chance de tomar ações irreversíveis com consequências tangíveis tanto no âmbito digital quanto no físico.

A autonomia e as características dos agentes de IA apresentam riscos potenciais, desafios e impactos sociais que os profissionais precisam entender para escalar a IA agêntica de forma responsável.

A IA agêntica introduz novos riscos e desafios ao cenário de riscos da IA, que os profissionais provavelmente não consideraram no projeto, desenvolvimento, adoção ou governança de sistemas de IA anteriores.

Por exemplo, um novo risco emergente envolve viés de dados: um agente de IA pode modificar um conjunto de dados ou banco de dados de uma forma que introduza viés. Aqui, o agente de IA toma uma ação que potencialmente impacta o mundo e que pode ser irreversível se o viés introduzido escalar não detectado.

A IA agêntica também amplifica diversas áreas de risco conhecidas, incluindo a avaliação do sistema e o potencial para ações inexplicáveis ou não rastreáveis. Os profissionais devem reavaliar essas áreas ao trabalhar com agentes de IA.

Por exemplo, um agente de IA com acesso irrestrito a recursos, bancos de dados ou ferramentas aumenta o risco de compartilhar informações sensíveis ou confidenciais com os usuários. Sem as proteções adequadas, esse agente pode armazenar e compartilhar de forma inadequada informações pessoais, propriedade intelectual ou outros dados confidenciais com os usuários do sistema. O white paper detalha esses riscos e desafios, explicando suas origens e possíveis impactos.

Lidar com os riscos e desafios exclusivos da IA agêntica requer uma abordagem de ponta a ponta para a mitigação de riscos, implementada por meio da governança de IA. No entanto, como Phaedra Boinodiris e Jon Parker, da IBM, explicaram recentemente: “A IA agêntica está avançando tão rapidamente que as organizações podem ter dificuldade em encontrar precedentes ou melhores práticas para minimizar danos”.

Felizmente, muitas estratégias que podem ajudar a mitigar os riscos de outros tipos de IA, como a IA generativa e o aprendizado de máquina, também podem ajudar a mitigar os riscos da IA agêntica. Por exemplo, incorporar um ser humano no circuito é uma das melhores práticas para IA responsável de todos os tipos. Permitir a validação e o feedback humanos das ações tomadas pelos agentes de IA pode ajudar a garantir a precisão e a relevância, além de manter o alinhamento com os valores organizacionais.  

Compreender os riscos exclusivos da IA agêntica é uma primeira etapa crítica para escalonar de forma responsável por toda a organização e obter o retorno sobre o investimento (ROI) da IA responsável. "AI agents: Opportunities, risks, and mitigation" pode ajudá-lo a conceituar o cenário de riscos da IA agêntica com mais clareza e considerar como sua organização pode aproveitar de forma responsável as imensas oportunidades apresentadas pelos agentes de IA.

Leia AI agents: Opportunities, risks, and mitigations

Saiba mais sobre a abordagem da IBM em relação à IA responsável