Operacionalização de princípios de IA responsável para defesa
A inteligência artificial (IA) está transformando a sociedade, incluindo a própria segurança nacional. Reconhecendo isso, o Department of Defense (DoD) dos EUA lançou o Joint Artificial Intelligence Center (JAIC) em 2019, o antecessor do Chief Digital and Artificial Intelligence Office (CDAO), para desenvolver soluções de IA que criem vantagem militar competitiva, condições para a adoção da IA centrada no ser humano e a agilidade das operações do DoD. No entanto, os obstáculos para expandir, adotar e implementar todo o potencial da IA no DoD são semelhantes aos do setor privado.
Uma recente pesquisa da IBM descobriu que as principais barreiras que impedem a implementação bem-sucedida da IA incluem habilidades e conhecimentos limitados em IA, complexidade dos dados e preocupações éticas. Além disso, de acordo com o IBM Institute of Business Value, 79% dos executivos afirmam que a ética em IA é importante para a abordagem com relação à IA em toda a empresa, mas menos de 25% operacionalizaram princípios comuns de ética em IA. Ganhar confiança nas saídas dos modelos de IA é um desafio sociotécnico, que requer uma solução sociotécnica.
Os líderes de defesa focados em operacionalizar a seleção responsável da IA devem primeiro concordar com um vocabulário compartilhado (uma cultura comum que oriente o uso seguro e responsável da IA) antes de implementar soluções tecnológicas e proteções que mitiguem riscos. O DoD pode estabelecer uma base sólida para conseguir isso, melhorando o conhecimento em IA e estabelecendo parcerias com organizações confiáveis para desenvolver uma governança alinhada aos seus objetivos e valores estratégicos.
É importante que a equipe saiba como implementar a IA para melhorar a eficiência organizacional. Mas é igualmente importante que eles tenham uma compreensão profunda dos riscos e limitações da IA e como implementar as medidas de segurança e proteções éticas apropriadas. Essas são apostas básicas para o DoD ou qualquer agência governamental.
Um caminho de aprendizado de IA personalizado pode ajudar a identificar lacunas e o treinamento necessário para que os funcionários obtenham o conhecimento necessário para suas funções específicas. A conhecimento em IA em toda a instituição é essencial para todo o pessoal para que eles possam avaliar, descrever e responder rapidamente a ameaças rápidas, virais e perigosas, como desinformação e deepfakes.
A IBM aplica conhecimento em IA de maneira personalizada dentro de nossa organização, pois a definição de alfabetização essencial varia de acordo com o cargo de uma pessoa.
Como líder em inteligência artificial confiável, a IBM tem experiência no desenvolvimento de frameworks de governança que orientam o uso responsável da IA em alinhamento com os valores das organizações de clientes. A IBM também tem seus próprios frameworks para o uso de IA dentro da própria IBM, informando posições políticas como o uso da tecnologia de reconhecimento facial.
As ferramentas de IA agora são utilizadas na segurança nacional e para ajudar na proteção contra violações de dados e ataques cibernéticos. Mas a IA também apoia outros objetivos estratégicos do DoD. Ela pode aumentar a força de trabalho, ajudando a torná-la mais eficaz e a requalificá-la. Pode ajudar a criar cadeias de suprimentos resilientes para apoiar soldados, marinheiros, aviadores e fuzileiros navais em funções de combate, ajuda humanitária, manutenção da paz e ajuda em desastres.
O CDAO inclui cinco princípios éticos de responsável, equitativo, rastreável, confiável e governável como parte de seu toolkit de IA responsável. Com base no framework existente das forças armadas dos EUA, esses princípios baseiam-se nos valores das forças armadas e ajudam a manter seu compromisso com a IA responsável.
Deve haver um esforço conjunto para tornar esses princípios uma realidade, por meio da consideração dos requisitos funcionais e não funcionais nos modelos e nos sistemas de governança em torno desses modelos. Abaixo, fornecemos recomendações amplas para a operacionalização dos princípios éticos do CDAO.
1. Responsável
"O pessoal do DoD exercerá níveis apropriados de julgamento e cuidado, enquanto permanecerá responsável pelo desenvolvimento, implementação e uso dos recursos de IA."
Todos concordam que os modelos de IA devem ser desenvolvidos por colaboradores cuidadosos e ponderados, mas como as organizações podem estimular as pessoas a realizar esse trabalho? Recomendamos:
- Promover uma cultura organizacional que reconhece a natureza sociotécnica dos desafios da IA. Isso deve ser comunicado desde o início, e deve haver um reconhecimento das práticas, conjuntos de habilidades e consideração que precisam ser colocados nos modelos e seu gerenciamento para monitorar o desempenho.
- Detalhando as práticas éticas em todo o ciclo de vida da IA, correspondendo aos objetivos da empresa (ou missão), à preparação de dados e modelagem, à avaliação e implementação. O modelo CRISP-DM é útil aqui. O Scaled Data Science Method da IBM, uma extensão do CRISP-DM, oferece governança em todo o ciclo de vida dos modelos de IA informada por entradas colaborativas de cientistas de dados, psicólogos organizacionais industriais, designers, especialistas em comunicação e outros. O método mescla as melhores práticas em ciência de dados, gerenciamento de projetos, frameworks de projeto e governança de IA. As equipes podem ver e entender facilmente os requisitos em cada estágio do ciclo de vida, incluindo documentação, com quem precisam conversar ou colaborar e próximas etapas.
- Fornecer metadados interpretáveis de modelos de IA (por exemplo, como fichas técnicas) especificando pessoas responsáveis, benchmarks de desempenho (em comparação com humanos), dados e métodos usados, registros de auditoria (data e por quem), além do propósito e dos resultados da auditoria.
Observação: essas medidas de responsabilidade devem ser interpretadas por não especialistas em IA (sem "explicação matemática").
2. Equitativo
“O Departamento tomará medidas deliberadas para minimizar o viés não intencional nos recursos de IA.”
Todos concordam que o uso de modelos de IA deve ser justo e não discriminatório, mas como isso acontece na prática? Recomendamos:
- Estabelecer um centro de excelência para oferecer a equipes diversas e multidisciplinares uma comunidade para treinamento aplicado para identificar o potencial impacto díspar.
- Usar ferramentas de auditoria para refletir o viés exibido nos modelos. Se a reflexão estiver alinhada com os valores da organização, a transparência em torno dos dados e métodos escolhidos será fundamental. Se a reflexão não se alinha aos valores organizacionais, isso é um sinal de que algo precisa mudar. Descobrir e mitigar o potencial impacto díspar causado pelo viés envolve muito mais do que examinar os dados nos quais o modelo foi treinado. As organizações também devem examinar as pessoas e processos envolvidos. Por exemplo, os usos apropriados e inadequados do modelo foram claramente comunicados?
- Medir a justiça e tornar os padrões de equidade praticáveis, fornecendo requisitos funcionais e não funcionais para vários níveis de serviço.
- Uso de frameworks de design thinking para avaliar efeitos não intencionais de modelos de IA, determinar os direitos dos usuários finais e operacionalizar os princípios. É essencial que os exercícios de design thinking incluam pessoas com experiências de vida muito variadas —quanto mais diversificadas, melhor.
3. Rastreável
"Os recursos de IA do Departamento serão desenvolvidos e implementados de tal forma que o pessoal relevante possua uma compreensão adequada da tecnologia, dos processos de desenvolvimento e dos métodos operacionais aplicáveis aos recursos de IA, inclusive com metodologias transparentes e auditáveis, fontes de dados e procedimentos e documentação de projeto."
Operacionalize a rastreabilidade fornecendo diretrizes claras para todo o pessoal que usa IA:
- Sempre deixe claro para os usuários quando eles estiverem interagindo com um sistema de IA.
- Forneça uma base de conteúdo para modelos de IA. Capacite especialistas no domínio para selecionar e manter fontes confiáveis de dados usadas para treinar modelos. A saída do modelo é baseada nos dados nos quais ele foi treinado.
A IBM e seus parceiros podem fornecer soluções de IA com conteúdo abrangente e auditável, fundamentando o imperativo em casos de uso de alto risco.
- Capture metadados importantes para tornar os modelos de IA transparentes e acompanhar o inventário do modelo. Certifique-se de que esses metadados possam ser interpretados e que as informações certas sejam expostas ao pessoal apropriado. A interpretação de dados requer prática e é um esforço interdisciplinar. Na IBM, nosso grupo de Design for AI visa educar os funcionários sobre o papel crítico dos dados na IA (entre outros fundamentos) e doar frameworks para a comunidade de código aberto.
- Torne esses metadados facilmente encontrados pelas pessoas (em última análise, na origem da saída).
- Inclua o envolvimento humano no ciclo, pois a IA deve aumentar e ajudar os humanos. Isso permite que seres humanos forneçam feedback enquanto os sistemas de IA operam.
- Crie processos e frameworks para avaliar o impacto díspar e os riscos de segurança bem antes de o modelo ser implementado ou adquirido. Designe pessoas responsáveis para mitigar esses riscos.
4. Confiável
"Os recursos de IA do Departamento terão usos explícitos e bem definidos, e a segurança e a eficácia desses recursos estarão sujeitas a testes e garantias dentro desses usos definidos ao longo de todos os seus ciclos de vida."
As organizações devem documentar casos de uso bem definidos e testar a conformidade. A operacionalização e a escalabilidade desse processo exigem um forte alinhamento cultural para que os profissionais adiram aos mais altos padrões, mesmo sem supervisão direta constante. As melhores práticas incluem:
- Estabelecer comunidades que afirmam constantemente por que é essencial ter saídas justas e confiáveis. Muitos profissionais acreditam firmemente que o simples fato de ter as melhores intenções não pode resultar em impactos díspares. Isso é equivocado. O treinamento aplicado por líderes comunitários altamente engajados que fazem as pessoas se sentirem ouvidas e incluídas é crítico.
- Construir lógicas de teste de confiabilidade em torno das diretrizes e padrões para dados usados no treinamento de modelos. A melhor maneira de tornar isso real é oferecer exemplos do que pode acontecer quando esse escrutínio falha.
- Limite o acesso do usuário ao desenvolvimento do modelo, mas reúna diversas perspectivas no início do projeto para mitigar a introdução de vieses.
- Realize verificações de privacidade e segurança durante todo o ciclo de vida da IA.
- Inclua medidas de precisão em auditorias agendadas regularmente. Seja inequivocamente direto sobre como o desempenho do modelo se compara ao de um ser humano. Se o modelo não fornecer um resultado preciso, detalhe quem é responsável por esse modelo e quais recursos os usuários têm. (Tudo isso deve estar incorporado nos metadados interpretáveis e localizáveis).
5. Governável
"O Departamento projetará e executará recursos de IA para cumprir as funções pretendidas, ao mesmo tempo em que possui a capacidade de detectar e evitar consequências não intencionais, e a capacidade de desconectar ou desativar sistemas implementados que demonstrem comportamentos não intencionais."
A operacionalização desse princípio exige:
- O investimento no modelo de IA não para na implementação. Dedique recursos para garantir que os modelos continuem se comportando conforme desejado e esperado. Avalie e mitigue os riscos durante todo o ciclo de vida da IA, não apenas após a implementação.
- Designar uma parte responsável que tenha um mandato financiado para fazer o trabalho de governança. Ela devem ter poder.
- Investir em comunicação, construção de comunidades e educação. Aproveitar ferramentas como o watsonx.governance para monitorar os sistemas de IA.
- Capturar e gerenciar o inventário de modelos de IA conforme descrito acima.
- Implementar medidas de cibersegurança em todos os modelos.
A IBM está na vanguarda do avanço de princípios de IA confiável e é líder de pensamento na governança de sistemas de IA desde o seu nascimento. Seguimos princípios de confiança e transparência duradouros que deixam claro que o papel da IA é aumentar, e não substituir, o conhecimento e o julgamento humanos.
Em 2013, a IBM embarcou na jornada de explicabilidade e transparência em IA e aprendizado de máquina. A IBM é líder em ética de IA, nomeando um líder global de ética de IA em 2015 e criando um conselho de ética de IA em 2018. Esses especialistas trabalham para ajudar a garantir que nossos princípios e compromissos sejam mantidos em nossos engajamentos de negócios globais. Em 2020, a IBM doou seus toolkits de IA responsável para a Linux Foundation para ajudar a construir o futuro da IA justa, segura e confiável.
A IBM lidera os esforços globais para moldar o futuro da IA responsável e métricas, padrões e melhores práticas de IA ética:
- Envolvida com a administração do Presidente Biden no desenvolvimento de sua Ordem Executiva de IA
- Mais de 70 patentes divulgadas/registradas para IA responsável
- O CEO da IBM, Arvind Krishna, copreside o comitê de direção da Global IA Action Alliance lançado pelo Fórum Econômico Mundial (WEF),
- A Alliance está focada em acelerar a adoção de inteligência artificial inclusiva, transparente e confiável globalmente
- Foi coautor de dois artigos publicados pelo FEM sobre IA generativa sobre liberação de valor e desenvolvimento de sistemas e tecnologias seguros.
- Copresidente do comitê de IA confiável da Linux Foundation AI
- Contribuiu para o framework de gerenciamento de risco de IA do NIST; interage com o NIST na área de métrica, normas e testes de IA
A seleção de uma IA responsável é um desafio multifacetado, pois exige que os valores humanos se reflitam de forma confiável e consistente em nossa tecnologia. Mas vale a pena o esforço. Acreditamos que as diretrizes acima podem ajudar o DoD a operacionalizar uma IA confiável e a cumprir sua missão.
Para mais informações sobre como a IBM pode ajudar, acesse Consultoria em governança de IA | IBM
Mais recursos: