O que é governança de IA?

A governança de IA eficaz inclui mecanismos de supervisão que lidam com riscos como viés, violação de privacidade e uso indevido, ao mesmo tempo em que promovem inovação e criam confiança. Uma abordagem ética centrada na IA para a governança da IA exige o envolvimento de uma ampla gama de stakeholders, incluindo desenvolvedores de IA, usuários, legisladores e especialistas em ética, garantindo que os sistemas relacionados à IA sejam desenvolvidos e usados para se alinharem aos valores da sociedade.

A governança de IA lida com as falhas inerentes decorrentes do elemento humano na criação e manutenção da IA. Como a IA é um produto de código altamente projetado e aprendizado de máquina (ML) criado por pessoas, é suscetível a vieses e erros humanos, que podem resultar em discriminação e outros danos aos indivíduos.

A governança fornece uma abordagem estruturada para mitigar esses riscos potenciais. Tal abordagem pode incluir políticas sólidas de IA, regulamentação e governança de dados. Elas ajudam a garantir que os algoritmos de aprendizado de máquina sejam monitorados, avaliados e atualizados para evitar decisões falhas ou prejudiciais, e que os conjuntos de dados sejam bem treinados e mantidos.

A governança também visa estabelecer a supervisão necessária para alinhar os comportamentos da IA com os padrões éticos e as expectativas da sociedade, a fim de se proteger contra possíveis impactos adversos.

A governança de IA é essencial para alcançar um estado de conformidade, confiança e eficiência no desenvolvimento e aplicação de tecnologias de IA. Com a crescente integração da IA às operações organizacionais e governamentais, seu potencial de impacto negativo tornou-se mais visível.

Erros de alta visibilidade, como o incidente do chatbot Tay, em que um chatbot IA aprendeu comportamento tóxico a partir de interações públicas nas redes sociais, e as decisões de sentenças com viés do software COMPAS , destacaram a necessidade de uma governança sólida para evitar danos e manter a confiança do público.

Esses casos mostram que, sem a supervisão adequada, a IA pode causar danos sociais e éticos significativos, enfatizando a importância da governança no gerenciamento dos riscos associados à IA avançada. Ao fornecer diretrizes e frameworks, a governança de IA visa equilibrar a inovação com a segurança, ajudando a garantir que os sistemas de IA não violem a dignidade ou os direitos humanos.

Tomada de decisões transparente e explicabilidade também são críticas para garantir que os sistemas de IA sejam usados com responsabilidade e para construir confiança. Os sistemas de IA tomam decisões o tempo todo, desde decidir quais anúncios mostrar até determinar se um empréstimo deve ser aprovado. É essencial entender como os sistemas de IA tomam decisões para responsabilizá-los por suas decisões e ajudar a garantir que as tomem de forma justa e imparcial.

Além disso, a governança de IA não se trata apenas de ajudar a garantir a conformidade única; trata-se também da manutenção de padrões éticos ao longo do tempo. Os modelos de IA podem variar, levando a mudanças na qualidade e na confiabilidade das saídas. As tendências atuais em governança estão indo além da simples conformidade legal para garantir a responsabilidade social da IA, protegendo, assim, contra danos financeiros, legais e de reputação, ao mesmo tempo em que promovem o crescimento responsável da tecnologia.

Exemplos de governança de IA incluem uma série de políticas, frameworks e práticas que organizações e governos implementam para ajudar a garantir o uso responsável das tecnologias de IA. Esses exemplos demonstram como a governança de IA acontece em diferentes contextos:

Regulamento Geral de Proteção de Dados (GDPR): o GDPR é um exemplo de governança de IA, particularmente no contexto de proteção e privacidade de dados pessoais. Embora o GDPR não se concentre exclusivamente na IA, muitas de suas disposições são altamente relevantes para os sistemas de IA, especialmente aqueles que processam os dados pessoais de indivíduos na União Europeia.

A Organização para a Cooperação e Desenvolvimento Econômico (OCDE): os Princípios de IA da OCDE, adotados por mais de 40 países, enfatizam a administração responsável de IA confiável, incluindo transparência, imparcialidade e responsabilidade em sistemas de IA.

Conselhos de ética em IA das empresas:  muitas empresas estabeleceram conselhos ou comitês de ética para supervisionar iniciativas de IA, garantindo que se alinhem aos padrões éticos e aos valores sociais. Por exemplo, desde 2019, o Conselho de Ética em IA da IBM avaliou novos produtos e serviços de IA para garantir que eles estejam alinhados aos princípios de IA da IBM. Esses conselhos geralmente incluem equipes multifuncionais com formação jurídica, técnica e política.  

Em uma organização de nível empresarial, o CEO e a liderança sênior são os principais responsáveis por garantir que a organização aplique uma boa governança de IA ao longo do ciclo de vida da IA. O departamento jurídico e o conselho geral são fundamentais na avaliação e mitigação dos riscos legais, garantindo que as aplicações de IA estejam em conformidade com as leis e regulamentações relevantes. 

As equipes de auditoria são fundamentais para validar a integridade dos dados dos sistemas de IA e confirmar que os sistemas estão operando como pretendido, sem introduzir erros ou vieses. O CFO supervisiona as implicações financeiras, gerenciando os custos associados às iniciativas de IA e mitigando quaisquer riscos financeiros. 

No entanto, a responsabilidade pela governança de IA não cabe a uma única pessoa ou departamento; é uma responsabilidade coletiva, em que cada líder deve priorizar a responsabilidade e ajudar a garantir que os sistemas de IA sejam usados de forma responsável e ética em toda a organização.

O CEO e a liderança sênior são responsáveis por definir o tom geral e a cultura da organização. Ao priorizar a governança de IA responsável, a organização envia a todos os funcionários uma mensagem clara de que todos devem usar a IA de forma responsável e ética. O CEO e a liderança sênior também podem investir no treinamento de governança de IA dos funcionários, desenvolver ativamente políticas e procedimentos internos e criar uma cultura de comunicação aberta e colaboração.

A governança de IA é essencial para gerenciar os rápidos avanços na tecnologia de IA, especialmente com o surgimento da IA generativa. A IA generativa, que inclui tecnologias capazes de criar novos conteúdos e soluções, como texto, imagens e código, tem um grande potencial em muitos casos de uso.

Desde o aprimoramento dos processos criativos em design e mídia até a automatização de tarefas no desenvolvimento de software, a IA generativa está transformando a forma como os setores operam. No entanto, com sua ampla aplicabilidade, surge a necessidade de uma governança robusta de IA.

Os princípios da governança de IA responsável são essenciais para que as organizações protejam a si mesmas e a seus clientes. Estes princípios podem orientar as organizações no desenvolvimento ético e na aplicação de tecnologias de IA, que incluem:

• Empatia: as organizações devem entender as implicações sociais da IA, não apenas os aspectos tecnológicos e financeiros. Elas precisam prever e lidar com o impacto da IA em todos os stakeholders.
  
  
• Controle de vieses: é essencial examinar rigorosamente os dados de treinamento para evitar a incorporação de vieses do mundo real em algoritmos de IA, ajudando a garantir processos de tomada de decisões imparciais e sem viés.
  
  
• Transparência: deve haver clareza e abertura na forma como os algoritmos de IA operam e tomam decisões, com as organizações prontas para explicar a lógica e o raciocínio por trás dos resultados orientados por IA.
  
  
• Responsabilidade: as organizações devem definir e seguir proativamente elevados padrões para gerenciar as mudanças significativas que a IA pode trazer, mantendo a responsabilidade pelos impactos da IA.

No final de 2023, a Casa Branca emitiu uma ordem executiva para ajudar a garantir a segurança e proteção da IA. Essa estratégia abrangente oferece um framework para estabelecer novas normas para gerenciar os riscos inerentes à tecnologia de IA. As novas normas de segurança e proteção da IA do governo dos EUA exemplificam como os governos lidam com essa questão extremamente delicada.

• Segurança e proteção da IA: exige que os desenvolvedores de sistemas de IA poderosos compartilhem resultados de testes de segurança e informações críticas com o governo dos EUA. Exige o desenvolvimento de normas, ferramentas e testes para ajudar a garantir que os sistemas de IA sejam seguros e confiáveis.
  
  
• Proteção de privacidade: prioriza o desenvolvimento e o uso de técnicas de preservação da privacidade e fortalece a pesquisa e as tecnologias de preservação da privacidade. Também estabelece diretrizes para que os órgãos federais avaliem a eficácia das técnicas de preservação da privacidade.
  
  
• Equidade e direitos civis: impede que a IA aumente a discriminação e os vieses em diversos setores. Isso inclui orientar proprietários e programas federais, lidar com a discriminação algorítmica e ajudar a garantir a imparcialidade no sistema de justiça criminal.
  
  
• Proteção ao consumidor, paciente e aluno: ajuda a promover uma IA responsável na área da saúde e da educação, como o desenvolvimento de medicamentos que salvam vidas e o apoio a ferramentas educacionais habilitadas por IA.
  
  
• Apoio ao trabalhador: desenvolve princípios para mitigar os efeitos prejudiciais da IA nos empregos e ambientes de trabalho, incluindo questões como a perda de empregos e a equidade​no local de trabalho.
  
  
• Promover a inovação e a concorrência: catalisa a pesquisa de IA nos EUA, incentiva um ecossistema de IA imparcial e competitivo e facilita a entrada de profissionais de IA qualificados nos EUA.​
  
  
• Liderança global em IA: expande a colaboração internacional em IA e promove o desenvolvimento e a implementação de normas vitais de IA com parceiros internacionais​.
  
  
• Uso pelo governo da IA: ajuda a garantir a implementação responsável pelo governo da IA por meio da emissão de orientações para o uso da IA pelas agências, melhorando a aquisição da IA e acelerando a contratação de profissionais da IA.

Embora as regulamentações e as forças do mercado padronizem muitas métricas de governança, as organizações ainda precisam determinar como equilibrar melhor as medidas de seus negócios. A medição da eficácia da governança de IA pode variar de acordo com a organização; cada organização deve decidir quais áreas de foco devem ser priorizadas. Com áreas de foco como qualidade de dados, segurança de modelos, análise de custo-valor, monitoramento de vieses, responsabilidade individual, auditoria contínua e adaptabilidade para ajustar dependendo do domínio da organização, não é uma decisão única para todos.

A governança de IA não tem "níveis" universalmente padronizados da mesma forma que, por exemplo, a cibersegurança pode ter definido níveis de resposta a ameaças. Em vez disso, a governança de IA oferece abordagens e frameworks estruturados desenvolvidos por diversas entidades, que as organizações podem adotar ou adaptar conforme suas necessidades específicas.

As organizações podem usar vários frameworks e diretrizes para desenvolver suas práticas de governança. Alguns dos frameworks mais amplamente usados incluem o Framework de Gerenciamento de Risco de IA do NIST, os Princípios da OCDE sobre Inteligência Artificial e as Diretrizes de Ética da Comissão Europeia para IA Confiável. Esses frameworks fornecem orientações para uma variedade de tópicos, incluindo transparência, responsabilidade, equidade, privacidade, segurança e proteção.

Os níveis de governança podem variar de acordo com o tamanho da organização, a complexidade dos sistemas de IA em uso e o ambiente regulatório no qual a organização opera.

Uma visão geral dessas abordagens:

O conceito de governança de IA se torna cada vez mais vital à medida que a automação, impulsionada pela IA, se torna predominante em setores que vão desde saúde e finanças até transporte e serviços públicos. Os recursos de automação da IA podem melhorar significativamente a eficiência, a tomada de decisões e a inovação, mas também introduzem desafios relacionados à responsabilidade, transparência e considerações éticas.

A governança da IA envolve estabelecer estruturas de controle robustas contendo políticas, diretrizes e frameworks para lidar com esses desafios. Isso envolve a criação de mecanismos para monitorar e avaliar continuamente os sistemas de IA, garantindo que estejam em conformidade com as normas éticas e as regulamentações legais estabelecidas.

Estruturas eficazes de governança em IA são multidisciplinares e envolvem stakeholders de várias áreas, como tecnologia, direito, ética e negócios. À medida que os sistemas de IA se tornam mais sofisticados e integrados aos aspectos críticos da sociedade, o papel da governança de IA em orientar e moldar a trajetória do desenvolvimento da IA e seu impacto social se torna cada vez mais crucial.

As melhores práticas de governança de IA envolvem uma abordagem além da simples conformidade, abrangendo um sistema mais robusto para monitoramento e gerenciamento de aplicações de IA. Para empresas de nível empresarial, a solução de governança de IA deve possibilitar uma supervisão ampla e controle sobre os sistemas de IA. Este é um exemplo de roteiro a ser considerado:

1. Dashboard visual: use um dashboard que forneça atualizações em tempo real sobre a integridade e o status dos sistemas de IA, oferecendo uma visão geral clara para avaliações rápidas.
    

2. Métricas de pontuação de integridade: implemente uma pontuação de integridade geral para modelos de IA usando métricas intuitivas e fáceis de entender para simplificar o monitoramento.
    

3. Monitoramento automatizado: empregue sistemas de detecção automática de viés, desvio, desempenho e anomalias, para ajudar a garantir que os modelos funcionem de forma correta e ética.
    

4. Alertas de desempenho: configure alertas para quando um modelo se desviar de seus parâmetros de desempenho predefinidos, permitindo intervenções oportunas.
    

5. Métricas personalizadas: defina métricas personalizadas que se alinhem aos indicadores-chave de desempenho (KPIs) e aos limites da organização, para ajudar a garantir que os resultados da IA contribuam para os objetivos de negócios.
    

6. Trilhas de auditoria: mantenha registros e trilhas de auditoria facilmente acessíveis para fins de responsabilização e para facilitar avaliações das decisões e comportamentos dos sistemas de IA.
    

7. Compatibilidade com ferramentas de código aberto: escolha ferramentas de código aberto compatíveis com várias plataformas de desenvolvimento de aprendizado de máquina para se beneficiar da flexibilidade e do suporte da comunidade.
    

8. Integração sem dificuldades: ajuda a garantir que a plataforma de governança de IA se integre perfeitamente à infraestrutura existente, incluindo bancos de dados e ecossistemas de software, para evitar silos e permitir fluxos de trabalho eficientes.
    

Ao seguir essas práticas, as organizações podem estabelecer um framework robusto de governança de IA que apoie o desenvolvimento, a implementação e o gerenciamento responsáveis da IA, ajudando a garantir que os sistemas de IA estejam em conformidade e alinhados com as normas éticas e as metas organizacionais.

As práticas de governança de IA e as regulamentações de IA foram adotados por alguns países para evitar vieses e discriminação. É importante lembrar que a regulamentação está sempre fluindo, e as organizações que gerenciam sistemas complexos de IA precisam ficar atentas à evolução dos frameworks jurídicos regionais.

A Lei de Inteligência Artificial da União Europeia, também conhecida como Lei de IA da UE ou Lei de IA, é uma lei que rege o desenvolvimento ou o uso da inteligência artificial (IA) na União Europeia (UE). A lei adota uma abordagem de regulamentação baseada em riscos, aplicando regras diferentes à IA de acordo com o risco que representa.

Considerada o primeiro framework regulatório abrangente do mundo para IA, a Lei de IA da UE proíbe completamente alguns usos de IA e implementa requisitos rigorosos de governança, gestão de riscos e transparência para outros.

A lei também cria regras para modelos de inteligência artificial de uso geral, como o modelo de base de código aberto IBM Granite e o Llama 3 da Meta. As penalidades podem variar de EUR 7,5 milhões ou 1,5% do faturamento anual mundial a EUR 35 milhões ou 7% do faturamento anual mundial, dependendo do tipo de não conformidade.

A SR-11-7 é a norma regulatória de governança de modelos dos EUA para uma governança de modelos forte e eficaz no setor bancário^.1 A regulamentação exige que funcionários de bancos apliquem iniciativas de gerenciamento de risco de modelos em escala empresarial e mantenham um inventário de modelos implementados para uso, em desenvolvimento para implementação ou recém-removidos.

Os líderes das instituições também devem demonstrar que seus modelos estão atingindo o objetivo de negócios para o qual foram projetados para resolver, e que estão atualizados e não se desviam. O desenvolvimento e a validação dos modelos devem permitir que qualquer pessoa não familiarizada com um modelo entenda as operações, limitações e premissas-chave do modelo.

A Directive on Automated Decision-Making do Canadá descreve como o governo do país usa a IA para orientar decisões em vários departamentos.² A diretiva usa um sistema de pontuação para avaliar a intervenção humana, a avaliação por pares, o monitoramento e o planejamento de contingência necessários para uma ferramenta de IA criada para atender aos cidadãos.

As organizações que criam soluções de IA com uma alta pontuação devem realizar duas avaliações por pares independentes, divulgar publicamente em linguagem simples, desenvolver uma intervenção humana à prova de falhas e oferecer cursos de treinamento recorrentes para o sistema. A Directive on Automated Decision-Making do Canadá é um guia para o próprio desenvolvimento da IA no país e, portanto, a regulamentação não afeta diretamente as empresas da mesma forma que a SR-11-7 nos EUA.

Em abril de 2021, a Comissão Europeia apresentou seu pacote de IA, incluindo declarações sobre o fomento de uma abordagem europeia para excelência e confiança e uma proposta para um framework legal sobre IA.³

As declarações afirmam que, enquanto a maioria dos sistemas de IA se encaixa na categoria de "risco mínimo", os sistemas de IA identificados como "risco alto" deverão se submeter a requisitos mais rigorosos, e os sistemas avaliados como "risco inaceitável" serão proibidos. As organizações devem prestar muita atenção a essas regras ou arriscar sofrer multas.

Em 2023, a China emitiu suas Medidas Provisórias para a Administração de Serviços de Inteligência Artificial Generativa. De acordo com a lei, o fornecimento e o uso de serviços de IA generativa devem "respeitar os direitos e interesses legítimos de terceiros" e são obrigados a "não colocar em risco a integridade física e mental de outras pessoas e não infringir os direitos de retrato, direitos de reputação, direitos de honra, direitos de privacidade e direitos de informações pessoais de terceiros".

Outros países na região da Ásia-Pacífico divulgaram vários princípios e diretrizes para governar a IA. Em 2019, o Governo de Singapura lançou um framework com diretrizes para lidar com questões de ética de IA no setor privado e, mais recentemente, em maio de 2024, lançou um framework de governança para a IA generativa. Índia, Japão, Coreia do Sul e Tailândia também estão explorando diretrizes e legislação para governança de IA.³