Quem é responsável por responsabilizar a IA? A resposta pode surpreender você.

Os líderes de Sourcing, Procurement e Vendor Management (SPVM) têm um trabalho substancial a fazer no que diz respeito à inclusão da governança responsável de IA em seus softwares e contratos. Um relatório recente do Gartner adverte que os líderes de SPVM que ignoram a necessidade de incorporar a governança de IA estão expondo sua organização a um risco significativo.

“A maioria dos contratos de software e serviços em nuvem não traz compromissos explícitos que responsabilizem os fornecedores por fornecer uma IA responsável, enquanto outros incluem isenções de responsabilidade que removem qualquer obrigação quanto a sistemas e resultados de IA irresponsáveis”, diz a Gartner.

Quando falo a grandes públicos e faço a pergunta Quem, dentro de uma organização, deve ser responsável pelos resultados responsáveis da IA? As três principais respostas que recebo são bastante preocupantes. 

As três respostas mais comuns que recebo são: "ninguém", "não usamos IA" e "todos". Nenhuma dessas respostas está certa e todas são preocupantes.

A primeira — e mais comum — resposta, de que ninguém é responsável pelos resultados dos modelos de IA, é alarmante. Não há justificativa para isso. Aceitar uma realidade sem qualquer responsabilização em torno da IA não deve — e não pode — ser considerado aceitável.

A segunda resposta, “não usamos IA”, chega a ser risível, considerando que a IA já está embutida em muitos dos contratos de software corporativo que as organizações usam atualmente. Além disso, essa resposta revela que a organização não está rastreando o uso da IA em seu inventário ou, pior ainda, não está comunicando aos funcionários quais são os usos adequados — e inadequados — da IA. Isso representa um problema grave. 

A terceira resposta, “a responsabilidade é de todos”, é pelo menos uma tentativa nobre. De fato, todas as pessoas que interagem com um modelo de IA ao longo de seu ciclo de vida têm certa responsabilidade. No entanto, se todos estão sendo considerados responsáveis pela governança, alguém é realmente considerado responsável pela governança? A governança da IA precisa ir além da ideia de que, se cada um cuidar de sua parte, tudo estará resolvido.

Está claro que há um descompasso entre o que uma organização acredita estar fazendo para lidar com a responsabilidade da IA e a realidade prática. Então, o que é preciso para que uma organização seja verdadeiramente responsável? 

Quem assume a responsabilidade pela governança e ética da IA precisa gerenciar muitos fatores simultaneamente, e o mais importante deles é o alinhamento de valores dentro da organização. Isso significa garantir que todos os colegas reconheçam a importância crítica desse trabalho, tanto para os indivíduos quanto para a empresa como um todo. E isso nem sempre é possível sem comunicações consistentes por parte do CEO ou do Conselho de Administração. Esses líderes de governança da IA precisam garantir que colegas como o CISO estejam presentes nas discussões sobre investimentos em IA. 

No início, podem ser vistos como obstáculos que atrasam o progresso. Mas, quando recebem recursos e poder, esses líderes podem estabelecer plataformas abrangentes de governança de IA que, na prática, aceleram a implementação confiável de modelos. Com conjuntos de dados aprovados previamente e processos validados, os desenvolvedores de soluções baseadas em IA já sabem de antemão quais casos de uso, dados e métodos foram previamente aprovados pela organização.

Além do alinhamento de valores, a pessoa ou equipe responsável pela IA também precisa manter o controle do inventário de modelos de IA da empresa. Afinal, não é possível governar aquilo que não se conhece. Portanto, tudo o que foi adquirido ou desenvolvido internamente e que contenha IA ou aprendizado de máquina (ML) deve ser rastreado, junto com os metadados associados a cada modelo.

Esses metadados são tradicionalmente armazenados em uma ficha técnica ou, como às vezes é chamado, em um cartão de modelos de IA. Essa ficha deve indicar qual é o propósito do modelo, quem é responsável por ele, de onde vieram os dados, o que é auditado, com que frequência essas auditorias ocorrem, quais são seus resultados, e assim por diante.

Também é fundamental saber como auditar esses modelos de IA e soluções, monitorando se a tecnologia está se comportando conforme o esperado. Isso é essencial para poder responsabilizar contratualmente os fornecedores pelos modelos que oferecem.

E então eles precisam rastrear os regulamentos. O cenário regulatório está em constante mudança, especialmente no que se refere à IA. Diversos países, estados e municípios já promulgaram leis específicas sobre o uso e os riscos da IA e, no ano passado, a União Europeia lançou a Lei de IA da UE. Muitas empresas e órgãos governamentais já foram processados com sucesso devido a modelos de IA equivocados.

Existe hoje uma consciência crescente de que certos modelos podem ser “legais, mas terríveis”, ou seja, mesmo estando em conformidade com a lei, podem gerar resultados éticos inaceitáveis. Por isso, é essencial avançar na reflexão sobre a ética da IA. 

Você precisa ser capaz de ensinar as pessoas que estão desenvolvendo ou adquirindo modelos em nome da sua organização a fazer isso de forma alinhada com os princípios éticos da empresa.

Considere o valor humano da “justiça”. Todos esperamos que os modelos de IA sejam justos, mas qual visão de justiça está representada no modelo? Como sociedade, não conseguimos concordar sobre uma única definição de justiça.

Na prática, isso significa que os responsáveis pelos programas de governança e ética da IA também acabam assumindo a liderança de programas de alfabetização em IA. 

Esses programas de alfabetização em IA não se limitam a ensinar como usar IA para ser mais produtivo. Eles começam ao esclarecer qual tipo de relação a organização deseja manter com a IA. Esses programas de alfabetização apresentam os princípios fundamentais que a organização espera ver refletidos em qualquer solução de IA, seja desenvolvida internamente ou adquirida. Eles ensinam como operacionalizar cada um desses princípios ou como aplicá-los de forma concreta em diferentes níveis de risco.

Esses programas de alfabetização em IA precisam ser necessariamente multidisciplinares, porque conquistar a confiança nas tecnologias de IA não é um desafio puramente técnico, e sim sociotécnico. Construir modelos que incorporem valores humanos é uma das tarefas mais difíceis que a humanidade já se propôs a realizar. Isso exige profissionais com formações diversas.

Ser responsável pela IA é uma tarefa de enorme importância, e é por isso que essas pessoas precisam ter autonomia, influência real e um mandato bem financiado para fazer esse trabalho. Isso não pode ser um “bico” ou uma função secundária. É necessário muito esforço para resolver esses problemas da maneira correta. Todas as organizações devem agir para delegar a responsabilidade pela IA de forma consciente e bem estruturada.

De forma simples: os comportamentos humanos que você mede são os que você mais vai observar. Quais comportamentos você está incentivando e medindo em relação à curadoria responsável de modelos de IA? Reflita sobre como incentivar e mensurar os comportamentos certos, e também como integrar práticas de ensino e aprendizagem aos seus processos de governança da IA. Hoje, muitos profissionais não têm qualquer incentivo para preencher corretamente os formulários de inventário de modelos, ou pior, nem sequer conhecem os riscos associados ao modelo que estão defendendo.

Para concluir, lembre-se de quatro pontos essenciais:

1. Quer você queira ou não, a IA já está sendo usada na sua organização. Independentemente de você manter ou não um inventário dos modelos de IA adquiridos, até 2026, 80% dos fornecedores de software terão incorporado IA em suas aplicações empresariais. Seja proativo e estabeleça uma estratégia de IA rigorosa que permita governar e operar a IA com eficiência.
2. Os líderes de governança de IA precisam de um mandato com financiamento, pois a governança de IA exige um volume enorme de trabalho – e essa demanda só cresce. Financie suas equipes e dê a elas o poder necessário para desempenhar essa função.
3. Implemente sua IA de forma ética e intencional quanto aos resultados humanos.Todos esperamos que os modelos de IA que usamos, ou que são usados sobre nós, reflitam nossos valores humanos, que não nos “enganem”, que sejam justos e seguros. Reconheça que isso não é apenas um desafio técnico, mas sociotécnico. Isso exige uma abordagem abrangente e expertise em comportamento humano.
4. Reduzir os riscos da IA exige muito.IA em escala requer a estratégia certa, dados apropriados, arquitetura adequada, segurança robusta e governança eficaz. Também exige alinhamento claro com seus fornecedores. Escolha um parceiro pragmático para acertar nessa jornada e evitar erros.