O que é viés da IA?

Quando o viés da IA não é abordado, ele pode afetar o sucesso de uma organização e prejudicar a capacidade das pessoas de participar da economia e da sociedade. O viés reduz a precisão da IA e, portanto, seu potencial.

As empresas têm menos probabilidade de se beneficiar de sistemas que produzem resultados distorcidos. E escândalos resultantes do viés da IA podem fomentar a desconfiança entre pessoas de cor, mulheres, pessoas com deficiência, comunidade LGBTQ ou outros grupos marginalizados.

Os modelos nos quais os esforços de IA se baseiam absorvem os vieses da sociedade, que podem ser silenciosamente incorporados às montanhas de dados nos quais são treinados. A coleta de dados com viés que reflete a desigualdade social pode resultar em danos a grupos historicamente marginalizados em casos de uso, incluindo contratação, policiamento, pontuação de crédito e muitos outros. De acordo com o The Wall Street Journal, “À medida que o uso da inteligência artificial se torna mais difundido, as empresas ainda estão lutando para lidar com o viés generalizado”.¹

Quando a IA comete um erro devido a vieses, como grupos de pessoas que tiveram oportunidades negadas, identificadas erroneamente em fotos ou punidas injustamente, a organização infratora sofre danos à sua marca e reputação. Ao mesmo tempo, as pessoas desses grupos e a sociedade como um todo podem sofrer danos sem nem perceber. Aqui estão alguns exemplos de alta visibilidade de disparidades e vieses na IA e os danos que eles podem causar.

No setor de saúde, a sub-representação de dados de mulheres ou grupos minoritários pode distorcer os algoritmos preditivos de IA^.2 Por exemplo, descobriu-se que os sistemas de diagnóstico auxiliado por computador (CAD) retornam resultados de precisão mais baixos para pacientes afro-americanos do que para pacientes brancos.

Embora as ferramentas de IA possam simplificar a automação da verificação de currículos durante uma pesquisa para ajudar a identificar os candidatos ideais, as informações solicitadas e as respostas filtradas podem resultar em resultados desproporcionais entre os grupos. Por exemplo, se um anúncio de emprego usa a palavra “ninja”, ele pode atrair mais homens do que mulheres, mesmo que isso não seja de forma alguma um requisito de emprego.³

Como teste de geração de imagens, a Bloomberg solicitou a criação de mais de 5.000 imagens de IA e descobriu que “o mundo de acordo com a Stable Diffusion é governado por CEOs homens brancos. As mulheres raramente são médicas, advogadas ou juízas. Homens de pele escura cometem crimes, enquanto mulheres de pele escura fritam hambúrgueres.⁴ A Midjourney conduziu um estudo semelhante sobre a geração de arte de IA, solicitando imagens de pessoas em profissões especializadas. O resultado mostrou pessoas mais jovens e mais velhas, mas as pessoas mais velhas foram sempre homens, reforçando o viés de gênero no papel das mulheres no ambiente de trabalho.⁵ 

As ferramentas de policiamento preditivo impulsionado por IA usadas por algumas organizações do sistema de justiça criminal devem identificar áreas onde o crime provavelmente ocorrerá. No entanto, muitas vezes essas ferramentas se baseiam em dados históricos de prisões, o que pode reforçar padrões existentes de perfis étnicos e o direcionamento desproporcional de comunidades minoritárias.⁶

Resultados distorcidos podem prejudicar as organizações e a sociedade em geral. Aqui estão alguns dos tipos mais comuns de vieses de IA⁷.

• Viés do algoritmo: pode ocorrer desinformação se o problema ou a pergunta não estiver totalmente correto ou específico, ou se o feedback para o algoritmo de aprendizado de máquina não ajudar a orientar a busca por resultados.
  
  
• Viés cognitivo: a tecnologia de IA exige entrada humana, e os seres humanos são falíveis. O viés pessoal pode se infiltrar sem que os profissionais ao menos percebam. Isso pode afetar o conjunto de dados ou o comportamento do modelo.
  
  
• Viés de confirmação: intimamente relacionado ao viés cognitivo, ocorre quando a IA se baseia excessivamente em crenças ou tendências pré-existentes nos dados, dobrando os vieses existentes e tornando-a incapaz de identificar novos padrões ou tendências.

• Viés de exclusão: esse tipo de viés ocorre quando dados importantes são deixados de fora dos dados que estão sendo usados, geralmente porque o desenvolvedor não conseguiu ver fatores novos e importantes.
  
  
• Viés de medição: o viés de medição é causado por dados incompletos. Isso é geralmente um descuido ou falta de preparação que resulta em resultados no conjunto de dados que não incluem toda a população que deveria ser considerada. Por exemplo, se uma faculdade quisesse prever os fatores para uma graduação bem-sucedida, mas incluísse apenas graduados, as respostas perderiam completamente os fatores que fazem com que alguns desistam.

• Viés de homogeneidade de grupo externo: é um caso de não saber o que não se sabe. Há uma tendência das pessoas de terem uma melhor compreensão dos membros do grupo interno (o grupo ao qual a pessoa pertence) e de pensarem que eles são mais diversificados do que os membros do grupo externo. O resultado pode ser que os desenvolvedores criem algoritmos menos capazes de distinguir entre indivíduos que não fazem parte do grupo predominante nos dados de treinamento, levando a viés racial, classificação incorreta e respostas incorretas.

• Viés de preconceito: ocorre quando estereótipos e suposições sociais errôneas entram no conjunto de dados do algoritmo, o que inevitavelmente leva a resultados com viés. Por exemplo, a IA poderia retornar resultados mostrando que somente homens são médicos e todas as enfermeiras são mulheres.
  
  
• Viés de recall: ele se desenvolve durante a rotulagem de dados, onde os rótulos são aplicados de forma inconsistente por observações subjetivas.
  
  
• Viés de amostra/seleção: é um problema quando os dados usados para treinar o modelo de aprendizado de máquina não são grandes o suficiente, não são representativos o suficiente ou estão incompletos demais para treinar suficientemente o sistema. Se todos os professores consultados para treinar um modelo de IA tiverem as mesmas qualificações acadêmicas, qualquer futuro professor considerado precisaria ter qualificações acadêmicas idênticas.
  
  
• Viés de estereótipo: acontece quando um sistema de IA (geralmente inadvertidamente) reforça estereótipos nocivos. Por exemplo, um sistema de tradução de idiomas pode associar alguns idiomas a certos estereótipos de gênero ou etnia. A McKinsey dá uma palavra de advertência sobre a tentativa de remover preconceitos dos conjuntos de dados: "Uma abordagem ingênua é remover classes protegidas (como sexo ou raça) dos conjuntos de dados e excluir os rótulos que tornam o algoritmo com viés. No entanto, essa abordagem pode não funcionar porque os rótulos removidos podem afetar a compreensão do modelo, e a precisão dos resultados pode piorar.⁸

O primeiro passo para evitar a armadilha do viés é simplesmente dar um passo atrás no início e pensar um pouco em um esforço de IA. Como acontece com quase todos os desafios de negócios, é muito mais fácil resolver os problemas de antemão, em vez de esperar pelo acidente e depois resolver os resultados danificados. Mas muitas organizações estão com pressa: "preocupadas com centavos mas ignorando milhões", e isso lhes custa caro.

Identificar e lidar com vieses na IA requer governança de IA, ou a capacidade de dirigir, gerenciar e monitorar as atividades de IA de uma organização. Na prática, a governança de IA cria um conjunto de políticas, práticas e frameworks para guiar o desenvolvimento e o uso responsáveis das tecnologias de IA. Quando bem feita, a governança de IA ajuda a garantir que haja um equilíbrio de benefícios concedidos às empresas, clientes, funcionários e à sociedade como um todo.

A governança de IA frequentemente inclui métodos que visam avaliar a imparcialidade, equidade e inclusão. Abordagens como imparcialidade contrafactual identificam vieses na tomada de decisões de um modelo e garantem resultados equitativos, mesmo quando atributos delicados, como gênero, raça ou orientação sexual, são incluídos.

Devido à complexidade da IA, um algoritmo pode ser um sistema de caixa-preta com poucos insights dos dados usados para criá-lo. Práticas e tecnologias de transparência ajudam a garantir que dados sem viés sejam usados para construir o sistema e que os resultados sejam imparciais. Empresas que trabalham para proteger as informações dos clientes constroem confiança na marca e são mais propensas a criar sistemas de IA confiável.

Para fornecer outra camada de garantia de qualidade, institua um sistema “human-in-the-loop” para oferecer opções ou fazer recomendações que possam ser aprovadas por decisões humanas.

Eis aqui uma lista de verificação de seis etapas do processo que podem manter os programas de IA livres de vieses.

1. Selecione o modelo de aprendizado correto:

• Ao usar um modelo supervisionado, os stakeholders selecionam os dados de treinamento. É crítico que a equipe de stakeholders seja diversificada (não apenas cientistas de dados) e que tenha treinamento para ajudar a evitar vieses inconscientes.
  
• Modelos não supervisionados usam a IA sozinha para identificar vieses. Ferramentas de prevenção de vieses precisam ser incorporadas à rede neural para que ela aprenda a reconhecer o que tem viés.

2. Treine com os dados certos: o aprendizado de máquina treinado com os dados errados produzirá resultados errados. Quaisquer dados inseridos na IA devem ser completos e equilibrados, para replicar a demografia real do grupo que está sendo considerado.

3. Escolha uma equipe equilibrada: quanto mais variada for a equipe de IA (racialmente, economicamente, por nível educacional, por gênero e por descrição de cargo), maior a probabilidade de reconhecer vieses. Os talentos e pontos de vista de uma equipe de IA bem-sucedida devem incluir inovadores de negócios de IA, criadores de IA, implementadores de IA e uma representação dos consumidores desse esforço específico de IA.⁹

4. Realize o processamento de dados com atenção: as empresas precisam estar cientes dos vieses em cada etapa do processamento de dados. O risco não está apenas na seleção de dados: seja durante o pré-processamento, o processamento ou o pós-processamento, vieses podem surgir a qualquer momento e ser inseridos na IA.

5. Monitore continuamente: nenhum modelo é completo ou permanente. O monitoramento e os testes contínuos com dados do mundo real de toda a organização podem ajudar a detectar e corrigir vieses antes que causem danos. Para evitar ainda mais os vieses, as organizações devem considerar avaliações feitas por uma equipe independente dentro da organização ou por um terceiro confiável.

6. Evite problemas de infraestrutura: além das influências humanas e de dados, às vezes a própria infraestrutura pode causar vieses. Por exemplo, usando de dados coletados de sensores mecânicos, o próprio equipamento pode injetar vieses se os sensores estiverem com defeito. Esse tipo de viés pode ser difícil de detectar e requer investimento nas infraestruturas digitais e tecnológicas mais recentes.