Vieses nos dados

Dados falhos são caracterizados como não representativos, com falta de informação, dados historicamente tendenciosos ou dados "ruins".¹ Isso leva a algoritmos que produzem resultados injustos e amplificam quaisquer vieses nos dados. Sistemas de IA que usam resultados tendenciosos como dados de entrada para a tomada de decisões criam um ciclo de feedback que também pode reforçar vieses ao longo do tempo. Esse ciclo, em que o algoritmo aprende e perpetua continuamente os mesmos padrões tendenciosos, leva a resultados cada vez mais distorcidos. 

O viés também pode surgir durante a fase de treinamento se os dados forem categorizados ou avaliados incorretamente. Às vezes, os algoritmos podem “aprender” com a correlação de dados em vez de causalidade, pois não possuem as habilidades para entender a diferença. Quando isso acontece, a saída do algoritmo pode ser tendenciosa, pois o modelo não considerou outros fatores nos dados que podem ser mais importantes.

Um exemplo comumente citado de viés de correlação é um modelo hipotético que determina uma relação causal entre o aumento dos ataques de tubarão e o aumento das vendas de sorvete. Na realidade, ambas as situações tendem a ocorrer durante o verão e têm apenas uma relação de correlação.

Viés no design algorítmico

O design de algoritmos também pode introduzir viés. Erros de programação, como o fato de um programador de IA ponderar injustamente os fatores no processo de tomada de decisão, podem ser transferidos para o sistema sem que se saiba. A ponderação costuma ser uma técnica para evitar distorções, pois envolve ajustes nos dados para que eles reflitam melhor a população real. No entanto, isso pode exigir suposições dos projetistas, o que pode levar a imprecisões e introduzir preconceitos. Os desenvolvedores também podem incorporar o algoritmo com regras subjetivas baseadas em seus próprios preconceitos conscientes ou inconscientes.

Vieses em dados proxy

Os sistemas de IA às vezes usam proxies como substitutos para atributos protegidos, como raça ou gênero. No entanto, os proxies podem ser inadvertidamente tendenciosos, pois podem ter uma correlação falsa ou acidental com os atributos sensíveis que deveriam substituir. Por exemplo, se um algoritmo usar códigos postais como um proxy para status econômico, isso pode prejudicar injustamente certos grupos onde os códigos postais estão associados a dados demográficos raciais específicos.

Vieses na avaliação

Vieses na avaliação ocorrem quando os resultados do algoritmo são interpretados com base nas preconcepções dos indivíduos envolvidos, em vez de nas descobertas objetivas. Mesmo que o algoritmo seja neutro e orientado por dados, a forma como um indivíduo ou empresa aplica a saída do algoritmo pode levar a resultados injustos, dependendo de como eles entendem os resultados.

Discriminação e desigualdade

Decisões algorítmicas tendenciosas reforçam as disparidades sociais existentes enfrentadas por grupos marginalizados e esses vieses humanos levam a resultados injustos e potencialmente prejudiciais dos sistemas de IA. Embora muitas das aplicações de IA mais comuns possam parecer de baixo risco (como mecanismos de pesquisa, chatbots e sites de mídia social), outras aplicações de IA podem influenciar decisões que alteram a vida. O uso de ferramentas tendenciosas de IA em áreas como justiça criminal, saúde e contratação pode gerar resultados devastadores.

Por exemplo, a marginalização de pessoas afro-americanas no passado é refletida em dados históricos de prisão de Oakland, Califórnia, nos Estados Unidos. Se esses dados forem usados para treinar um algoritmo de policiamento preditivo (PPA) atual, as decisões tomadas pelo PPA provavelmente refletirão e reforçarão esses vieses raciais passados.

Danos jurídicos e de reputação

As organizações que usam sistemas de IA tendenciosos podem enfrentar consequências legais e danos à reputação, pois as recomendações tendenciosas podem ter o que é conhecido como um impacto díspar. Este é um termo legal que se refere a situações em que políticas e práticas aparentemente neutras podem afetar desproporcionalmente indivíduos de classes protegidas, como aqueles suscetíveis à discriminação com base em raça, religião, gênero e outras características.

Grupos protegidos afetados adversamente por decisões tendenciosas de IA podem entrar com processos judiciais, o que pode levar a passivos financeiros significativos, danos à reputação no longo prazo e críticas por parte das partes interessadas. As organizações também podem enfrentar penalidades financeiras se forem descobertas violações de qualquer lei antidiscriminação aplicável.

Erosão de confiança

Os resultados tendenciosos das ferramentas de IA corroem a confiança na IA de várias maneiras. Se descobrirmos que uma organização tem sistemas de IA tendenciosos, ela pode perder a confiança dos stakeholders dentro do negócio, que não confiam mais nos processos de tomada de decisão algorítmica. Esses stakeholders também podem não considerar mais o valor da otimização da IA como superior ao seu risco e perder a confiança na tecnologia como um todo.

O viés algorítmico também pode perder a confiança dos clientes. Basta um caso de discriminação para arruinar a reputação da marca, ainda mais na era das notícias que se espalham rapidamente. A confiança na IA é especialmente importante para manter grupos marginalizados, como pessoas de cor, que já sofrem preconceito e discriminação no mundo físico.

Viés na justiça criminal

Os tribunais dos Estados Unidos usam a ferramenta Correctional Offender Management Profiling for Alternativa Sanctions (COMPAS) para avaliar o risco de reincidência dos réus. Um estudo da ProPublica revelou que o algoritmo das ferramentas pode ter classificado réus brancos e negros de forma diferente. Por exemplo, na avaliação de risco, os réus negros eram duas vezes mais prováveis do que os réus brancos de serem classificados incorretamente como tendo um risco maior de reincidência violenta. A empresa que criou a ferramenta contesta essa análise; no entanto, ela não divulga os métodos usados para chegar às pontuações de risco.²

Viés no policiamento preditivo

Os pesquisadores criaram seu próprio algoritmo de policiamento preditivo treinado com dados de denúncias de vítimas de Bogotá, Colômbia. Quando eles compararam as previsões do modelo com os conjuntos de dados reais sobre crimes, encontraram erros graves. Por exemplo, ele previu 20% mais locais com alto índice de criminalidade do que a realidade em distritos com um alto volume de denúncias. Mas isso reflete um viés social: os negros têm maior probabilidade de serem denunciados por um crime do que os brancos^.3

Viés na área da saúde

Na área da saúde, a sub-representação de grupos minoritários nos dados pode distorcer algoritmos de IA preditiva. Por exemplo, sistemas de diagnóstico assistido por computador (CAD) encontraram resultados de menor precisão para pacientes negros em comparação com pacientes brancos. 

Viés no recrutamento
 

A Amazon abandonou uma ferramenta de recrutamento de IA após descobrir que ela discriminava sistematicamente candidatas a empregos. Os desenvolvedores treinaram o algoritmo de contratação usando currículos de contratações anteriores, que eram predominantemente homens. Como resultado, o algoritmo favoreceu injustamente palavras-chave e características encontradas em currículos masculinos.⁴

Viés em serviços financeiros

O viés nos serviços financeiros pode ter consequências graves para a subsistência das pessoas, pois os dados históricos podem conter vieses demográficos que afetam a qualidade de crédito, as aprovações de empréstimos e muito mais. Por exemplo, um estudo da Universidade da Califórnia, em Berkeley, mostrou que um sistema de IA para hipotecas cobrou rotineiramente dos mutuários de comunidades sociais taxas mais altas para os mesmos empréstimos em comparação com os mutuários de confiança.⁵

Viés na geração de imagens

Pesquisadores acadêmicos encontraram viés de gênero no gerador de imagens de IA Midjourney. Durante a análise de mais de 100 imagens geradas, eles também encontraram instâncias de viés racial, de classe e idade nos resultados. Por exemplo, quando solicitada a criar imagens de pessoas em profissões especializadas, ela mostrava pessoas mais jovens e mais velhas, mas as pessoas mais velhas eram sempre homens, reforçando o preconceito de gênero em relação às mulheres no ambiente de trabalho.⁶

Viés em sistemas de reconhecimento facial

Uma pesquisa do MIT descobriu que alguns sistemas comerciais de reconhecimento facial de uso geral — usados para combinar rostos em fotos, por exemplo — eram incapazes de reconhecer indivíduos de pele mais escura. O reconhecimento foi ainda pior para as mulheres de pele mais escura. Dados de treinamento que deturparam a demografia real distorceram os resultados.⁷

Viés na precificação

Depois que uma lei de Chicago obrigou as empresas de transporte de passageiros a divulgar suas tarifas, os pesquisadores descobriram que o algoritmo de preços da Uber e da Lyft cobrava mais pelas devoluções em bairros com grandes populações não brancas.⁸

Dados diversos e representativos

O aprendizado de máquina é tão bom quanto os dados que o treinam. Para que a IA reflita melhor as diversas comunidades que atende, uma variedade muito maior de dados de seres humanos deve ser representada em modelos. Os dados alimentados em modelos de aprendizado de máquina e sistemas de deep learning devem ser abrangentes e equilibrados, representativos de todos os grupos de pessoas e refletir a demografia real da sociedade.

Detecção e mitigação de viés

Nenhum sistema de computador é totalmente "treinado" ou "concluído". O monitoramento e os testes contínuos (por meio de iniciativas como avaliações de impacto, auditoria algorítmica e testes de causalidade) podem ajudar a detectar e corrigir possíveis vieses antes que eles criem problemas. Processos como o sistema “human-in-the-loop” exigem que as recomendações sejam revisadas por humanos antes que uma decisão seja tomada, fornecendo assim uma camada adicional de garantia de qualidade.

Transparência e interpretabilidade

Os sistemas de IA podem ser “caixas pretas”, o que dificulta a compreensão de seus resultados. Sistemas de IA transparentes documentam e explicam claramente a metodologia do algoritmo subjacente e quem o treinou. Quanto mais as pessoas entenderem como os sistemas de IA são treinados e ajustados e como eles tomam decisões, mais as partes interessadas e a sociedade em geral poderão confiar na precisão e na imparcialidade da IA.

Design e desenvolvimento inclusivos  
   

A IA inclusiva começa com uma equipe diversificada e interdisciplinar de programadores de IA, desenvolvedores, cientistas de dados, engenheiros de ML e outros, com diversidade racial, econômica, por nível educacional, por gênero, por descrição de cargo e outras métricas demográficas. A diversidade dentro do design e desenvolvimento trará diferentes perspectivas para ajudar a identificar e mitigar vieses que poderiam passar despercebidos.