O viés algorítmico ocorre quando erros sistemáticos nos algoritmos de aprendizado de máquina produzem resultados injustos ou discriminatórios. Ele frequentemente reflete ou reforça desigualdades socioeconômicas, raciais e de gênero já existentes.
Os sistemas de inteligência artificial (IA) usam algoritmos para descobrir padrões e insights nos dados ou prever valores de saída com base em um conjunto de variáveis de input. Algoritmos tendenciosos podem impactar essas análises e saídas de forma a gerar decisões ou ações prejudiciais, promover ou perpetuar a discriminação e a desigualdade e minar a confiança na IA e nas instituições que a utilizam. Esses impactos podem gerar riscos legais e financeiros para as empresas. Por exemplo, de acordo com a Lei de IA da UE, o não cumprimento das práticas proibidas de IA pode resultar em multas de até 35.000.000 EUR ou 7% do faturamento anual global, o que for maior.
O viés algorítmico é especialmente preocupante quando presente em sistemas de IA que apoiam decisões que afetam significativamente a vida das pessoas, como nas áreas de saúde, aplicação da lei e recursos humanos. O viés pode entrar nos algoritmos de diversas formas, como por meio de dados de treinamento distorcidos ou limitados, decisões subjetivas de programação ou interpretações tendenciosas dos resultados.
Mitigar o viés algorítmico começa com a aplicação de princípios de governança de IA, incluindo transparência e explicabilidade, ao longo de todo o ciclo de vida da IA.
Receba insights selecionados sobre as notícias mais importantes (e intrigantes) sobre IA. Inscreva-se no nosso boletim informativo semanal Think. Consulte a Declaração de privacidade da IBM.
O viés algorítmico não é causado pelo algoritmo em si, mas pela forma como a equipe de ciência de dados coleta e codifica os dados de treinamento. As causas específicos incluem:
Dados defeituosos são caracterizados como não representativos, incompletos, historicamente tendenciosos ou de outra forma inadequados. Eles levam a algoritmos que produzem resultados injustos e amplificam os vieses presentes nos dados. Sistemas de IA que utilizam esses resultados enviesados como input para a tomada de decisões criam um ciclo de retroalimentação que pode reforçar o viés ao longo do tempo. Esse ciclo, no qual o algoritmo continua aprendendo e perpetuando os mesmos padrões enviesados, gera resultados cada vez mais distorcidos.
O viés também pode surgir durante a fase de treinamento se os dados forem categorizados ou avaliados incorretamente. Às vezes, os algoritmos podem “aprender” com a correlação de dados em vez de causalidade, pois não possuem as habilidades para entender a diferença. Quando isso acontece, a saída do algoritmo pode ser tendenciosa, pois o modelo não considerou outros fatores nos dados que podem ser mais importantes.
Um exemplo comumente citado de viés de correlação é um modelo hipotético que determina uma relação causal entre o aumento dos ataques de tubarão e o aumento das vendas de sorvete. Na realidade, ambas as situações tendem a ocorrer durante o verão e têm apenas uma relação de correlação.
O design de algoritmos também pode introduzir viés. Erros de programação, como o fato de um programador de IA ponderar injustamente os fatores no processo de tomada de decisão, podem ser transferidos para o sistema sem que se saiba. A ponderação costuma ser uma técnica para evitar distorções, pois envolve ajustes nos dados para que eles reflitam melhor a população real. No entanto, isso pode exigir suposições dos projetistas, o que pode levar a imprecisões e introduzir preconceitos. Os desenvolvedores também podem incorporar o algoritmo com regras subjetivas baseadas em seus próprios preconceitos conscientes ou inconscientes.
Os sistemas de IA às vezes usam proxies como substitutos para atributos protegidos, como raça ou gênero. No entanto, os proxies podem ser inadvertidamente tendenciosos, pois podem ter uma correlação falsa ou acidental com os atributos sensíveis que deveriam substituir. Por exemplo, se um algoritmo usar códigos postais como um proxy para status econômico, isso pode prejudicar injustamente certos grupos onde os códigos postais estão associados a dados demográficos raciais específicos.
Vieses na avaliação ocorrem quando os resultados do algoritmo são interpretados com base nas preconcepções dos indivíduos envolvidos, em vez de nas descobertas objetivas. Mesmo que o algoritmo seja neutro e orientado por dados, a forma como um indivíduo ou empresa aplica a saída do algoritmo pode levar a resultados injustos, dependendo de como eles entendem os resultados.
Quando o viés algorítmico não é abordado, ele pode perpetuar a discriminação e a desigualdade, criar danos legais e à reputação e corroer a confiança.
Decisões algorítmicas tendenciosas reforçam as disparidades sociais existentes enfrentadas por grupos marginalizados e esses vieses humanos levam a resultados injustos e potencialmente prejudiciais dos sistemas de IA. Embora muitas das aplicações de IA mais comuns possam parecer de baixo risco (como mecanismos de pesquisa, chatbots e sites de mídia social), outras aplicações de IA podem influenciar decisões que alteram a vida. O uso de ferramentas tendenciosas de IA em áreas como justiça criminal, saúde e contratação pode gerar resultados devastadores.
Por exemplo, a marginalização de pessoas afro-americanas no passado é refletida em dados históricos de prisão de Oakland, Califórnia, nos Estados Unidos. Se esses dados forem usados para treinar um algoritmo de policiamento preditivo (PPA) atual, as decisões tomadas pelo PPA provavelmente refletirão e reforçarão esses vieses raciais passados.
As organizações que usam sistemas de IA tendenciosos podem enfrentar consequências legais e danos à reputação, pois as recomendações tendenciosas podem ter o que é conhecido como um impacto díspar. Este é um termo legal que se refere a situações em que políticas e práticas aparentemente neutras podem afetar desproporcionalmente indivíduos de classes protegidas, como aqueles suscetíveis à discriminação com base em raça, religião, gênero e outras características.
Grupos protegidos afetados adversamente por decisões tendenciosas de IA podem entrar com processos judiciais, o que pode levar a passivos financeiros significativos, danos à reputação no longo prazo e críticas por parte das partes interessadas. As organizações também podem enfrentar penalidades financeiras se forem descobertas violações de qualquer lei antidiscriminação aplicável.
Os resultados tendenciosos das ferramentas de IA corroem a confiança na IA de várias maneiras. Se descobrirmos que uma organização tem sistemas de IA tendenciosos, ela pode perder a confiança dos stakeholders dentro do negócio, que não confiam mais nos processos de tomada de decisão algorítmica. Esses stakeholders também podem não considerar mais o valor da otimização da IA como superior ao seu risco e perder a confiança na tecnologia como um todo.
O viés algorítmico também pode perder a confiança dos clientes. Basta um caso de discriminação para arruinar a reputação da marca, ainda mais na era das notícias que se espalham rapidamente. É especialmente importante manter a confiança na IA com grupos marginalizados, que já sofrem viés e discriminação no mundo físico.
O viés algorítmico pode ocorrer em qualquer cenário ou setor que utilize um sistema de IA para tomar decisões. Aqui estão alguns possíveis exemplos reais de viés algorítmico:
Nos Estados Unidos, os tribunais utilizam a ferramenta Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) para avaliar o risco de reincidência de réus. Um estudo realizado pela ProPublica revelou que o algoritmo dessa ferramenta pode ter classificado de forma diferente réus brancos e negros. Por exemplo, na avaliação de risco, réus negros tinham o dobro de chances de serem erroneamente classificados como de alto risco de reincidência violenta em comparação com réus brancos. A empresa que criou a ferramenta contesta essa análise; no entanto, ela não divulga os métodos usados para chegar às pontuações de risco.1
Pesquisadores desenvolveram seu próprio algoritmo de policiamento preditivo, treinado com dados de relatórios de vítimas em Bogotá, Colômbia. Ao compararem as previsões do modelo com os conjuntos de dados reais sobre crimes, encontraram erros significativos. Por exemplo, ele previu 20% mais locais de alta criminalidade do que na realidade em distritos com alto volume de relatos. Mas isso refletia um viés social: pessoas negras têm maior probabilidade de serem denunciadas por um crime do que pessoas brancas.2
No setor de saúde, a sub-representação de grupos minoritários nos dados pode distorcer os algoritmos de IA preditiva. Por exemplo, sistemas de diagnóstico auxiliado por computador (CAD) demonstraram menor precisão para pacientes negros do que para pacientes brancos.
A Amazon abandonou uma ferramenta de recrutamento baseada em IA após descobrir que ela discriminava sistematicamente candidatas mulheres. Os desenvolvedores treinaram o algoritmo de contratação usando currículos de funcionários contratados no passado, que eram predominantemente homens. Como resultado, o algoritmo favoreceu injustamente palavras-chave e características mais comuns nos currículos masculinos.3
O viés dentro do setor de serviços financeiros pode ter consequências graves para o sustento das pessoas, pois dados históricos podem conter viés demográfico que afeta a avaliação de crédito, aprovação de empréstimos e mais. Por exemplo, um estudo da Universidade da Califórnia, Berkeley revelou que um sistema de IA para concessão de hipotecas cobrava taxas mais altas de mutuários pertencentes a minorias em comparação com mutuários brancos para os mesmos empréstimos.4
Pesquisadores acadêmicos identificaram viés de gênero no gerador de imagens por IA Midjourney. Durante a análise de mais de 100 imagens geradas, eles também encontraram exemplos de viés racial, de classe e de idade nos resultados. Por exemplo, ao solicitarem imagens de pessoas em profissões especializadas, o gerador exibia tanto jovens quanto idosos, mas os idosos eram sempre homens, reforçando o viés de gênero em relação às mulheres no ambiente de trabalho.5
Pesquisadores do MIT descobriram que alguns sistemas comerciais de reconhecimento facial de uso geral (usados, por exemplo, para identificar rostos em fotos) não conseguiam reconhecer indivíduos de pele mais escura. O desempenho era ainda pior para mulheres negras. Dados de treinamento que deturparam a demografia real distorceram os resultados.6
Após a implementação de uma lei em Chicago obrigando empresas de transporte por aplicativo a divulgarem suas tarifas, pesquisadores descobriram que os algoritmos de precificação do Uber e Lyft cobravam valores mais altos para destinos em bairros com alta população não branca.7
A mitigação do viés dos sistemas de IA começa com a governança de IA, que se refere às proteções que garantem que as ferramentas e os sistemas de IA sejam e permaneçam seguros e éticos. Ela estabelece os frameworks, regras e normas que direcionam a pesquisa, o desenvolvimento e a aplicação da IA para ajudar a garantir a segurança, a justiça e o respeito pelos direitos humanos.
As organizações podem considerar os seguintes princípios de governança de IA para evitar possíveis vieses de IA ao longo do ciclo de vida do sistema:
O aprendizado de máquina é tão bom quanto os dados que o treinam. Para que a IA reflita melhor as diversas comunidades que atende, uma variedade muito maior de dados de seres humanos deve ser representada em modelos. Os dados alimentados em modelos de aprendizado de máquina e sistemas de deep learning devem ser abrangentes e equilibrados, representativos de todos os grupos de pessoas e refletir a demografia real da sociedade.
Nenhum sistema de computador é totalmente "treinado" ou "concluído". O monitoramento e os testes contínuos (por meio de iniciativas como avaliações de impacto, auditoria algorítmica e testes de causalidade) podem ajudar a detectar e corrigir possíveis vieses antes que eles criem problemas. Processos como o sistema “human-in-the-loop” exigem que as recomendações sejam revisadas por humanos antes que uma decisão seja tomada, fornecendo assim uma camada adicional de garantia de qualidade.
Os sistemas de IA podem ser “caixas pretas”, o que dificulta a compreensão de seus resultados. Sistemas de IA transparentes documentam e explicam claramente a metodologia do algoritmo subjacente e quem o treinou. Quanto mais as pessoas entenderem como os sistemas de IA são treinados e ajustados e como eles tomam decisões, mais as partes interessadas e a sociedade em geral poderão confiar na precisão e na imparcialidade da IA.
A IA inclusiva começa com uma equipe diversificada e interdisciplinar de programadores de IA, desenvolvedores, cientistas de dados, engenheiros de ML e outros, com diversidade racial, econômica, por nível educacional, por gênero, por descrição de cargo e outras métricas demográficas. A diversidade dentro do design e desenvolvimento trará diferentes perspectivas para ajudar a identificar e mitigar vieses que poderiam passar despercebidos.
1. “How We Analyzed the COMPAS Recidivism Algorithm,” ProPublica, 23 de maio de 2016.
2. “Predictive policing is still racist—whatever data it uses,” MIT Technology Review, 5 de fevereiro de 2021.
3. “Why Amazon’s Automated Hiring Tool Discriminated Against Women,” ACLU, 12 de outubro de 2018.
4. “AI is Making Housing Discrimination Easier Than Ever Before,” The Kreisman Initiative for Housing Law and Policy, University of Chicago, 12 de fevereiro de 2024.
5. “Ageism, sexism, classism and more: 7 examples of bias in AI-generated images,” The Conversation, 9 de julho de 2023.
6. “Algorithmic bias detection and mitigation: Best practices and policies to reduce consumer harms,” Brookings, 22 de maio de 2019.
7. “Algorithmic Bias Explained,” The Greenlining Institute, fevereiro de 2021.