A crescente utilização da inteligência artificial (IA) pelas empresas tem levantado questões sobre até que ponto os vieses humanos estão sendo incorporados em sistemas de IA. Exemplos de vieses da IA no mundo real mostram que, quando dados e algoritmos discriminatórios são integrados aos modelos de IA, os vieses são amplificados e seus efeitos negativos são propagados em grande escala.

As empresas estão motivadas a enfrentar o desafio dos vieses na IA não apenas para alcançar mais justiça, mas também para garantir melhores resultados. No entanto, assim como o racismo e o sexismo sistêmicos têm sido difíceis de eliminar no mundo real, eliminar o viés na IA não é uma tarefa simples.

No artigo "O que a IA pode e não pode fazer (ainda) para o seu negócio", os autores Michael Chui, James Manyika e Mehdi Miremadi, da McKinsey, observaram: "Esses vieses tendem a permanecer incorporados, pois reconhecê-los e tomar medidas para corrigi-los exige um profundo domínio das técnicas de ciência de dados, bem como uma compreensão mais ampla das forças sociais existentes, incluindo a coleta de dados. Ao todo, a eliminação de vieses tem se mostrado um dos obstáculos mais desafiadores e, certamente, o mais socialmente complexo até o momento".

Exemplos de vieses de IA na vida real fornecem às organizações insights úteis sobre como identificar e abordar esses problemas. Ao olhar criticamente para esses exemplos e para os sucessos na superação dos vieses, os cientistas de dados podem começar a construir um roteiro para identificar e prevenir vieses em seus modelos de aprendizado de máquina.

O viés na IA, também chamado de viés de aprendizado de máquina ou viés de algoritmo, refere-se a sistemas de IA que produzem resultados enviesados que refletem e perpetuam os preconceitos humanos em uma sociedade, incluindo desigualdades sociais históricas e atuais. O viés pode ser encontrado nos dados de treinamento, no algoritmo ou nas previsões que o algoritmo gera.

Quando o viés não é tratado, ele impede a participação plena das pessoas na economia e na sociedade. Também reduz o potencial da IA. As empresas não podem se beneficiar de sistemas que produzem resultados distorcidos e fomentam desconfiança entre pessoas não-brancas, mulheres, pessoas com deficiência, a comunidade LGBTQ ou outros grupos marginalizados.

Eliminar o viés da IA exige investigar conjuntos de dados, algoritmos de aprendizado de máquina e outros elementos dos sistemas de IA para identificar as possíveis fontes de viés.

Viés nos dados de treinamento

Os sistemas de IA aprendem a tomar decisões com base nos dados de treinamento, por isso é essencial avaliar esses conjuntos de dados para verificar a presença de viés. Uma maneira de fazer isso é revisar a amostragem de dados para identificar grupos sobre ou sub-representados. Por exemplo, dados de treinamento para um algoritmo de reconhecimento facial que sobre-representa pessoas brancas podem criar erros ao tentar reconhecer pessoas de cor. Da mesma forma, dados de segurança coletados em áreas predominantemente negras podem gerar um viés racial em ferramentas de IA usadas pela polícia.

O viés também pode resultar da forma como os dados de treinamento são rotulados. Ferramentas de recrutamento com rótulos inconsistentes ou que excluem ou sobrerrepresentam certas características podem eliminar candidatos qualificados da consideração.

Viés algorítmico

O uso de dados de treinamento defeituosos pode causar algoritmos que repetidamente cometem erros, geram resultados injustos ou intensificam o viés existente nos dados. O viés algorítmico também pode ser causado por erros de programação, como quando o programador atribui indevidamente peso a determinados fatores na tomada de decisão do algoritmo, com base em seus próprios vieses, conscientes ou inconscientes. Por exemplo, indicadores como renda ou vocabulário podem ser usados pelo algoritmo para discriminar involuntariamente contra pessoas de certa etnia ou gênero.

Viés cognitivo

Quando as pessoas processam informações e fazem julgamentos, somos inevitavelmente influenciados por nossas experiências e preferências. Como resultado, esses vieses podem ser incorporados aos sistemas de IA através da seleção dos dados ou da forma como esses dados são ponderados. Por exemplo, o viés cognitivo pode levar à preferência por conjuntos de dados coletados nos Estados Unidos, em vez de incluir amostras de uma gama de populações ao redor do mundo.

De acordo com o NIST, essa fonte de viés é mais comum do que muitos imaginam. Em seu relatório Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (NIST Special Publication 1270), o NIST observou que "fatores humanos e institucionais sistêmicos e sociais são fontes significativas de vieses em IA e, atualmente, são frequentemente negligenciados. Superar esse desafio exigirá considerar todas as formas de viés. Isso significa expandir nossa perspectiva além do pipeline de aprendizado de máquina para reconhecer e investigar como essa tecnologia é criada e como impacta nossa sociedade".

À medida que a sociedade se torna mais consciente de como a IA funciona e da possibilidade de viés, diversas organizações identificaram exemplos de alto perfil de viés de IA em uma ampla variedade de casos de uso.

• Saúde: dados sub-representados de mulheres ou grupos minoritários podem distorcer os algoritmos preditivos de IA. Por exemplo, sistemas de diagnóstico assistido por computador (CAD) retornaram resultados de menor precisão para pacientes negros em comparação com pacientes brancos.

• Sistemas de rastreamento de candidatos — problemas com algoritmos de processamento de linguagem natural podem produzir resultados enviesados em sistemas de rastreamento de candidatos. Por exemplo, a Amazon interrompeu o uso de um algoritmo de contratação após descobrir que ele favorecia candidatos com currículos que continham palavras como "executou" ou "capturou", que eram mais comumente usadas em currículos de homens.

• Publicidade on-line: vieses nos algoritmos de anúncios de mecanismos de busca podem reforçar estereótipos de gênero em funções de trabalho. Pesquisadores da Universidade Carnegie Mellon, em Pittsburgh, descobriram que o sistema de publicidade on-line do Google exibia posições de alta remuneração com mais frequência para homens do que para mulheres.

• Geração de imagens: pesquisas acadêmicas encontraram vieses na aplicação de geração de arte Midjourney. Ao solicitar a criação de imagens de pessoas em profissões especializadas, o algoritmo gerou tanto imagens de pessoas mais jovens quanto mais velhas, mas os mais velhos eram sempre homens, reforçando o viés de gênero sobre o papel das mulheres no local de trabalho.

• Ferramentas de policiamento preditivo: ferramentas de policiamento preditivo baseadas em IA, usadas por algumas organizações no sistema de justiça criminal, deveriam identificar áreas onde crimes poderiam ocorrer. No entanto, muitas vezes essas ferramentas se baseiam em dados históricos de prisões, o que pode reforçar padrões existentes de perfis étnicos e o direcionamento desproporcional de comunidades minoritárias.

Identificar e corrigir os vieses na IA começa com a governança de IA, ou seja, a capacidade de direcionar, gerenciar e monitorar as atividades de IA dentro de uma organização. Na prática, a governança de IA cria um conjunto de políticas, práticas e frameworks para guiar o desenvolvimento e o uso responsável das tecnologias de IA. Quando bem implementada, a governança de IA assegura um equilíbrio entre os benefícios proporcionados a empresas, clientes, funcionários e a sociedade como um todo.

Por meio de políticas de governança de IA, as empresas podem desenvolver as seguintes práticas:

• Conformidade: as soluções de IA e as decisões relacionadas a IA devem ser consistentes com os regulamentos e requisitos legais relevantes do setor.
• Confiança: empresas que trabalham para proteger as informações dos clientes constroem confiança na marca e são mais propensas a criar sistemas de IA confiáveis.
• Transparência: devido à complexidade da IA, um algoritmo pode ser um sistema "caixa-preta", com pouca clareza sobre os dados usados para criá-lo. A transparência ajuda a garantir que dados imparciais sejam usados para construir o sistema e que os resultados sejam justos.
• Eficiência: uma das maiores promessas da IA é reduzir o trabalho manual e economizar tempo dos funcionários. A IA deve ser projetada para ajudar a alcançar objetivos de negócios, melhorar a velocidade de entrega e reduzir custos.
• Justiça: a governança de IA muitas vezes inclui métodos para avaliar a justiça, equidade e inclusão. Abordagens como a equidade contrafactual identificam viés nas decisões de um modelo e garantem resultados equitativos, mesmo quando atributos sensíveis, como gênero, raça ou orientação sexual, são alterados.
• Intervenção humana: processos como o sistema "human-in-the-loop" oferecem opções ou fazem recomendações que são revisadas por humanos antes de uma decisão ser tomada, fornecendo uma camada adicional de garantia de qualidade.
• Aprendizado por reforço: esta técnica de aprendizado não supervisionado usa recompensas e punições para ensinar um sistema a aprender tarefas. A McKinsey observa que o aprendizado por reforço transcende os vieses humanos e tem o potencial de gerar "soluções e estratégias previamente inimagináveis que até mesmo profissionais experientes podem não ter considerado".

Uma combinação adequada de tecnologias pode ser crucial para uma estratégia eficaz de governança de dados e IA, com uma arquitetura de dados moderna e uma plataforma de IA confiável sendo componentes fundamentais. A orquestração de políticas dentro de uma arquitetura de malha de dados é uma excelente ferramenta que pode simplificar os processos complexos de auditoria de IA. Ao incorporar auditorias de IA e processos relacionados nas políticas de governança da sua arquitetura de dados, sua organização pode ajudar a identificar áreas que requerem inspeção contínua.

Na IBM Consulting, temos ajudado os clientes a configurar um processo de avaliação para viés e outras áreas. À medida que a adoção da IA cresce e as inovações evoluem, as orientações de segurança também se aprimoram, como ocorre com todas as tecnologias que foram integradas à malha de uma empresa ao longo dos anos. A seguir, compartilhamos algumas das melhores práticas da IBM para ajudar as organizações a se prepararem para a implementação segura da IA em seus ambientes:

1. Aproveitar IA confiável avaliando as políticas e práticas dos fornecedores.
2. Permitir acesso seguro a usuários, modelos e dados.
3. Proteger modelos de IA, dados e infraestrutura contra ataques adversários.
4. Implementar proteção de privacidade de dados nas fases de treinamento, teste e operações.
5. Conduzir modelagem de ameaças e práticas de programação segura no ciclo de desenvolvimento de IA.
6. Realizar detecção e resposta a ameaças para aplicações e infraestrutura de IA.
7. Avaliar e decidir a maturidade da IA por meio do framework de IA da IBM.