Esclarecendo o viés da IA com exemplos do mundo real

Eliminar o viés da IA exige investigar conjuntos de dados, algoritmos de aprendizado de máquina e outros elementos dos sistemas de IA para identificar as possíveis fontes de viés.

Viés nos dados de treinamento

Os sistemas de IA aprendem a tomar decisões com base nos dados de treinamento, por isso é essencial avaliar esses conjuntos de dados para verificar a presença de viés. Uma maneira de fazer isso é revisar a amostragem de dados para identificar grupos sobre ou sub-representados. Por exemplo, dados de treinamento para um algoritmo de reconhecimento facial que sobre-representa pessoas brancas podem criar erros ao tentar reconhecer pessoas de cor. Da mesma forma, dados de segurança coletados em áreas predominantemente negras podem gerar um viés racial em ferramentas de IA usadas pela polícia.

O viés também pode resultar da forma como os dados de treinamento são rotulados. Ferramentas de recrutamento com rótulos inconsistentes ou que excluem ou sobrerrepresentam certas características podem eliminar candidatos qualificados da consideração.

Viés algorítmico

O uso de dados de treinamento defeituosos pode causar algoritmos que repetidamente cometem erros, geram resultados injustos ou intensificam o viés existente nos dados. O viés algorítmico também pode ser causado por erros de programação, como quando o programador atribui indevidamente peso a determinados fatores na tomada de decisão do algoritmo, com base em seus próprios vieses, conscientes ou inconscientes. Por exemplo, indicadores como renda ou vocabulário podem ser usados pelo algoritmo para discriminar involuntariamente contra pessoas de certa etnia ou gênero.

Viés cognitivo

Quando as pessoas processam informações e fazem julgamentos, somos inevitavelmente influenciados por nossas experiências e preferências. Como resultado, esses vieses podem ser incorporados aos sistemas de IA através da seleção dos dados ou da forma como esses dados são ponderados. Por exemplo, o viés cognitivo pode levar à preferência por conjuntos de dados coletados nos Estados Unidos, em vez de incluir amostras de uma gama de populações ao redor do mundo.

De acordo com o NIST, essa fonte de viés é mais comum do que muitos imaginam. Em seu relatório Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (NIST Special Publication 1270), o NIST observou que "fatores institucionais e sociais humanos e sistêmicos são fontes significativas de vieses em IA e, atualmente, são frequentemente negligenciados. Superar esse desafio exigirá considerar todas as formas de vieses. Isso significa expandir nossa perspectiva além do pipeline de aprendizado de máquina para reconhecer e investigar como essa tecnologia é criada e como impacta nossa sociedade".

À medida que a sociedade se torna mais consciente de como a IA funciona e da possibilidade de viés, diversas organizações identificaram exemplos de alto perfil de viés de IA em uma ampla variedade de casos de uso.

• Saúde: dados sub-representados de mulheres ou grupos minoritários podem distorcer os algoritmos preditivos de IA. Por exemplo, sistemas de diagnóstico assistido por computador (CAD) retornaram resultados de menor precisão para pacientes negros em comparação com pacientes brancos.

• Sistemas de rastreamento de candidatos— problemas com algoritmos de processamento de linguagem natural podem produzir resultados com viés em sistemas de rastreamento de candidatos. Por exemplo, a Amazon interrompeu o uso de um algoritmo de contratação após descobrir que ele favorecia candidatos com currículos que continham palavras como "executou" ou "capturou", que eram mais comumente usadas em currículos de homens.

• Publicidade online:—vieses nos algoritmos de anúncios de mecanismos de busca podem reforçar estereótipos de gênero em funções de trabalho. Pesquisadores da Carnegie Mellon University, em Pittsburgh, descobriram que o sistema de publicidade online do Google exibia cargos de alta remuneração com mais frequência para homens do que para mulheres.

• Geração de imagens:pesquisas acadêmicas encontraram vieses na aplicação de geração de arte com IA generativa Midjourney. Ao solicitar a criação de imagens de pessoas em profissões especializadas, o algoritmo gerava tanto imagens de pessoas mais jovens quanto mais velhas, mas os mais velhos eram sempre homens, reforçando o viés de gênero sobre o papel das mulheres no ambiente de trabalho.

• Ferramentas de policiamento preditivo:ferramentas de policiamento preditivo impulsionadas por IA usadas por algumas organizações no sistema de justiça criminal, deveriam identificar áreas onde é provável que ocorram crimes. No entanto, muitas vezes, essas ferramentas se baseiam em dados históricos de prisões, o que pode reforçar padrões existentes de perfis étnicos e o direcionamento desproporcional de comunidades minoritárias.

Identificar e corrigir os vieses na IA começa com a governança de IA, ou seja, a capacidade de direcionar, gerenciar e monitorar as atividades de IA dentro de uma organização. Na prática, a governança de IA cria um conjunto de políticas, práticas e frameworks para guiar o desenvolvimento e o uso responsável das tecnologias de IA. Quando bem implementada, a governança de IA assegura um equilíbrio entre os benefícios proporcionados a empresas, clientes, funcionários e a sociedade como um todo.

Por meio de políticas de governança de IA, as empresas podem desenvolver as seguintes práticas:

• Conformidade: as soluções de IA e as decisões relacionadas a IA devem ser consistentes com os regulamentos e requisitos legais relevantes do setor.
• Confiança: empresas que trabalham para proteger as informações dos clientes constroem confiança na marca e são mais propensas a criar sistemas de IA confiáveis.
• Transparência: devido à complexidade da IA, um algoritmo pode ser um sistema "caixa-preta", com pouca clareza sobre os dados usados para criá-lo. A transparência ajuda a garantir que dados imparciais sejam usados para construir o sistema e que os resultados sejam justos.
• Eficiência: uma das maiores promessas da IA é reduzir o trabalho manual e economizar tempo dos funcionários. A IA deve ser projetada para ajudar a alcançar objetivos de negócios, melhorar a velocidade de entrega e reduzir custos.
• Justiça: a governança de IA muitas vezes inclui métodos para avaliar a justiça, equidade e inclusão. Abordagens como a equidade contrafactual identificam viés nas decisões de um modelo e garantem resultados equitativos, mesmo quando atributos sensíveis, como gênero, raça ou orientação sexual, são alterados.
• Intervenção humana: processos como o sistema "human-in-the-loop" oferecem opções ou fazem recomendações que são revisadas por humanos antes de uma decisão ser tomada, fornecendo uma camada adicional de garantia de qualidade.
• Aprendizado por reforço — essa técnica de aprendizado não supervisionado usa recompensas e punições para ensinar um sistema a aprender tarefas. A McKinsey observa que o aprendizado por reforço transcende os vieses humanos e tem o potencial de gerar "soluções e estratégias previamente inimagináveis que até mesmo profissionais experientes podem não ter considerado".

Uma combinação adequada de tecnologias pode ser crucial para uma estratégia eficaz de governança de dados e IA, com uma arquitetura de dados moderna e uma plataforma de IA confiável sendo componentes fundamentais. A orquestração de políticas dentro de uma arquitetura de malha de dados é uma excelente ferramenta que pode simplificar os processos complexos de auditoria de IA. Ao incorporar a auditoria de IA e processos relacionados às políticas de governança de sua arquitetura de dados, sua organização pode ajudar a identificar áreas que requerem inspeção contínua.

Na IBM Consulting, temos ajudado os clientes a configurar um processo de avaliação para viés e outras áreas. À medida que a adoção da IA cresce e as inovações evoluem, as orientações de segurança também se aprimoram, como ocorre com todas as tecnologias que foram integradas à malha de uma empresa ao longo dos anos. A seguir, compartilhamos algumas das melhores práticas da IBM para ajudar as organizações a se prepararem para a implementação segura da IA em seus ambientes:

1. Aproveitar IA confiável avaliando as políticas e práticas dos fornecedores.
2. Permitir acesso seguro a usuários, modelos e dados.
3. Proteger modelos de IA, dados e infraestrutura contra ataques adversários.
4. Implementar proteção de privacidade de dados nas fases de treinamento, teste e operações.
5. Conduzir modelagem de ameaças e práticas de programação segura no ciclo de desenvolvimento de IA.
6. Realizar detecção e resposta a ameaças para aplicações e infraestrutura de IA.
7. Avalie e decida sobre a maturidade da IA por meio do framework de IA da IBM.