O que é IA explicável?

A IA explicável é usada para descrever um modelo de IA, seu impacto esperado e potenciais vieses. Ela ajuda a caracterizar a precisão, justiça, transparência e resultados em tomadas de decisão alimentadas por IA. A IA explicável é crucial para uma organização na construção de confiança e segurança ao colocar modelos de IA em produção. A explicabilidade da IA também ajuda uma organização a adotar uma abordagem responsável para o desenvolvimento de IA.

À medida que a IA avança, os humanos enfrentam desafios para entender e retraçar como o algoritmo chegou a um resultado. Todo o processo de cálculo se transforma no que comumente é chamado de "caixa preta" que é impossível de interpretar. Esses modelos de caixa preta são criados diretamente a partir dos dados. E, nem mesmo os engenheiros ou cientistas de dados que criam o algoritmo conseguem entender ou explicar exatamente o que está acontecendo dentro deles ou como o algoritmo de IA chegou a um resultado específico.

Existem muitas vantagens em compreender como um sistema habilitado para IA levou a uma determinada saída. A explicabilidade pode ajudar os desenvolvedores a garantir que o sistema esteja funcionando conforme o esperado, pode ser necessária para cumprir as normas regulatórias ou pode ser importante para permitir que aqueles afetados por uma decisão a contestem ou alterem esse resultado.¹

É crucial para uma organização ter um entendimento completo dos processos de tomada de decisão da IA com monitoramento de modelo e responsabilização da IA, e não confiar neles cegamente. A IA explicável pode ajudar os humanos a entender e explicar algoritmos de aprendizado de máquina (ML), deep learning e redes neurais.

Modelos de ML muitas vezes são considerados como caixas-pretas que são impossíveis de interpretar.² As redes neurais usadas no deep learning são algumas das mais difíceis para um humano entender. O viés, muitas vezes baseado em etnia, gênero, idade ou localização, tem sido um risco de longa data na formação de modelos de IA. Além disso, o desempenho do modelo de IA pode se deteriorar ou desviar porque os dados de produção diferem dos dados de treinamento. Isso torna crucial para um negócio monitorar e gerenciar continuamente os modelos para promover a explicabilidade da IA, ao mesmo tempo em que mede o impacto comercial do uso de tais algoritmos. A IA explicável também ajuda a promover a confiança do usuário final, a auditabilidade do modelo e o uso produtivo da IA.Isso também mitiga riscos de conformidade, legais, de segurança e de reputação da IA em produção.

A IA explicável é um dos requisitos-chave para implementar a IA responsável, uma metodologia para a implementação em larga escala de métodos de IA em organizações reais com justiça, explicabilidade do modelo e responsabilidade.³ Para adotar a IA de forma responsável, as organizações precisam incorporar princípios éticos nas aplicações e processos de IA, construindo sistemas baseados em confiança e transparência.

Com a IA explicável (bem como o aprendizado de máquina interpretável), as organizações podem acessar o processo decisório subjacente da tecnologia de IA e estão capacitadas para fazer ajustes. A IA explicável pode melhorar a experiência do usuário de um produto ou serviço, ajudando o usuário final a confiar que a IA está tomando boas decisões. Quando os sistemas de IA fornecem confiança suficiente na decisão para que você possa confiar nela e como o sistema de IA pode corrigir erros que surgem?⁴

À medida que a IA avança, ainda é necessário entender e controlar os processos de ML para garantir que os resultados dos modelos de IA sejam precisos. Vamos olhar para a diferença entre IA e XAI, os métodos e técnicas usados para transformar IA em XAI e a diferença entre interpretar e explicar processos de IA.

Qual é exatamente a diferença entre a IA "comum" e a IA explicável? A XAI implementa técnicas e métodos específicos para garantir que cada decisão tomada durante o processo de ML possa ser rastreada e explicada. A IA, por outro lado, muitas vezes chega a um resultado usando um algoritmo de ML, mas os arquitetos dos sistemas de IA não entendem completamente como o algoritmo chegou a esse resultado. Isso torna difícil verificar a precisão e leva à perda de controle, responsabilidade e auditabilidade.

A configuração das técnicas da XAI consiste em três métodos principais. A precisão e a rastreabilidade da previsão lidam com os requisitos tecnológicos, enquanto a compreensão da decisão atende às necessidades humanas. A IA explicável (especialmente o aprendizado de máquina explicável) será essencial para que os futuros combatentes compreendam, confiem adequadamente e gerenciem com eficácia uma geração emergente de parceiros de máquinas artificialmente inteligentes.⁵

A precisão é um componente-chave do sucesso do uso da IA nas operações cotidianas. Ao executar simulações e comparar a saída da XAI com os resultados no conjunto de dados de treinamento, a precisão da previsão pode ser determinada.A técnica mais popular usada para isso é de Explicações Locais Interpretáveis Independentes de Modelo (LIME), que explica a previsão dos classificadores pelo algoritmo de ML.

Rastreabilidade é outra técnica-chave para realizar a XAI. Ela é alcançada, por exemplo, limitando a maneira como as decisões podem ser tomadas e estabelecendo um escopo mais restrito para regras e funcionalidades de ML. Um exemplo de uma técnica de XAI de rastreabilidade é o DeepLIFT (Deep Learning Important FeaTures), que compara a ativação de cada neurônio ao seu neurônio de referência e mostra um vínculo rastreável entre cada neurônio ativado, e até mesmo mostra dependências entre eles.

Esse é o fator humano. Muitas pessoas têm desconfiança em relação à IA, mas para trabalhar com ela de forma eficiente, precisam aprender a confiar nela. Isso se consegue educando a equipe que trabalha com a IA para que possam entender como e por que a IA toma decisões.

Interpretabilidade é o grau em que um observador pode entender a causa de uma decisão. É a taxa de sucesso com que os humanos podem prever o resultado de uma saída de IA, enquanto a explicabilidade vai um passo além e analisa como a IA chegou ao resultado.

A IA explicável e a IA responsável têm objetivos similares, mas abordagens diferentes. Aqui estão as principais diferenças entre IA explicável e responsável:

• A IA explicável analisa os resultados da IA após eles serem computados.
• A IA responsável olha para a IA durante as etapas de planejamento para tornar o algoritmo responsável antes que os resultados sejam computados.
• IA explicável e responsável podem trabalhar juntas para criar uma IA melhor.

Com a IA explicável, uma empresa pode solucionar problemas e melhorar o desempenho do modelo, ajudando as partes interessadas a entenderem o comportamento dos modelos de IA. Investigar comportamentos de modelo através do rastreamento de insights do modelo sobre status de implantação, justiça, qualidade e deriva é essencial para a escalabilidade da IA.

A avaliação contínua do modelo capacita uma empresa a comparar previsões de modelo, quantificar riscos do modelo e otimizar o desempenho do modelo. Exibir valores positivos e negativos nos comportamentos do modelo com dados usados para gerar explicações acelera as avaliações do modelo. Uma plataforma de dados e IA pode gerar atribuições de recursos para previsões de modelos e capacitar equipes a investigar visualmente o comportamento do modelo com gráficos interativos e documentos exportáveis.

Para obter resultados desejáveis com IA explicável, considere o seguinte:

Imparcialidade e remoção de vieses: gerencie e monitore a justiça. Examine sua implementação em busca de potenciais vieses.

Mitigação do desvio do modelo: analise seu modelo e faça recomendações com base no resultado mais lógico. Receba alertas quando os modelos desviarem dos resultados pretendidos.

Gerenciamento de riscos do modelo: quantifique e mitigue os riscos do modelo. Receba alertas quando um modelo apresentar desempenho inadequado. Entenda o que aconteceu quando desvios persistirem.

Automação do ciclo de vida: construa, execute e gerencie modelos como parte de serviços de dados e IA integrados. Unifique as ferramentas e processos em uma plataforma para monitorar modelos e compartilhar resultados. Explique as dependências dos modelos de aprendizado de máquina.

Prontidão para multinuvem: implemente projetos de IA em nuvens híbrida, incluindo nuvens públicas, nuvens privada e no local. Promova confiança e segurança com a IA explicável.

• Saúde: Acelere diagnósticos, análise de imagens, otimização de recursos e diagnóstico médico. Melhore a transparência e rastreabilidade na tomada de decisões para o cuidado do paciente. Agilize o processo de aprovação farmacêutica com IA explicável.

• Serviços financeiros: Melhore a experiência do cliente com um processo transparente de aprovação de empréstimos e créditos. Acelere avaliações de risco de crédito, gestão de patrimônio e risco de crimes financeiros. Resolva rapidamente possíveis reclamações e problemas. Aumente a confiança em precificação, recomendações de produtos e serviços de investimento.

• Justiça criminal: Otimize processos para previsão e avaliação de riscos. Acelere resoluções usando IA explicável em análise de DNA, análise da população carcerária e previsão de crimes. Detecte potenciais vieses nos dados de treinamento e algoritmos.