O que é IA explicável?
Explore a solução de IA explicável da IBM
Dois trabalhadores sentados na mesa compartilhada, ambos olhando para o monitor de computador

Inteligência artificial explicável (XAI) é um conjunto de processos e métodos que permite aos usuários humanos entenderem e confiarem nos resultados e saídas criadas por algoritmos de aprendizado de máquina. 

A IA explicável é usada para descrever um modelo de IA, seu impacto esperado e potenciais vieses. Ela ajuda a caracterizar a precisão, justiça, transparência e resultados em tomadas de decisão alimentadas por IA. A IA explicável é crucial para uma organização na construção de confiança e segurança ao colocar modelos de IA em produção. A explicabilidade da IA também ajuda uma organização a adotar uma abordagem responsável para o desenvolvimento de IA.

À medida que a IA avança, os humanos enfrentam desafios para entender e retraçar como o algoritmo chegou a um resultado. Todo o processo de cálculo se transforma no que comumente é chamado de "caixa preta" que é impossível de interpretar. Esses modelos de caixa preta são criados diretamente a partir dos dados. E, nem mesmo os engenheiros ou cientistas de dados que criam o algoritmo conseguem entender ou explicar exatamente o que está acontecendo dentro deles ou como o algoritmo de IA chegou a um resultado específico.

Existem muitas vantagens em entender como um sistema habilitado para IA gerou um resultado específico.  A explicabilidade pode ajudar os desenvolvedores a garantir que o sistema está funcionando conforme o esperado, pode ser necessário para atender aos padrões regulatórios, ou pode ser importante para permitir que aqueles afetados por uma decisão a contestem ou alterem esse resultado.¹

Como criar IA responsável em escala

Por que a IA explicável é importante

É crucial para uma organização ter um entendimento completo dos processos de tomada de decisão da IA com monitoramento de modelo e responsabilização da IA, e não confiar neles cegamente. A IA explicável pode ajudar os humanos a entender e explicar algoritmos de aprendizado de máquina (ML), deep learning e redes neurais.

Modelos de ML muitas vezes são considerados como caixas-pretas que são impossíveis de interpretar.² As redes neurais usadas no deep learning são algumas das mais difíceis para um humano entender. O viés, muitas vezes baseado em etnia, gênero, idade ou localização, tem sido um risco de longa data na formação de modelos de IA. Além disso, o desempenho do modelo de IA pode se deteriorar ou desviar porque os dados de produção diferem dos dados de treinamento. Isso torna crucial para um negócio monitorar e gerenciar continuamente os modelos para promover a explicabilidade da IA, ao mesmo tempo em que mede o impacto comercial do uso de tais algoritmos. A IA explicável também ajuda a promover a confiança do usuário final, a auditabilidade do modelo e o uso produtivo da IA.Isso também mitiga riscos de conformidade, legais, de segurança e de reputação da IA em produção.

A IA explicável é um dos requisitos-chave para implementar a IA responsável, uma metodologia para a implementação em larga escala de métodos de IA em organizações reais com justiça, explicabilidade do modelo e responsabilidade.³ Para adotar a IA de forma responsável, as organizações precisam incorporar princípios éticos nas aplicações e processos de IA, construindo sistemas baseados em confiança e transparência.

Saiba mais sobre ética em IA
Como funciona a IA explicável

Com a IA explicável – bem como aprendizado de máquina interpretável – as organizações podem acessar o processo decisório subjacente da tecnologia de IA e estão capacitadas para fazer ajustes. A IA explicável pode melhorar a experiência do usuário de um produto ou serviço, ajudando o usuário final a confiar que a IA está tomando boas decisões. Quando os sistemas de IA fornecem confiança suficiente na decisão para que você possa confiar nele e como o sistema de IA pode corrigir erros que surgem?⁴

À medida que a IA avança, ainda é necessário entender e controlar os processos de ML para garantir que os resultados dos modelos de IA sejam precisos. Vamos olhar para a diferença entre IA e XAI, os métodos e técnicas usados para transformar IA em XAI e a diferença entre interpretar e explicar processos de IA.

Comparando IA e XAI
Qual é exatamente a diferença entre IA "comum" e IA explicável? A XAI implementa técnicas e métodos específicos para garantir que cada decisão tomada durante o processo de ML possa ser rastreada e explicada. A IA, por outro lado, muitas vezes chega a um resultado usando um algoritmo de ML, mas os arquitetos dos sistemas de IA não entendem completamente como o algoritmo chegou a esse resultado. Isso torna difícil verificar a precisão e leva à perda de controle, responsabilidade e auditabilidade.

Técnicas de IA explicável
A configuração de técnicas de XAI consiste em três métodos principais. A precisão da previsão e a rastreabilidade lidam com requisitos tecnológicos, enquanto a compreensão da decisão lida com as necessidades humanas. A IA explicável — especialmente o aprendizado de máquina explicável — será essencial se os combatentes futuros forem entender, confiar adequadamente e gerir eficazmente uma geração emergente de parceiros de máquina com inteligência artificial.⁵

Precisão da previsão
A precisão é um componente-chave de quão bem-sucedido é o uso da IA no dia a dia. Ao executar simulações e comparar a saída da XAI com os resultados no conjunto de dados de treinamento, a precisão da previsão pode ser determinada.A técnica mais popular usada para isso é de Explicações Locais Interpretáveis Independentes de Modelo (LIME), que explica a previsão dos classificadores pelo algoritmo de ML.

Rastreabilidade
A rastreabilidade é outra técnica-chave para a realização da XAI. Ela é alcançada, por exemplo, limitando a maneira como as decisões podem ser tomadas e estabelecendo um escopo mais restrito para regras e recursos de ML. Um exemplo de uma técnica de XAI de rastreabilidade é o DeepLIFT (Deep Learning Important FeaTures), que compara a ativação de cada neurônio ao seu neurônio de referência e mostra um vínculo rastreável entre cada neurônio ativado, e até mesmo mostra dependências entre eles.

Compreensão da decisão
Este é o fator humano. Muitas pessoas têm desconfiança em relação à IA, mas para trabalhar com ela de forma eficiente, precisam aprender a confiar nela. Isso se consegue educando a equipe que trabalha com a IA para que possam entender como e por que a IA toma decisões.

Explicabilidade versus interpretabilidade em IA

Interpretabilidade é o grau em que um observador pode entender a causa de uma decisão. É a taxa de sucesso com que os humanos podem prever o resultado de uma saída de IA, enquanto a explicabilidade vai um passo além e analisa como a IA chegou ao resultado.

Como a IA explicável se relaciona com a IA responsável?

A IA explicável e a IA responsável têm objetivos similares, mas abordagens diferentes. Aqui estão as principais diferenças entre IA explicável e responsável:

  • A IA explicável analisa os resultados da IA após eles serem computados.
  • A IA responsável olha para a IA durante as etapas de planejamento para tornar o algoritmo responsável antes que os resultados sejam computados.
  • IA explicável e responsável podem trabalhar juntas para criar uma IA melhor.
Avaliação contínua do modelo

Com a IA explicável, uma empresa pode solucionar problemas e melhorar o desempenho do modelo, ajudando as partes interessadas a entenderem o comportamento dos modelos de IA. Investigar comportamentos de modelo através do rastreamento de insights do modelo sobre status de implantação, justiça, qualidade e deriva é essencial para a escalabilidade da IA.

A avaliação contínua do modelo capacita uma empresa a comparar previsões de modelo, quantificar riscos do modelo e otimizar o desempenho do modelo. Exibir valores positivos e negativos nos comportamentos do modelo com dados usados para gerar explicações acelera as avaliações do modelo. Uma plataforma de dados e IA pode gerar atribuições de recursos para previsões de modelos e capacitar equipes a investigar visualmente o comportamento do modelo com gráficos interativos e documentos exportáveis.

Benefícios da IA explicável
Operacionalize a IA com confiança e segurança

Construa confiança na IA em produção. Coloque seus modelos de IA rapidamente em produção. Garanta a interpretabilidade e explicabilidade dos modelos de IA. Simplifique o processo de avaliação de modelos, aumentando a transparência e a rastreabilidade do modelo.

Acelere o tempo para resultados em IA

Monitore e gerencie modelos de forma sistemática para otimizar resultados de negócios. Avalie e aprimore continuamente o desempenho do modelo. Afine o desenvolvimento do modelo com base em avaliações contínuas.

Mitigue riscos e custos de governança de modelo

Mantenha seus modelos de IA explicáveis e transparentes. Gerencie requisitos regulatórios, de conformidade, de risco e outros. Minimize a sobrecarga de inspeções manuais e erros custosos. Mitigue o risco de vieses não intencionais.

Cinco considerações para IA explicável

Para obter resultados desejáveis com IA explicável, considere o seguinte:

Justiça e modificação de vieses: Gerencie e monitore a justiça. Examine sua implantação em busca de potenciais vieses. 

Mitigação de deriva de modelo: Analise seu modelo e faça recomendações com base no resultado mais lógico. Receba alertas quando modelos desviarem dos resultados pretendidos.

Gerenciamento de risco do modelo: Quantifique e mitigue os riscos do modelo. Receba alertas quando um modelo apresentar desempenho inadequado. Entenda o que aconteceu quando desvios persistirem.

Automação do ciclo de vida: Construa, execute e gerencie modelos como parte de serviços de dados e IA integrados. Unifique as ferramentas e processos em uma plataforma para monitorar modelos e compartilhar resultados. Explique as dependências dos modelos de aprendizado de máquina.

Pronto para multinuvem: Implemente projetos de IA em nuvens híbridas, incluindo nuvens públicas, nuvens privadas e locais.Promova confiança e segurança com IA explicável.

Casos de uso para IA explicável
  • Saúde: Acelere diagnósticos, análise de imagens, otimização de recursos e diagnóstico médico. Melhore a transparência e rastreabilidade na tomada de decisões para o cuidado do paciente. Agilize o processo de aprovação farmacêutica com IA explicável.
  • Serviços financeiros: Melhore a experiência do cliente com um processo transparente de aprovação de empréstimos e créditos. Acelere avaliações de risco de crédito, gestão de patrimônio e risco de crimes financeiros. Resolva rapidamente possíveis reclamações e problemas. Aumente a confiança em precificação, recomendações de produtos e serviços de investimento.
  • Justiça criminal: Otimize processos para previsão e avaliação de riscos. Acelere resoluções usando IA explicável em análise de DNA, análise da população carcerária e previsão de crimes. Detecte potenciais vieses nos dados de treinamento e algoritmos.
Soluções relacionadas 
watsonx.ai

Um estúdio empresarial de última geração para desenvolvedores de IA treinarem, validarem, ajustarem e implementarem modelos de IA.

Conheça o watsonx.ai
watsonx.data

Um armazenamento de dados aberto, híbrido e governando.

Saiba mais
watsonx.governance

Governa modelos de IA generativa desenvolvidos no watsonx.ai e aqueles desenvolvidos em outras plataformas, incluindo Amazon Bedrock, Microsoft Azure e Open AI.

Explore a solução
Recursos A urgência da governança em IA:

Conheça uma abordagem de três etapas para a governança em IA. Descubra insights sobre como construir sistemas de governança capazes de monitorar IA ética.

Prepare modelos para o monitoramento

Aprenda como configurar e habilitar monitores de modelos. Use um modelo de amostra de risco de crédito para selecionar a implementação e definir o tipo de dado para registro de carga útil.

Explore o valor da IA explicável.

Forrester Consulting examina o retorno do investimento projetado para empresas que implementam IA explicável e monitoramento de modelo.

Escale IA com confiança e transparência:

A Lufthansa melhora a experiência do cliente e a eficiência da companhia aérea com automação do ciclo de vida da IA e mitigação de deriva e viés.

Dê o próximo passo

A plataforma IBM® Cloud Pak for Data oferece serviços de dados e IA em um ambiente unificado, para que sua empresa possa avaliar o impacto e as relações de dados e modelos para melhorar a explicabilidade da IA. Também ajuda você a obter insights sobre implantações, justiça, qualidade e risco.

A solução ajuda a explicar transações de IA, modelos categóricos, modelos de imagens e modelos de texto não estruturado com ferramentas como explicações contrastantes e Explicações Locais Interpretáveis Independentes de Modelo (LIME).

Experimente o IBM® Cloud Pak for Data as a Service Aprenda a explicar transações
Notas de rodapé

¹ "IA Explicável", The Royal Society, 28 de novembro de 2019.(link externo a ibm.com)

² "Inteligência Artificial Explicável", Jaime Zornoza, 15 de abril de 2020.(link externo a ibm.com)

³ "Inteligência Artificial Explicável (XAI): Conceitos, Taxonomias, Oportunidades e Desafios rumo à IA Responsável", ScienceDirect, junho de 2020.(link externo a ibm.com)

⁴ "Entendendo a IA Explicável", Ron Schmelzer, colaborador da Forbes, 23 de julho de 2019.(link externo a ibm.com)

⁵ "Inteligência Artificial Explicável (XAI)", Dr. Matt Turek, Agência de Projetos de Pesquisa Avançada de Defesa dos EUA (DARPA).(link externo a ibm.com)