Configuração da explicabilidade
Você pode configurar a explicabilidade para revelar quais recursos contribuem para o resultado previsto do modelo para uma transação e prever quais alterações resultariam em um resultado diferente.
Você pode configurar a explicabilidade para analisar os fatores que influenciam os resultados do seu modelo. Você pode optar por configurar explicações locais para analisar o impacto de fatores para transações de modelos específicos e configurar explicações globais para analisar fatores gerais que impactam os resultados do modelo.
Você pode configurar a explicabilidade manualmente ou pode executar um notebook personalizado para gerar um arquivo de explicabilidade.
Ao executar o notebook, você pode carregar o arquivo para especificar os parâmetros da sua avaliação. Se você não fornecer dados de treinamento, deverá gerar o arquivo para configurar a explicabilidade.
Ao configurar a explicabilidade manualmente, você deve definir parâmetros para determinar o tipo de explicações que deseja gerar. Você também pode optar por especificar recursos controláveis e ativar o suporte ao idioma.
Configurar parâmetros
Para configurar parâmetros, você deve especificar os métodos de explicação que deseja usar. Você deve optar por usar SHAP (Shapley Additive explanations) ou LIME (Local Interpretable Model-Agnostic explanations) como método de explicação local. Se você usar o SHAP como método de explicação local, deverá especificar o número de perturbações que o modelo gera para cada explicação local e selecionar uma opção para usar dados de segundo plano. Os dados de histórico são usados para determinar a influência dos recursos nos resultados das explicações. Se você usar LIME como a explicação local, deverá especificar apenas o número de perturbações.
Ao ativar o parâmetro Global explanation (Explicação global ), você também pode optar por usar SHAP (Shapley Additive explanations) ou LIME (Local Interpretable Model-Agnostic explanations) como método de explicação global. Para configurar o método de explicação global, você deve especificar o tamanho da amostra de transações modelo que é usada para gerar explicações contínuas e um cronograma que determina quando as explicações são geradas. Você também deve especificar um limite de estabilidade da explicação global e selecionar uma opção que especifique como uma explicação global de linha de base é gerada. Essas configurações são usadas para calcular a métrica de estabilidade da explicação global.
Recursos controláveis
Recursos controláveis são recursos que podem ser alterados e ter um impacto significativo nos resultados do seu modelo. Você pode especificar recursos controláveis para identificar alterações que possam produzir resultados diferentes.
Suporte ao idioma
Se você ativar o suporte a idiomas, poderá analisar os idiomas que não são delimitados por espaço para determinar a explicabilidade. Você pode configurar o explainability para detectar automaticamente os idiomas compatíveis ou pode especificar manualmente os idiomas compatíveis que deseja analisar. Não é possível configurar o suporte linguístico para modelos estruturados e de imagem.
Métricas de explicabilidade suportadas
Há suporte para as seguintes métricas de explicabilidade:
Estabilidade da explicação global
A estabilidade da explicação global indica o grau de consistência da explicação global ao longo do tempo
- Descrição:
Uma explicação global é gerada com os dados de linha de base que você fornece ao configurar as avaliações de explicabilidade. As explicações globais identificam os recursos que mais afetam o comportamento do seu modelo. Quando novas explicações globais são geradas, cada explicação é comparada com a explicação global de linha de base para calcular a estabilidade da explicação global. A estabilidade da explicação global usa a fórmula de ganho cumulativo com desconto normalizado (NDGC) para determinar a semelhança entre as novas explicações globais e a explicação global de linha de base.
Como funciona: Valores mais altos indicam maior uniformidade com a explicação da linha de base
- Em 0: As explicações são muito diferentes.
- Em 1: As explicações são muito semelhantes.
Faça as contas:
A fórmula a seguir é usada para calcular a estabilidade da explicação global:
DCGₚ
nDCGₚ = _____________________
IDCGₚ
Limitações
- Quando você define as configurações para as explicações globais do SHAP, existem as seguintes limitações:
- O tamanho da amostra que você usa para configurar as explicações pode afetar o número de explicações geradas durante períodos de tempo específicos. Se você tentar gerar várias explicações para grandes tamanhos de amostra, suas transações poderão não ser processadas.
- Se você configurar explicações para várias assinaturas, deverá especificar os valores padrão para as configurações de tamanho da amostra e número de perturbações quando a implantação contiver 20 recursos ou menos.
- Sinais de igual (=) em nomes de colunas não são suportados em seus dados. O sinal de igual pode causar um erro.
- A explicabilidade não tem suporte em modelos multiclasses SPSS que retornam apenas a probabilidade de classe vencedora.