Configurando a explicabilidade
Você pode configurar a explicabilidade para identificar quais características contribuem para o resultado previsto pelo modelo em uma transação e prever quais alterações resultariam em um resultado diferente.
Você pode configurar a explicabilidade para analisar os fatores que influenciam os resultados do seu modelo. Você pode optar por configurar explicações locais para analisar o impacto de fatores em transações específicas do modelo e configurar explicações globais para analisar fatores gerais que afetam os resultados do modelo.
Você pode configurar a explicabilidade manualmente ou executar um notebook personalizado para gerar um arquivo de explicabilidade.
Ao executar o notebook, você pode fazer o upload do arquivo para definir os parâmetros da sua avaliação. Se você não fornecer dados de treinamento, será necessário gerar o arquivo para configurar a explicabilidade.
Ao configurar a explicabilidade manualmente, é necessário definir parâmetros para determinar o tipo de explicações que deseja gerar. Você também pode optar por definir recursos controláveis e ativar o suporte a idiomas.
Configurar parâmetros
Para configurar os parâmetros, é necessário especificar os métodos de explicação que deseja utilizar. Você deve escolher entre SHAP (Shapley Additive Explanations) ou LIME (Local Interpretable Model-Agnostic Explanations) como método de explicação local. Se você usar o SHAP como método de explicação local, deverá especificar o número de perturbações que o modelo gera para cada explicação local e selecionar uma opção para o uso de dados de fundo. Os dados de contexto são utilizados para determinar a influência das características nos resultados das explicações. Se você usar o LIME como explicação local, basta especificar o número de perturbações.
Ao ativar o parâmetro “Explicação global”, você também pode optar por usar SHAP (Explicações Aditivas de Shapley) ou LIME (Explicações Locais Interpretáveis e Independentes do Modelo) como método de explicação global. Para configurar o método de explicação global, é necessário especificar o tamanho da amostra das transações do modelo que será usada para gerar explicações contínuas e uma programação que determine quando essas explicações serão geradas. Você também deve definir um limite de estabilidade da explicação global e selecionar uma opção que especifique como uma explicação global de referência é gerada. Essas configurações são usadas para calcular a métrica de estabilidade da explicação global.
Recursos controláveis
As características controláveis são aquelas que podem ser alteradas e têm um impacto significativo nos resultados do seu modelo. Você pode especificar características controláveis para identificar mudanças que possam gerar resultados diferentes.
Suporte à linguagem
Se você ativar o suporte a linguagens, poderá analisar linguagens que não sejam delimitadas por espaços para determinar a explicabilidade. Você pode configurar a explicabilidade para detectar automaticamente as linguagens compatíveis ou pode especificar manualmente quaisquer linguagens compatíveis que deseje analisar. Não é possível configurar o suporte a idiomas para modelos estruturados e de imagem.
Métricas de explicabilidade compatíveis
São suportadas as seguintes métricas de explicabilidade:
Estabilidade da explicação global
A estabilidade da explicação global indica o grau de consistência da explicação global ao longo do tempo
- Descrição :
É gerada uma explicação global com os dados de referência que você fornece ao configurar as avaliações de explicabilidade. As explicações globais identificam as características que têm maior impacto no comportamento do seu modelo. Quando novas explicações globais são geradas, cada uma delas é comparada à explicação global de referência para calcular a estabilidade da explicação global. A estabilidade das explicações globais utiliza a fórmula do ganho cumulativo descontado normalizado (NDGC) para determinar a semelhança entre novas explicações globais e a explicação global de referência.
Como funciona : valores mais altos indicam maior uniformidade com a explicação de referência
- Às 0 : As explicações são muito diferentes.
- No ponto 1 : As explicações são muito semelhantes.
Faça as contas :
A seguinte fórmula é utilizada para calcular a estabilidade global da explicação:
DCGₚ
nDCGₚ = _____________________
IDCGₚ
Limitações
- Ao definir as configurações para explicações globais do SHAP, existem as seguintes limitações:
- O tamanho da amostra utilizado para configurar as explicações pode afetar o número de explicações geradas durante períodos específicos. Se você tentar gerar várias explicações para amostras de grande porte, suas transações podem não ser processadas.
- Se você configurar explicações para várias assinaturas, deverá especificar os valores padrão para as configurações de tamanho da amostra e número de perturbações quando sua implantação contiver 20 características ou menos.
- Os sinais de igual (=) nos nomes das colunas não são suportados nos seus dados. O sinal de igual pode causar um erro.
- A explicabilidade não é suportada para modelos de multiclasses do SPSS que retornam apenas a probabilidade da classe vencedora.