Configurando avaliações do desvio v2
É possível configurar avaliações do desvio v2 para medir mudanças em seus dados ao longo do tempo para assegurar resultados consistentes para seu modelo. Use as avaliações v2 de desvio para identificar mudanças em sua saída de modelo, a precisão de suas predições e a distribuição de seus dados de entrada.
As seções a seguir descrevem como configurar as avaliações do desvio v2 :
Configurando avaliações do desvio v2
Se você registrar os dados da carga útil ao se preparar para as avaliações do modelo, poderá configurar as avaliações do drift v2 para ajudá-lo a entender como as alterações nos dados afetam os resultados do modelo.
Calcular o archive de desvio
Você deve escolher o método usado para analisar os dados de treinamento para determinar as distribuições de dados dos recursos do modelo. Se você conectar dados de treinamento e o tamanho dos dados for inferior a 500 MB, poderá optar por computar o arquivo drift v2.
Se você não conectar os dados de treinamento ou se o tamanho dos dados for maior que 500 MB, deverá optar por calcular o arquivo drift v2 em um notebook. Você também deve computar o arquivo drift v2 em notebooks se quiser avaliar modelos de imagem ou texto.
Você pode especificar um limite para o tamanho dos seus dados de treinamento definindo tamanhos máximos de amostra para a quantidade de dados de treinamento usados para pontuação e cálculo do arquivo drift v2. Para implementações non-watsonx.ai Runtime, o cálculo do arquivo drift v2 tem um custo associado à pontuação dos dados de treinamento em relação ao ponto de extremidade de pontuação do seu modelo.
Configurar limites de desvio
Você deve definir valores limiares para cada métrica a fim de identificar problemas com os resultados da avaliação. Os valores que você configura criam alertas no Painel do Insights que aparecem quando as pontuações de métrica violam seus limites. Você deve configurar os valores entre o intervalo de 0 a 1. As pontuações de métrica devem ser inferiores aos valores do limite para evitar violações.
Selecionar recursos importantes
Somente para modelos tabulares, a importância do recurso é calculada para determinar o impacto do desvio de recurso em seu modelo. Para calcular a importância do recurso, você pode selecionar os recursos importantes e mais importantes do seu modelo que têm o maior impacto nos resultados do modelo.
Quando você configura explicações SHAP, os recursos importantes são detectados automaticamente usando explicações globais.
Também é possível fazer upload de uma lista de recursos importantes fazendo upload de um arquivo JSON. São fornecidos exemplos de snippets que você pode usar para carregar um arquivo JSON. Para obter mais informações, consulte Fragmento de importância do recurso
Configurar o tamanho da amostra
Os tamanhos das amostras são fornecidos para processar o número de transações que são avaliadas durante as avaliações. Você deve definir um tamanho mínimo de amostra para indicar o menor número de transações que deseja avaliar. Você também pode definir um tamanho máximo de amostra para indicar o número máximo de transações que deseja avaliar.