Métrica de avaliação de desvio da qualidade do modelo
A métrica de desvio de qualidade do modelo compara a precisão estimada do tempo de execução com a precisão do treinamento para medir a queda na precisão.
Detalhes da métrica
O desvio da qualidade do modelo é uma métrica de avaliação do desvio v2 que avalia as alterações na distribuição de dados para modelos de aprendizado de máquina.
Escopo
A métrica de desvio de qualidade do modelo avalia apenas os modelos de aprendizado de máquina.
Tipos de ativos de IA : Modelos de aprendizado de máquina
Pontuações e valores
A pontuação da métrica de desvio de qualidade do modelo indica a queda na precisão da precisão do treinamento para a precisão estimada do tempo de execução.
- Melhor pontuação possível : 0.0
- Proporções :
- Em 0: Nenhuma alteração na precisão
- Acima de 0: mudança crescente na precisão
Processo de avaliação
v2 É criado um modelo de detecção de desvios que processa os dados da carga útil quando você configura avaliações de desvios para prever se o modelo gera previsões precisas sem a verdade terrestre. O modelo de detecção de desvios usa os recursos de entrada e as probabilidades de classe do seu modelo para criar seus próprios recursos de entrada.
Fazer os cálculos
A fórmula a seguir é usada para calcular o desvio de qualidade do modelo:
A precisão de seu modelo é calculada como base_accuracy medindo a fração de transações previstas corretamente em seus dados de treinamento. Durante as avaliações, suas transações são pontuadas em relação ao modelo de detecção de desvios para medir a quantidade de transações que provavelmente foram previstas corretamente pelo seu modelo. Essas transações são comparadas ao número total de transações processadas para calcular o predicted_accuracy. Se o predicted_accuracy for menor que o base_accuracy, será gerada uma pontuação de desvio de qualidade do modelo.