Métrica de avaliação de desvio de saída
A métrica de desvio de saída mede a alteração na distribuição de confiança do modelo.
Detalhes da métrica
O desvio de saída é uma métrica de avaliação de desvio v2 que avalia as alterações na distribuição de dados.
Escopo
A métrica de desvio de saída avalia modelos de aprendizado de máquina e ativos de IA generativa.
Tipos de ativos de IA :
- Modelos de aprendizado de máquina
- Modelos de prompt
Pontuações e valores
A pontuação da métrica de desvio de saída indica a quantidade de alterações na saída do seu modelo a partir do momento em que você treina o modelo.
- Melhor pontuação possível : 0.0
- Proporções :
- Em 0: Nenhuma alteração na saída do modelo
- Acima de 0: Aumento da mudança no resultado do modelo
Processo de avaliação
Para modelos de regressão, o desvio de saída é calculado medindo-se a alteração na distribuição das previsões nos dados de treinamento e de carga útil. Para modelos de classificação, o desvio de saída é calculado para cada probabilidade de classe medindo a alteração na distribuição das probabilidades de classe nos dados de treinamento e de carga útil. Para modelos de classificação múltipla, o desvio de saída é agregado para cada probabilidade de classe por meio da medição de uma média ponderada.
Fazer os cálculos
As fórmulas a seguir são usadas para calcular a métrica de desvio de saída:
A distância de variação total mede a diferença máxima entre as probabilidades que duas distribuições de probabilidade, linha de base (B) e produção (P), atribuem à mesma transação, conforme mostrado na fórmula a seguir:
Se as duas distribuições forem iguais, a distância de variação total entre elas será 0.
A fórmula a seguir é usada para calcular a distância de variação total:
𝑥 é uma série de amostras equidistantes que abrangem o domínio de
e que vão do mínimo combinado dos dados de linha de base e de produção ao máximo combinado dos dados de linha de base e de produção.
é a diferença entre duas amostras 𝑥 consecutivas.
é o valor da função de densidade para dados de produção em uma amostra de 𝑥.
é o valor da função de densidade para dados de linha de base para uma amostra de 𝑥.
O denominador 
representa a área total sob os gráficos da função de densidade para os dados de produção e de linha de base. Essas somas são uma aproximação das integrações no espaço do domínio e ambos os termos devem ser 1 e o total deve ser 2.
O coeficiente de sobreposição é calculado medindo-se a área total da interseção entre duas distribuições de probabilidade. Para medir a dissimilaridade entre as distribuições, a interseção ou a área de sobreposição é subtraída de 1 para calcular a quantidade de desvio. A fórmula a seguir é usada para calcular o coeficiente de sobreposição:
𝑥 é uma série de amostras equidistantes que abrangem o domínio de
e que vão do mínimo combinado dos dados de linha de base e de produção ao máximo combinado dos dados de linha de base e de produção.- é a diferença entre duas amostras 𝑥 consecutivas.
- é o valor da função de densidade para dados de produção em uma amostra de 𝑥.
- é o valor da função de densidade para dados de linha de base para uma amostra de 𝑥.