Métricas de evaluación de la desviación de salida
La métrica de desviación de salida mide el cambio en la distribución de confianza del modelo.
Detalles de métrica
v2 La desviación de salida es una métrica de evaluación de la desviación de la distribución que evalúa los cambios en la distribución de datos.
Ámbito
La métrica de desviación de salida evalúa los modelos de aprendizaje automático y los activos de IA generativa.
Tipos de activos de IA :
- Modelos de modelo de aprendizaje automático
- Plantillas de instrucción
Puntuaciones y valores
La puntuación de la métrica de desviación de salida indica la cantidad en que cambia la salida de su modelo desde el momento en que entrena el modelo.
- Mejor puntuación posible : 0.0
- Ratios :
- A las 0: Sin cambios en la salida del modelo
- Más de 0: Cambio creciente en el resultado del modelo
Proceso de evaluación
Para los modelos de regresión, la desviación de salida se calcula midiendo el cambio en la distribución de las predicciones en los datos de entrenamiento y de carga útil. Para los modelos de clasificación, la desviación de salida se calcula para cada probabilidad de clase midiendo el cambio en la distribución de las probabilidades de clase en los datos de entrenamiento y de carga útil. Para los modelos de clasificación múltiple, la desviación de salida se agrega para cada probabilidad de clase midiendo un promedio ponderado.
Cómo calcularlo
Las siguientes fórmulas se utilizan para calcular la métrica de desviación de salida:
La distancia de variación total mide la diferencia máxima entre las probabilidades que dos distribuciones de probabilidad, la línea de base (B) y la de producción (P), asignan a la misma transacción, como se muestra en la siguiente fórmula:
Si las dos distribuciones son iguales, la distancia de variación total entre ellas se convierte en 0.
La siguiente fórmula se utiliza para calcular la distancia de variación total:
𝑥 es una serie de muestras equidistantes que abarcan el dominio de
que van desde el mínimo combinado de los datos de referencia y de producción hasta el máximo combinado de los datos de referencia y de producción.
es la diferencia entre dos muestras 𝑥 consecutivas.
es el valor de la función de densidad para los datos de producción en una muestra 𝑥.
es el valor de la función de densidad para los datos de referencia para una muestra 𝑥.
El denominador e 
e representa el área total bajo los gráficos de la función de densidad para los datos de producción y de referencia. Estas sumas son una aproximación de las integraciones sobre el espacio de dominio y ambos términos deben ser 1 y el total debe ser 2.
El coeficiente de superposición se calcula midiendo el área total de la intersección entre dos distribuciones de probabilidad. Para medir la diferencia entre distribuciones, se resta la intersección o el área de superposición de 1 para calcular la cantidad de desviación. La siguiente fórmula se utiliza para calcular el coeficiente de solapamiento:
𝑥 es una serie de muestras equidistantes que abarcan el dominio de
que van desde el mínimo combinado de los datos de referencia y de producción hasta el máximo combinado de los datos de referencia y de producción.- es la diferencia entre dos muestras 𝑥 consecutivas.
- es el valor de la función de densidad para los datos de producción en una muestra 𝑥.
- es el valor de la función de densidad para los datos de referencia para una muestra 𝑥.