Métrica de robustez natural
La robustez natural mide la capacidad de un modelo lingüístico para dar respuestas coherentes a entradas naturalmente variadas, como paráfrasis y pequeños errores tipográficos, lo que ayuda a evaluar la estabilidad y fiabilidad del modelo.
Detalles de métrica
La métrica de robustez natural evalúa la capacidad de un modelo para mantener la coherencia de la respuesta cuando se le presentan variaciones naturales en el texto de entrada. Estas perturbaciones incluyen variaciones benignas como cambios en la puntuación, el tipo de letra, erratas naturales, paráfrasis y otras modificaciones no maliciosas. Esto es distinto de la métrica de Robustez Adversarial, que se centra en las perturbaciones dañinas creadas deliberadamente.
Ámbito
Idiomas compatibles : inglés, francés
Para calcular la puntuación de la robustez natural, se muestrea un subconjunto representativo del conjunto de datos de prueba; por defecto, se seleccionan cinco registros. Los usuarios pueden configurar el tamaño de la muestra durante la configuración de la métrica.
Para cada entrada seleccionada, se generan varios tipos de perturbaciones:
Perturbaciones ingenuas : Pequeños cambios superficiales, como la eliminación o alteración de signos de puntuación, la modificación del tipo de letra o la introducción de erratas naturales.
Parafraseo : Reescribir la entrada utilizando expresiones semánticamente equivalentes.
Las respuestas del modelo a estas entradas perturbadas se comparan con la respuesta original generada para la entrada no modificada. La métrica cuantifica la proporción de perturbaciones de entrada que dan lugar a una salida significativamente diferente.
Puntuaciones y valores
- Puntuación de robustez natural = (Número de perturbaciones que provocan respuestas diferentes)/(Número total de perturbaciones)
- Rango de puntuación: 0.0 a 1.0
- Una puntuación cercana a 1.0 indica que el modelo es robusto y produce respuestas estables a través de entradas naturalmente variadas.
- Una puntuación cercana a 0.0 sugiere que el modelo es sensible a cambios menores, no maliciosos, que pueden afectar a la confianza y la experiencia del usuario.
La robustez natural ayuda a evaluar la capacidad de un modelo para generalizar a partir de la variabilidad habitual de los datos de entrada del mundo real, lo que proporciona información sobre su fiabilidad y estabilidad.
Más información
Para obtener más información sobre las métricas de equipos rojos, consulte los siguientes cuadernos de muestra: