Métricas de evaluación de inclusión de palabras clave
La métrica de inclusión de palabras clave mide la similitud de los sustantivos y pronombres entre el resultado del modelo de base y la referencia o verdad fundamental.
Detalles de métrica
La inclusión de palabras clave es una métrica que mide la eficacia con la que su modelo genera texto que coincide con ciertas frases o palabras clave en la referencia o la verdad fundamental. La métrica solo está disponible cuando se utiliza el SDK de Python para calcular métricas de evaluación. Para más información, consulte Computing Adversarial robustness and Prompt Leakage Risk using IBM watsonx.governance.
Ámbito
La métrica de inclusión de palabras clave evalúa solo los activos de IA generativa.
- Tipos de activos de IA : plantillas de mensajes
- Tareas de IA generativa :
- Resumen de texto
- Respuesta a preguntas
- Generación aumentada de recuperación (RAG)
- Idiomas disponibles : inglés
Puntuaciones y valores
La puntuación métrica de inclusión de palabras clave indica la proporción de palabras clave que existen en el resultado generado y en la referencia o verdad fundamental.
- Rango de valores : 0.0-1.0
- Mejor puntuación posible : 1.0
- Ratios :
- A las 0: No se incluyen palabras clave similares en el resultado
- Más de 0: Se incluye una cantidad cada vez mayor de palabras clave similares en el resultado.