Registro de la métrica de evaluación del rendimiento

Ámbito

La métrica de rendimiento de registro evalúa los activos de IA generativa y los modelos de aprendizaje automático.

• Tareas de IA generativa :
  • Resumen de texto
  • Clasificación de texto
  • Generación de contenido
  • Extracción de entidades
  • Respuesta a preguntas
  • Generación aumentada de recuperación (RAG)
• Tipo de problema de aprendizaje automático :
  • Clasificación binaria
  • Clasificación de varias clases
  • Regresión
• Idiomas disponibles : inglés

Proceso de evaluación

El rendimiento medio, máximo, medio y mínimo de los registros para las solicitudes de puntuación y los registros de transacciones se calculan durante las evaluaciones del monitor de estado del modelo.

Para calcular la métrica de rendimiento de registros, se utiliza un valor de puntuación ( response_time ) de sus solicitudes de puntuación para hacer un seguimiento del tiempo que tarda la implementación de su modelo en procesar las solicitudes de puntuación.

En las implantaciones de Watson Machine Learning, el valor response_time se detecta automáticamente al configurar las evaluaciones.

Para implementaciones externas y personalizadas, debe especificar el valor response_time cuando envíe solicitudes de puntuación para calcular el rendimiento y la latencia, como se muestra en el siguiente ejemplo del SDK de Python :

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord            
        client.data_sets.store_records(
        data_set_id=payload_data_set_id, 
        request_body=[
        PayloadRecord(
            scoring_id=<uuid>,
            request=openscale_input,
            response=openscale_output,
            response_time=<response_time>,  
            user_id=<user_id>)
                    ]
        )