Gestión de datos de carga útil para watsonx.governance
Debe proporcionar datos de carga útil para configurar la desviación v2 y las evaluaciones de calidad de IA generativa en watsonx.governance.
Los datos de carga útil contienen todas las transacciones de modelo. Puede registrar datos de carga útil con watsonx.governance para habilitar las evaluaciones. Para registrar datos de carga útil, watsonx.governance debe recibir solicitudes de puntuación.
Registro de datos de carga útil
Cuando envía una solicitud de puntuación, watsonx.governance procesa las transacciones de modelo para habilitar las evaluaciones de modelo. Watsonx.governance puntúa los datos y los almacena como registros en una tabla de registro de carga útil dentro de la despensa de datos watsonx.governance .
La tabla de registro de carga útil contiene las columnas siguientes al evaluar plantillas de solicitud:
- Columnas necesarias:
- Variable (s) de solicitud: Contiene los valores de las variables que se crean para las plantillas de solicitud
generated_text: contiene la salida generada por el modelo de base
- Columnas opcionales:
input_token_count: Contiene el número de señales en el texto de entradagenerated_token_count: Contiene el número de señales en el texto generadoprediction_probability: contiene el valor agregado de las probabilidades de registro de las señales generadas que representan la salida ganadora
La tabla también puede incluir columnas de indicación de fecha y hora e ID para almacenar los datos como registros de puntuación.
Puede consultar la tabla de registro de carga útil accediendo a la base de datos que haya especificado para el data mart o utilizando el SDK de Python, tal y como se muestra en el siguiente ejemplo:
Envío de datos de carga útil
Si utiliza IBM Watson Machine Learning como proveedor de aprendizaje automático, watsonx.governance registra automáticamente los datos de carga útil cuando se puntúa el modelo.
Después de configurar las evaluaciones, también puede utilizar un punto final de registro de carga útil para enviar solicitudes de puntuación para ejecutar evaluaciones bajo demanda. En el caso de los modelos de producción, también puedes cargar datos de carga útil mediante un archivo « CSV » para enviar solicitudes de puntuación. Para obtener más información, consulte Envío de transacciones de modelo.