Registro de carga útil

Puedes activar el registro de datos de carga útil para evaluar modelos de aprendizaje automático o recursos de IA generativa.

En las siguientes secciones se describe cómo se puede habilitar el registro de datos de carga útil para modelos de aprendizaje automático o activos de IA generativa:

Registro de datos de carga útil para modelos de aprendizaje automático

Para gestionar los datos de la carga útil con el fin de configurar las evaluaciones de equidad y deriva, así como la explicabilidad, debe registrar dichos datos en el almacén de datos. Cuando añadas implementaciones para evaluaciones o facilites detalles del modelo, podrás enviar automáticamente una solicitud de puntuación para registrar las transacciones del modelo si se detectan todos los detalles necesarios del modelo. Si no se detectan todos los detalles necesarios del modelo, o si estás evaluando modelos de imágenes o de texto no estructurado, debes habilitar manualmente el registro de datos de carga útil.

Registro de carga útil manual

Para registrar manualmente los datos de la carga útil, puedes utilizar el SDK de Python para habilitar el registro de la carga útil.

Sigue estos pasos para habilitar el registro de cargas útiles con el SDK de Python :

  • Importe e inicie los clientes de API:

    from ibm_cloud_sdk_core.authenticators import CloudPakForDataAuthenticator
from ibm_watson_openscale import APIClient

service_credentials = {
             "url": "***",
             "username": "***",
             "password": "***"
             }

authenticator = CloudPakForDataAuthenticator(
     url=service_credentials["url"],
     username=service_credentials["username"],
     password=service_credentials["password"],
     disable_ssl_verification=True # Based on the SSL status of your cluster
 )
wos_client = APIClient(authenticator=authenticator, service_url=service_credentials["url"])

  • Capte el ID de conjunto de datos de carga útil:

import time

time.sleep(5)
payload_data_set_id = None
payload_data_set_id = wos_client.data_sets.list(type=DataSetTypes.PAYLOAD_LOGGING, 
                                                target_target_id=subscription_id, 
                                                target_target_type=TargetTypes.SUBSCRIPTION).result.data_sets[0].metadata.id
if payload_data_set_id is None:
    print("Payload data set not found. Please check subscription status.")
else:
    print("Payload data set id: ", payload_data_set_id)
  • Almacene los datos de carga útil en la tabla de registro de carga útil:
import uuid
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord

print("Performing explicit payload logging.....")
wos_client.data_sets.store_records(data_set_id=payload_data_set_id, request_body=[PayloadRecord(
           scoring_id=str(uuid.uuid4()),
           request=openscale_input,
           response=openscale_output,
           response_time=460
)])
time.sleep(5)
pl_records_count = wos_client.data_sets.get_records_count(payload_data_set_id)
print("Number of records in the payload logging table: {}".format(pl_records_count))

wos_client.data_sets.show_records(data_set_id=payload_data_set_id)

Registro de datos de carga útil para activos de IA generativa

Para gestionar datos de carga útil para configurar la desviación v2, la calidad de IA generativa y las evaluaciones de estado del modelo, watsonx.governance debe registrar los datos de carga útil en la tabla de registro de carga útil.

Las evaluaciones de calidad de IA generativas utilizan datos de carga útil para generar resultados para los siguientes tipos de tarea al evaluar plantillas de solicitud:

  • Resumen de texto
  • Generación de contenido
  • Respuesta a preguntas

Las evaluaciones de estado de desviación v2 y de modelo utilizan datos de carga útil para generar resultados para los siguientes tipos de tarea al evaluar plantillas de solicitud:

  • Clasificación de texto
  • Resumen de texto
  • Generación de contenido
  • Extracción de entidades
  • Respuesta a preguntas

Puedes registrar los datos de la carga útil mediante el punto final de registro de la carga útil o subiendo un archivo « CSV ». Para obtener más información, consulte Envío de transacciones de modelo.