有效内容日志记录

您可以启用有效载荷日志记录,以评估机器学习模型或生成式人工智能资产。

以下各节将介绍如何为机器学习模型或生成式 AI 资产启用有效载荷日志记录:

机器学习模型的有效载荷日志记录

为了管理用于配置公平性、漂移评估和可解释性的有效载荷数据,您必须将有效载荷数据记录到数据集市中。 在添加用于评估的部署提供模型详细信息时,如果检测到所有必需的模型详细信息,系统会自动发送评分请求以记录模型交易。 如果未能检测到所有必需的模型详细信息,或者您正在评估图像或非结构化文本模型,则必须手动启用有效载荷日志记录。

手动有效内容日志记录

若要手动记录有效载荷数据,您可以使用 Python SDK来启用有效载荷记录功能。

您可以按照以下步骤,使用 Python SDK启用有效载荷日志记录:

  • 导入并启动 API 客户机:

    from ibm_cloud_sdk_core.authenticators import CloudPakForDataAuthenticator
    from ibm_watson_openscale import APIClient
    
    service_credentials = {
                 "url": "***",
                 "username": "***",
                 "password": "***"
                 }
    
    authenticator = CloudPakForDataAuthenticator(
         url=service_credentials["url"],
         username=service_credentials["username"],
         password=service_credentials["password"],
         disable_ssl_verification=True # Based on the SSL status of your cluster
     )
    wos_client = APIClient(authenticator=authenticator, service_url=service_credentials["url"])
    
  • 访存有效内容数据集标识:

import time

time.sleep(5)
payload_data_set_id = None
payload_data_set_id = wos_client.data_sets.list(type=DataSetTypes.PAYLOAD_LOGGING, 
                                                target_target_id=subscription_id, 
                                                target_target_type=TargetTypes.SUBSCRIPTION).result.data_sets[0].metadata.id
if payload_data_set_id is None:
    print("Payload data set not found. Please check subscription status.")
else:
    print("Payload data set id: ", payload_data_set_id)
  • 将有效内容数据存储在有效内容日志记录表中:
import uuid
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord

print("Performing explicit payload logging.....")
wos_client.data_sets.store_records(data_set_id=payload_data_set_id, request_body=[PayloadRecord(
           scoring_id=str(uuid.uuid4()),
           request=openscale_input,
           response=openscale_output,
           response_time=460
)])
time.sleep(5)
pl_records_count = wos_client.data_sets.get_records_count(payload_data_set_id)
print("Number of records in the payload logging table: {}".format(pl_records_count))

wos_client.data_sets.show_records(data_set_id=payload_data_set_id)

生成式人工智能资产的负载日志记录

管理有效内容数据 以配置漂移 v2,生成 AI 质量和模型运行状况评估, watsonx.governance 必须将有效内容数据记录在有效内容日志记录表中。

生成 AI 质量评估在评估提示模板时使用有效内容数据为以下任务类型生成结果:

  • 文本摘要
  • 内容生成
  • 问题回答

评估提示模板时,漂移 v2 和模型运行状况评估使用有效内容数据来生成以下任务类型的结果:

  • 文本分类
  • 文本摘要
  • 内容生成
  • 实体抽取
  • 问题回答

您可以通过有效载荷日志记录端点,或上传 CSV 文件来记录有效载荷数据。 有关更多信息,请参阅 发送模型事务