Nutzdatenprotokollierung

Sie können die Payload-Protokollierung aktivieren, um Modelle für maschinelles Lernen oder generative KI-Assets zu bewerten.

In den folgenden Abschnitten wird beschrieben, wie Sie die Payload-Protokollierung für Machine-Learning-Modelle oder generative KI-Assets aktivieren können:

Protokollierung der Nutzdaten für Modelle des maschinellen Lernens

Um die Nutzdaten für die Konfiguration von Fairness- und Drift-Bewertungen sowie für die Erklärbarkeit zu verwalten, müssen Sie Ihre Nutzdaten im Data Mart protokollieren. Wenn Sie Bereitstellungen für Evaluierungen hinzufügen oder Modelldetails angeben, können Sie automatisch eine Bewertungsanfrage senden, um Ihre Modelltransaktionen zu protokollieren, sofern alle erforderlichen Modelldetails erkannt werden. Wenn nicht alle erforderlichen Modelldetails erkannt werden oder wenn Sie Bild- oder unstrukturierte Textmodelle auswerten, müssen Sie die Protokollierung der Nutzdaten manuell aktivieren.

Manuelle Nutzdatenprotokollierung

Um Nutzlastdaten manuell zu protokollieren, können Sie das SDK „ Python “ verwenden, um die Nutzlastprotokollierung zu aktivieren.

Mit den folgenden Schritten können Sie die Nutzdatenprotokollierung mit dem SDK für „ Python “ aktivieren:

  • Importieren und initialisieren Sie die API-Clients:

    from ibm_cloud_sdk_core.authenticators import CloudPakForDataAuthenticator
from ibm_watson_openscale import APIClient

service_credentials = {
             "url": "***",
             "username": "***",
             "password": "***"
             }

authenticator = CloudPakForDataAuthenticator(
     url=service_credentials["url"],
     username=service_credentials["username"],
     password=service_credentials["password"],
     disable_ssl_verification=True # Based on the SSL status of your cluster
 )
wos_client = APIClient(authenticator=authenticator, service_url=service_credentials["url"])

  • Rufen Sie die ID des Nutzdatensets ab:

import time

time.sleep(5)
payload_data_set_id = None
payload_data_set_id = wos_client.data_sets.list(type=DataSetTypes.PAYLOAD_LOGGING, 
                                                target_target_id=subscription_id, 
                                                target_target_type=TargetTypes.SUBSCRIPTION).result.data_sets[0].metadata.id
if payload_data_set_id is None:
    print("Payload data set not found. Please check subscription status.")
else:
    print("Payload data set id: ", payload_data_set_id)
  • Speichern Sie die Nutzdaten in der Nutzdatenprotokollierungstabelle:
import uuid
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord

print("Performing explicit payload logging.....")
wos_client.data_sets.store_records(data_set_id=payload_data_set_id, request_body=[PayloadRecord(
           scoring_id=str(uuid.uuid4()),
           request=openscale_input,
           response=openscale_output,
           response_time=460
)])
time.sleep(5)
pl_records_count = wos_client.data_sets.get_records_count(payload_data_set_id)
print("Number of records in the payload logging table: {}".format(pl_records_count))

wos_client.data_sets.show_records(data_set_id=payload_data_set_id)

Protokollierung der Nutzdaten für generative KI-Assets

Zum Verwalten von Nutzdaten für die Konfiguration von Drift v2, generativer KI-Qualität und Modellzustandsauswertungen muss watsonx.governance Ihre Nutzdaten in der Nutzdatenprotokollierungstabelle protokollieren.

Generative AI-Qualitätsbewertungen verwenden Nutzdaten, um Ergebnisse für die folgenden Tasktypen zu generieren, wenn Sie Eingabeaufforderungsvorlagen auswerten:

  • Textausfassung
  • Inhaltsgenerierung
  • Beantwortung von Fragen

Die Drift v2 und Modellzustandsbewertungen verwenden Nutzdaten, um Ergebnisse für die folgenden Tasktypen zu generieren, wenn Sie Eingabeaufforderungsvorlagen auswerten:

  • Textklassifizierung
  • Textausfassung
  • Inhaltsgenerierung
  • Entitätsextraktion
  • Beantwortung von Fragen

Sie können Ihre Nutzlastdaten über den Endpunkt für die Nutzlastprotokollierung oder durch Hochladen einer „ CSV “-Datei protokollieren. Weitere Informationen finden Sie unter Modelltransaktionen senden.