Journalisation de contenu utile
Vous pouvez activer la journalisation des données de charge utile pour évaluer des modèles d'apprentissage automatique ou des ressources d'IA générative.
Les sections suivantes expliquent comment activer la journalisation des données de charge utile pour les modèles d'apprentissage automatique ou les ressources d'IA générative :
- Enregistrement des données de charge utile pour les modèles d'apprentissage automatique
- Enregistrement des données de charge utile pour les ressources d'IA générative
Enregistrement des données de charge utile pour les modèles d'apprentissage automatique
Pour gérer les données de charge utile en vue de configurer les évaluations d'équité et de dérive ainsi que l'explicabilité, vous devez enregistrer vos données de charge utile dans le data mart. Lorsque vous ajoutez des déploiements à des fins d'évaluation ou que vous fournissez des informations sur le modèle, vous pouvez envoyer automatiquement une demande d'évaluation afin d'enregistrer les transactions de votre modèle si toutes les informations requises concernant celui-ci sont détectées. Si toutes les informations requises sur le modèle ne sont pas détectées ou si vous évaluez des modèles d'images ou de texte non structuré, vous devez activer manuellement la journalisation des données de charge utile.
Consignation manuelle de la charge utile
Pour enregistrer manuellement les données de charge utile, vous pouvez utiliser le SDK d' Python s afin d'activer la journalisation de la charge utile.
Pour activer la journalisation des données de charge utile avec le SDK d' Python, procédez comme suit :
Importez et lancez les clients API:
from ibm_cloud_sdk_core.authenticators import CloudPakForDataAuthenticator from ibm_watson_openscale import APIClient service_credentials = { "url": "***", "username": "***", "password": "***" } authenticator = CloudPakForDataAuthenticator( url=service_credentials["url"], username=service_credentials["username"], password=service_credentials["password"], disable_ssl_verification=True # Based on the SSL status of your cluster ) wos_client = APIClient(authenticator=authenticator, service_url=service_credentials["url"])Extrayez l'ID de l'ensemble de données de contenu:
import time
time.sleep(5)
payload_data_set_id = None
payload_data_set_id = wos_client.data_sets.list(type=DataSetTypes.PAYLOAD_LOGGING,
target_target_id=subscription_id,
target_target_type=TargetTypes.SUBSCRIPTION).result.data_sets[0].metadata.id
if payload_data_set_id is None:
print("Payload data set not found. Please check subscription status.")
else:
print("Payload data set id: ", payload_data_set_id)
- Stockez les données de contenu dans la table de journalisation de contenu utile:
import uuid
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord
print("Performing explicit payload logging.....")
wos_client.data_sets.store_records(data_set_id=payload_data_set_id, request_body=[PayloadRecord(
scoring_id=str(uuid.uuid4()),
request=openscale_input,
response=openscale_output,
response_time=460
)])
time.sleep(5)
pl_records_count = wos_client.data_sets.get_records_count(payload_data_set_id)
print("Number of records in the payload logging table: {}".format(pl_records_count))
wos_client.data_sets.show_records(data_set_id=payload_data_set_id)
Enregistrement des données de charge utile pour les ressources d'IA générative
Pour gérer les données de contenu utile afin de configurer la dérive v2, la qualité de l'IA générative et les évaluations de santé de modèle, watsonx.governance doit consigner vos données de contenu utile dans la table de journalisation de contenu utile.
Les évaluations de la qualité de l'IA générative utilisent des données utiles pour générer des résultats pour les types de tâche suivants lorsque vous évaluez des modèles d'invite:
- Synthèse de texte
- Génération de contenu
- Réponse aux questions
Les évaluations de dérive v2 et de santé de modèle utilisent des données utiles pour générer des résultats pour les types de tâche suivants lorsque vous évaluez des modèles d'invite:
- Classification de texte
- Synthèse de texte
- Génération de contenu
- Extraction d'entités
- Réponse aux questions
Vous pouvez enregistrer vos données de charge utile via le point de terminaison de journalisation de la charge utile ou en téléchargeant un fichier « CSV ». Pour plus d'informations, voir Envoi de transactions de modèle.