Verwaltung von Feedback-Daten

Sie müssen in watsonx.governance Rückmeldedaten bereitstellen, damit Sie Qualitätsauswertungen konfigurieren und etwaige Änderungen an Ihren Modellvorhersagen feststellen können.

Wenn Sie Feedbackdaten bereitstellen, können Sie regelmäßig die Genauigkeit Ihrer Modellvorhersagen bewerten.

Protokollierung von Rückmeldedaten

Die von Ihnen bereitgestellten Feedback-Daten werden als Datensätze in einer Feedback-Protokolltabelle gespeichert.

Die von Ihnen bereitgestellten Feedback-Daten müssen dieselbe Struktur von Merkmals- und Vorhersagespalten wie Ihre Trainingsdaten enthalten. Die Daten müssen auch das bekannte Modellergebnis enthalten. Alle Spalten in den von Ihnen bereitgestellten Feedbackdaten, die nicht in den Trainingsdaten enthalten sind, werden nicht verarbeitet.

Sie müssen Ihre Feedback-Daten in der Feedback-Protokollierungstabelle protokollieren, um Qualitäts- und generative KI-Qualitätsbewertungen zu konfigurieren. Die Feedbackprotokollierungstabelle enthält die folgenden Spalten, wenn Sie Eingabeaufforderungsvorlagen auswerten:

  • Erforderliche Spalten:
    • Eingabeaufforderungsvariable (n): Enthält die Werte für die Variablen, die für Eingabeaufforderungsschablonen erstellt werden.
    • reference_output: Enthält den Ground Truth-Wert
  • Optionale Spalten:
    • _original_prediction: Enthält die Ausgabe, die vom Basismodell erzeugt wird

Abgeleitete KI-Qualitätsbewertungen verwenden Feedbackdaten, um Ergebnisse für die folgenden Tasktypen zu generieren, wenn Sie Eingabeaufforderungsvorlagen auswerten:

  • Textausfassung
  • Inhaltsgenerierung
  • Beantwortung von Fragen
  • Entitätsextraktion

Qualitätsbewertungen verwenden Feedbackdaten zum Generieren von Ergebnissen für Textklassifizierungsaufgaben.

Rückmeldedaten hochladen

Sie können einen Endpunkt für die Feedbackprotokollierung verwenden, um Daten für Qualitätsbewertungen hochzuladen. Sie können Feedback-Daten auch über eine „ CSV “-Datei hochladen. Weitere Informationen finden Sie unter Modelltransaktionen senden.

Bei Vorserienmodellen können Sie eine Verbindung zu einer „ CSV “-Datei herstellen, die Feedback-Daten enthält und unter Cloud Object Storage oder Db2 gespeichert ist. Weitere Informationen finden Sie unter Auswertungsergebnisse überprüfen.