Konfiguration der Drift- v2 -Auswertungen
Sie können drift v2 so konfigurieren, dass Sie Änderungen Ihrer Daten im Laufe der Zeit messen, um konsistente Ergebnisse für Ihr Modell zu gewährleisten. Verwenden Sie Drift v2, um Änderungen in der Modellausgabe, der Genauigkeit Ihrer Vorhersagen und der Verteilung Ihrer Eingabedaten zu ermitteln.
In den folgenden Abschnitten wird beschrieben, wie Drift v2 -Bewertungen konfiguriert werden:
Konfiguration von Drift- v2 -Auswertungen für Machine-Learning-Modelle
Wenn Sie bei der Vorbereitung von Modellauswertungen Payload-Daten protokollieren, können Sie Drift- v2 -Auswertungen für Machine-Learning-Modelle konfigurieren, um besser zu verstehen, wie sich Änderungen in Ihren Daten auf die Modellergebnisse auswirken.
Berechnen Sie das Driftarchiv
Sie müssen die Methode wählen, die Sie zur Analyse Ihrer Trainingsdaten verwenden möchten, um die Datenverteilungen Ihrer Modellmerkmale zu bestimmen. Wenn Sie Trainingsdaten anschließen und die Größe Ihrer Daten weniger als 500 MB beträgt, können Sie sich für die Berechnung des Drift v2 entscheiden.
Wenn Sie Ihre Trainingsdaten nicht anschließen oder wenn die Datengröße mehr als 500 MB beträgt, müssen Sie das drift v2 in einem Notebook berechnen lassen. Sie müssen das drift v2 auch in Notebooks berechnen, wenn Sie Bild- oder Textmodelle auswerten wollen.
Sie können die Größe Ihrer Trainingsdaten begrenzen, indem Sie maximale Stichprobengrößen für die Menge der Trainingsdaten festlegen, die für die Bewertung und die Berechnung des drift v2 verwendet werden. Bei Nicht-WatsonWatson Machine Learning ist die Berechnung des drift v2 mit Kosten für die Bewertung der Trainingsdaten anhand des Bewertungsendpunkts Ihres Modells verbunden.
Abweichungsschwellenwerte festlegen
Sie müssen für jede Metrik Schwellenwerte festlegen, um Probleme mit Ihren Bewertungsergebnissen zu erkennen. Die von Ihnen festgelegten Werte erstellen Alerts im Insights-Dashboard , die angezeigt werden, wenn Metrikbewertungen gegen Ihre Schwellenwerte verstoßen. Sie müssen Werte zwischen 0 und 1 festlegen. Die Metrikscores müssen niedriger als die Schwellenwerte sein, um Verstöße zu verhindern.
Wichtige Funktionen auswählen
Nur bei Tabellenmodellen wird die Merkmalsbedeutung berechnet, um die Auswirkungen der Merkmalsdrift auf Ihr Modell zu bestimmen. Zur Berechnung der Merkmalsbedeutung können Sie die wichtigen und wichtigsten Merkmale aus Ihrem Modell auswählen, die den größten Einfluss auf die Modellergebnisse haben.
Wenn Sie SHAP-Erklärungen konfigurieren, werden die wichtigen Merkmale automatisch durch die Verwendung globaler Erklärungen erkannt.
Sie können auch eine Liste wichtiger Features hochladen, wenn Sie eine JSON-Datei hochladen. Es werden Beispiel-Snippets bereitgestellt, die Sie zum Hochladen einer JSON-Datei verwenden können. Weitere Informationen finden Sie unter Ausschnitte für Featurebedeutung.
Stichprobegröße festlegen
Stichprobengrößen werden verwendet, um zu verstehen, wie die Anzahl der Transaktionen, die während der Auswertungen ausgewertet werden, zu verarbeiten ist. Sie müssen einen Mindeststichprobenumfang festlegen, um die niedrigste Anzahl von Transaktionen anzugeben, die Sie auswerten möchten. Sie können auch einen maximalen Stichprobenumfang festlegen, um die maximale Anzahl von Transaktionen anzugeben, die Sie auswerten möchten.
Konfiguration von Drift- v2 -Auswertungen für generative KI-Modelle
Wenn Sie Eingabeaufforderungsvorlagen auswerten, können Sie eine Zusammenfassung der Auswertungsergebnisse der Drift v2 für die folgenden Tasktypen überprüfen:
- Textausfassung
- Textklassifizierung
- Inhaltsgenerierung
- Entitätsextraktion
- Beantwortung von Fragen
- Abruf Augmented Generation (RAG)
Abweichungsschwellenwerte festlegen
Zum Konfigurieren von Drift v2 -Auswertungen mit eigenen Einstellungen können Sie einen minimalen und maximalen Stichprobenumfang für jede Metrik festlegen. Die minimale oder maximale Stichprobengröße gibt die minimale oder maximale Anzahl von Modelltransaktionen an, die Sie auswerten wollen.
Sie können auch Basisdaten konfigurieren und Schwellenwerte für jede Metrik festlegen. Schwellenwerte erstellen Alerts auf der Auswertungsübersichtsseite, die angewendet werden, wenn Metrikscores gegen Ihre Schwellenwerte verstoßen. Sie müssen Werte zwischen 0 und 1 festlegen. Die Metrikscores müssen niedriger als die Schwellenwerte sein, um Verstöße zu verhindern.
Berechnen Sie das Driftarchiv
Watsonx.governance verwendet Nutzdatendatensätze, um die Baseline für Drift v2 -Bewertungen zu erstellen. Sie müssen die Anzahl der Datensätze konfigurieren, die Sie als Basisdaten berechnen möchten. Sie können ein Notebook verwenden, um Ihre Drift v2 -Referenzdatenarchiv zu generieren, um Bewertungen zu konfigurieren.
Berechnen Sie die Einbettungen
Um Einbettungsdriftmetriken zu berechnen, müssen Sie Einbettungen mit Ihren Testdaten bereitstellen. Sie können Notizbücher verwenden, um Einbettungen zu erzeugen und aufrechtzuerhalten.