Häufig gestellte Fragen

Wie viel Rechenleistung wird benötigt, um „ Watson OpenScale “ auf meinen eigenen Servern auszuführen?

Es gibt bestimmte Richtlinien für die Hardwarekonfiguration für Konfigurationen mit drei Knoten und sechs Knoten. Das IBM Technical Sales-Team kann Ihnen auch bei der Dimensionierung Ihrer spezifischen Konfiguration behilflich sein. Da „ Watson OpenScale “ als Add-on zu „ IBM Cloud Pak for Data “ läuft, müssen Sie die Anforderungen für beide Softwareprodukte berücksichtigen.

Warum benötigt „ Watson OpenScale “ Zugriff auf Trainingsdaten?

Sie müssen entweder „ Watson OpenScale “ Zugriff auf die Trainingsdaten gewähren, die unter Db2 oder IBM Cloud Object Storage gespeichert sind, oder Sie müssen ein Notebook ausführen, um auf die Trainingsdaten zuzugreifen.

Watson OpenScale benötigt aus folgenden Gründen Zugriff auf Ihre Trainingsdaten:

• Zur Erstellung von „Local Interpretable Model-Agnostic Explanations“ (LIME) und kontrastiven Erklärungen: Zur Erstellung von Erklärungen ist der Zugriff auf statistische Daten wie Medianwert, Standardabweichung und eindeutige Werte aus den Trainingsdaten erforderlich.
• So zeigen Sie Statistiken zu den Trainingsdaten an: Damit die Seite mit den Details zur Verzerrung angezeigt werden kann, müssen unter „ Watson OpenScale “ Trainingsdaten vorhanden sein, aus denen Statistiken generiert werden können.
• So erstellen Sie das Drift- v2 -Archiv: Der Drift- v2 -Monitor verwendet Trainingsdaten, um die Basislinie für die Drift- v2 -Auswertungen festzulegen

Beim Notebook-basierten Ansatz müssen Sie die Statistiken und andere Informationen hochladen, wenn Sie eine Bereitstellung in „ Watson OpenScale “ konfigurieren. Watson OpenScale hat außerhalb des Notebooks, das in Ihrer Umgebung ausgeführt wird, keinen Zugriff mehr auf die Trainingsdaten. Es hat nur Zugriff auf die Informationen, die während der Konfiguration hochgeladen wurden.

Gibt es ein Kommandozeilen-Tool, das man verwenden kann?

Ja! Es gibt ein CLI-Tool namens „ ModelOps “, dessen offizieller Name „ Watson OpenScale CLI model operations tool“ lautet. Verwenden Sie es, um Aufgaben im Zusammenhang mit dem Lebenszyklusmanagement von Machine-Learning-Modellen auszuführen.

Welche Version von „ Python “ kann ich mit „ Watson OpenScale “ verwenden?

Da „ Watson OpenScale “ unabhängig von Ihrem Modellerstellungsprozess ist, unterstützt es alle Versionen von „ Python “, die Ihr Anbieter für maschinelles Lernen unterstützt. Der Client „ Watson OpenScale “ ( Python ) ist eine Bibliothek von „ Python “, die direkt mit dem Dienst „ Watson OpenScale “ unter IBM Cloud zusammenarbeitet. Die aktuellsten Versionsinformationen finden Sie im Abschnitt „Systemanforderungen “. Anstelle der Benutzeroberfläche des „ Watson OpenScale “-Clients können Sie den „ Python “-Client verwenden, um eine Protokollierungsdatenbank direkt zu konfigurieren, Ihre Machine-Learning-Engine zu binden sowie Bereitstellungen auszuwählen und zu überwachen. Beispiele für die Verwendung des „ Python “-Clients auf diese Weise finden Sie in den Beispiel-Notebooks unter Watson OpenScale.

Mit welchen Browsern kann ich Watson OpenScale nutzen?

Für die Wartung des Dienstes „ Watson OpenScale “ ist dieselbe Browserversion erforderlich wie für IBM Cloud. Weitere Informationen finden Sie unter dem Thema „Voraussetzungen für den Dienst „ IBM Cloud “.

Zur Konfiguration eines Modells sind Angaben zum Speicherort der Trainingsdaten erforderlich. Zur Auswahl stehen „ Cloud Object Storage “ und „ Db2 “. Wenn sich die Daten unter Netezza befinden, kann Watson OpenScale dann Netezza verwenden?

Verwenden Sie dieses Notizbuch „ Watson OpenScale “, um die Daten von Netezza auszulesen und die Trainingsstatistiken sowie das Drift- v2 -Archiv zu erstellen.

Warum erkennt „ Watson OpenScale “ die am Modell vorgenommenen Änderungen nicht?

Watson OpenScale bezieht sich auf die Bereitstellung eines Modells, nicht auf das Modell selbst. Sie müssen eine neue Bereitstellung erstellen und diese anschließend in „ Watson OpenScale “ als neues Abonnement konfigurieren. Auf diese Weise können Sie die beiden Versionen des Modells miteinander vergleichen.

Inwiefern lassen sich Modellverzerrungen durch den Einsatz von „ Watson OpenScale “ mindern?

Die Debiasing-Fähigkeiten von „ Watson OpenScale “ entsprechen Unternehmensstandard. Es ist robust, skalierbar und eignet sich für eine Vielzahl von Modellen. Die Entverzerrung bei „ Watson OpenScale “ erfolgt in zwei Schritten.

1. Lernphase: Erlernen des Verhaltens des Kundenmodells, um zu erkennen, wann es voreingenommen agiert.
2. Anwendungsphase: Feststellen, ob das Modell des Kunden bei einem bestimmten Datenpunkt verzerrt reagiert, und gegebenenfalls die Verzerrung beheben. Weitere Informationen finden Sie unter „Überprüfen von entzerrten Transaktionen “.

Ist es möglich, bei sensiblen Merkmalen wie ethnischer Zugehörigkeit und Geschlecht auf Modellverzerrungen zu prüfen, auch wenn das Modell nicht darauf trainiert wurde?

Ja. Vor kurzem hat Watson OpenScale eine bahnbrechende Funktion namens „Indirect Bias Detection“ eingeführt Damit lässt sich feststellen, ob das Modell indirekt eine Verzerrung bei sensiblen Merkmalen aufweist, auch wenn es nicht auf diese Merkmale trainiert wurde. Weitere Informationen finden Sie unter „Überprüfen von entzerrten Transaktionen “.

Kann ich die Fairness des Modells über eine API konfigurieren?

Ja, das ist mit dem „ Watson OpenScale “-SDK möglich. Weitere Informationen finden Sie unter IBM, Watson OpenScale und Python sowie in der SDK-Dokumentation.

Welche verschiedenen Risiken sind mit der Verwendung eines Modells für maschinelles Lernen verbunden?

Verschiedene Risiken im Zusammenhang mit Modellen des maschinellen Lernens, wie beispielsweise Veränderungen bei den Eingabedaten (auch als „Drift“ bezeichnet), können dazu führen, dass das Modell ungenaue Entscheidungen trifft, was sich wiederum auf die Geschäftsprognosen auswirkt. Trainingsdaten können bereinigt werden, um Verzerrungen zu beseitigen, doch Laufzeitdaten können zu einem verzerrten Verhalten des Modells führen.

Herkömmliche statistische Modelle lassen sich leichter interpretieren und erklären; die Unfähigkeit, die Ergebnisse eines Modells des maschinellen Lernens zu erklären, kann jedoch eine ernsthafte Gefahr für die Nutzung des Modells darstellen.

Weitere Informationen finden Sie unter „Modellrisiken verwalten “.

Welche Arten von Erklärungen werden in „ Watson OpenScale “ gezeigt?

Watson OpenScale bietet lokale Erklärungen auf Basis von LIME, kontrastive Erklärungen sowie SHAP-Erklärungen. Weitere Informationen finden Sie unter „Erklärbarkeit anzeigen “.

Was ist eine Was-wäre-wenn-Analyse in „ Watson OpenScale “?

Die Benutzeroberfläche für Erklärungen bietet zudem die Möglichkeit, Was-wäre-wenn-Szenarien zu testen. So kann der Benutzer beispielsweise die Merkmalswerte des Eingabedatenpunkts ändern und deren Auswirkungen auf die Modellvorhersage und die Wahrscheinlichkeit überprüfen.

Welche Modelle unterstützen LIME-Erklärungen?

Die folgenden Modelltypen unterstützen LIME-Erklärungen in „ Watson OpenScale “:

• Strukturierte Regressions- und Klassifikationsmodelle
• Modelle zur Klassifizierung von unstrukturiertem Text und Bildern

Welche Modelle unterstützen kontrastive Erklärungen und Was-wäre-wenn-Analysen?

Kontrastive Erklärungen und Was-wäre-wenn-Analysen werden nur für Modelle unterstützt, die strukturierte Daten und Klassifizierungsprobleme verwenden.

Was sind steuerbare Merkmale in der Konfiguration der Erklärbarkeit von „ Watson OpenScale “?

Mithilfe von steuerbaren Merkmalen können bestimmte Merkmale des Eingabedatenpunkts gesperrt werden, sodass sie sich bei der Erstellung der kontrastiven Erklärung nicht ändern und auch in der Was-wäre-wenn-Analyse nicht verändert werden können. Die Merkmale, die nicht geändert werden sollen, sollten in der Konfiguration der Erklärbarkeit als „nicht steuerbar“ oder „NEIN“ festgelegt werden.

Muss ich das Dashboard unter Watson OpenScale ständig im Auge behalten, um sicherzustellen, dass sich meine Modelle wie erwartet verhalten?

Nein, Sie können in „ Watson OpenScale “ E-Mail-Benachrichtigungen für die Bereitstellung Ihrer Produktionsmodelle einrichten. Bei jedem fehlgeschlagenen Risikobewertungstest werden E-Mail-Benachrichtigungen versendet, sodass Sie die Probleme überprüfen und beheben können.

In welchem Zusammenhang stehen IBM, OpenPages und Watson OpenScale im Gesamtkontext des Risikomanagements?

IBM bietet eine umfassende Lösung für das Modellrisikomanagement mit IBM Watson OpenScale und IBM OpenPages. IBM OpenPages bietet eine Modellrisikosteuerung zur Speicherung und Verwaltung eines umfassenden Modellbestands. IBM Watson OpenScale überwacht und misst die Ergebnisse von KI-Modellen über deren gesamten Lebenszyklus hinweg und validiert die Modelle.

Weitere Informationen finden Sie unter „Modellrisikomanagement und Modell-Governance “.

Muss ich in einer Vorproduktionsumgebung, in der „ Watson OpenScale “ verwendet wird, alle Überwachungsinstanzen in der Produktionsumgebung neu konfigurieren, nachdem das Modell einer Risikobewertung unterzogen und für den Einsatz freigegeben wurde?

Nein, unter Watson OpenScale wird eine Möglichkeit bereitgestellt, die Konfiguration eines Vorproduktions-Abonnements in ein Produktions-Abonnement zu kopieren. Weitere Informationen finden Sie unter „Modellrisiken verwalten “.

Kann ich in „ Watson OpenScale “ meine Modellbereitstellungen in der Vorproduktionsphase mit einem Referenzmodell vergleichen, um zu sehen, wie gut oder schlecht sie sind?

Ja, unter Watson OpenScale haben Sie die Möglichkeit, zwei Modellbereitstellungen oder Abonnements miteinander zu vergleichen. Auf jedem der konfigurierten Monitore können Sie einen direkten Vergleich des Verhaltens der beiden Modelle sehen. Um einen Vergleich durchzuführen, rufen Sie die Modellübersichtsseite im Dashboard unter Watson OpenScale auf und wählen Sie Actions -> Compare. Weitere Informationen finden Sie unter „Auswertungsergebnisse überprüfen “.

Welche Daten werden in „ Watson OpenScale “ zur Berechnung der Qualitätskennzahlen herangezogen?

Es werden Qualitätskennzahlen berechnet, die manuell gekennzeichnete Feedback-Daten und die überwachten Reaktionen der Bereitstellung auf diese Daten nutzen.

Warum sind in „ Watson OpenScale “ einige der Konfigurationsregisterkarten deaktiviert?

Unter bestimmten Voraussetzungen werden bestimmte Registerkarten aktiviert. Sie können den Grund dafür sehen, warum diese Registerkarte nicht aktiviert ist, indem Sie mit der Maus über das Kreissymbol auf der Registerkarte fahren.