Begriffe für die Bewertung von KI-Assets

Machen Sie sich mit den Begriffen und Konzepten vertraut, die bei der Bewertung von KI-Assets verwendet werden, darunter traditionelle Modelle des maschinellen Lernens und generative KI-Assets.

Akzeptable Fairness
Der Prozentsatz positiver Ergebnisse, den eine beobachtete Gruppe erzielen muss, um die Fairnessschwelle zu erreichen. Er wird berechnet, indem die vollkommene Gleichheit mit dem Fairness-Schwellenwert multipliziert wird.

Warnung:
Eine Benachrichtigung, dass eine Leistungskennzahl außerhalb des von den konfigurierten Überwachungsinstanzen festgelegten zulässigen Bereichs liegt.

API-Schlüssel
Eine eindeutige Kennung, mit der Sie sich automatisch bei IBM Cloud Pak for Data oder bei einer bestimmten Service-Instanz authentifizieren können.

Ausgewogener Datensatz
Ein Datensatz, der die vom Modell für die ausgewählte Stunde empfangenen Bewertungsanfragen sowie die verzerrten Datensätze enthält.

Ausgangsdaten
: Daten, die vor einer Intervention oder einer Änderung erhoben werden. Diese Daten dienen als Grundlage, mit der künftig erhobene Daten abgeglichen werden.

Stapelverarbeitung
Verarbeitet die Eingabedaten aus einer Datei, einer Datenverbindung oder aus verbundenen Daten in einem Speicher-Bucket und schreibt die Ausgabe an einen ausgewählten Speicherort. Eine Modellbereitstellungsmethode, die Eingabedaten aus einer Datei verarbeitet und die Ausgabe in eine Datei schreibt.

Stapelverarbeitung :
Wenn Sie Bereitstellungen mit umfangreichen Nutzdaten oder Rückmeldedaten überwachen müssen, empfiehlt sich die Stapelverarbeitung.

Verzerrung
: Wenn ein Modell des maschinellen Lernens für eine beobachtete Person, Gruppe oder Sache ein Ergebnis liefert, das im Vergleich zu einem Referenzergebnis als ungerecht angesehen wird. Dies kann durch ein Problem mit den Trainingsdaten für ein Modell verursacht werden. Der Fairness-Monitor kann Verzerrungen erkennen, die unter einem von Ihnen festgelegten Schwellenwert liegen. Verwandter Begriff: Debiasing.

Cloud Object Storage
Ein von IBM angebotener Dienst zur Speicherung und zum Abruf von Daten. Wenn Cloud Object Storage das Repository für KI-Assets ist, müssen die zugehörigen Anmeldedaten verwendet werden, um für Auswertungen eine Verbindung zu den Assets herzustellen.
Siehe auch: Ressourcen-ID, API-Schlüssel.

Konfidenzwert:
Die Wahrscheinlichkeit, dass die Vorhersage eines Modells für maschinelles Lernen korrekt ist. Ein höherer Wert deutet darauf hin, dass die Wahrscheinlichkeit größer ist, dass das vorhergesagte Ergebnis mit dem tatsächlichen Ergebnis übereinstimmt.

Kontrastive Erklärung:
Erklärungen, die die minimale Menge an Änderungen der Merkmalsspaltenwerte angeben, die erforderlich sind, um die Modellvorhersage zu ändern. Dies wird für einen einzelnen Datenpunkt berechnet.

Data-Mart -Arbeitsbereich, in dem alle Metadaten für die Bewertung von KI-Assets gespeichert werden.

Verzerrungsfreie Transaktionen
Die Transaktionen, für die ein verzerrungsfreies Ergebnis generiert wird.

Entverzerrung:
Verringerung von Verzerrungen in Modellvorhersagen mithilfe von Fairness-Algorithmen, automatisch oder manuell.

Bereitstellung:
Sie stellen ein KI-Asset bereit, um einen Endpunkt verfügbar zu machen, damit Sie neue Daten in das Asset eingeben und eine Bewertung oder eine generierte Ausgabe erhalten können.

Drift
: Wenn die Leistung eines KI-Modells im Laufe der Zeit aufgrund von Änderungen an den Eingabedaten oder den Prompt-Mustern nachlässt.

Bewertung
: Der Prozess, bei dem anhand von Kennzahlen ein KI-System beurteilt und gemessen wird, wie gut es in Bezug auf Aspekte wie Fairness, Genauigkeit oder Zuverlässigkeit abschneidet.

Erläuterung:
Ein Einblick in die Auswertung einer bestimmten Messung eines KI-Assets, der den Nutzern hilft, das prädiktive oder generative Verhalten zu interpretieren.

Fairness
gibt an, ob ein KI-Modell verzerrte oder unausgewogene Ergebnisse liefert, die eine überwachte Gruppe gegenüber einer Referenzgruppe begünstigen.

Enthält
eine Liste der Spaltennamen des Datensatzes (Merkmalsspalten), die zum Trainieren eines Modells für maschinelles Lernen verwendet werden.
Beispiel: In einem Modell, das vorhersagt, ob eine Person für einen Kredit in Frage kommt, könnten Merkmale wie der Beschäftigungsstatus und die Bonität stärker gewichtet werden als die Postleitzahl.

Feedback-Daten:
Beschriftete Daten, die dem Schema und der Struktur der Daten entsprechen, die zum Trainieren oder Feinabstimmen einer KI-Komponente verwendet wurden.

Globale Erklärung
Erläutert die Vorhersage des Modells anhand einer Datenstichprobe.

Headless-Abonnement
Ein Abonnement, bei dem die Bereitstellung im Hintergrund in Echtzeit erfolgt. Über das Headless-Abonnement kann der Benutzer die Bereitstellung anhand der Daten (Payload/Feedback) überwachen, die an die Bereitstellung übermittelt werden, ohne dass Bewertungs URL en bereitgestellt werden müssen.

Bezeichnete Daten:
Daten, die einheitlich gekennzeichnet sind, damit KI-Algorithmen sie während des Trainings oder der Feinabstimmung erkennen können.
Beispiel: Eine Datentabelle mit beschrifteten Spalten ist typisch für das überwachte maschinelle Lernen. Bilder können auch für die Verwendung in einem maschinellen Lernproblem beschriftet werden.

Lokale Erklärung:
Erläutert die Vorhersage eines Modells anhand konkreter, einzelner Beispiele.

Metafelder:
Produktspezifische Daten, die sich von Produkt zu Produkt unterscheiden.

Überwachen
Sie die Leistungsergebnisse verschiedener Bewertungen von KI-Assets wie Fairness, Drift, Qualität und Erklärbarkeit.
Beispiel: Fairness, Drift, Qualität, Erklärbarkeit.

Beobachtete Gruppe
Bei der Bewertung der Fairness steht die beobachtete Gruppe für die Werte, bei denen das Risiko voreingenommener Ergebnisse am größten ist.
Beispiel: Im Bereich „Geschlecht“ können „Weiblich“ und „Nichtbinär“ als überwachte Gruppen festgelegt werden.

Online-Bereitstellung:
Methode zum Zugriff auf eine Bereitstellung über einen API-Endpunkt, der eine Echtzeit-Bewertung oder -Lösung für neue Daten bereitstellt.

Nutzdaten:
Alle Echtzeitdaten, die einem Modell zugeführt werden. Besteht aus Anfragen an ein Modell (Eingabe) und Antworten des Modells (Ausgabe).

Protokollierung von Nutzdaten
– Speicherung von Nutzdaten.

Vollkommene Gleichheit
Der Prozentsatz der positiven Ergebnisse, die allen Referenzgruppen zugeteilt wurden. Bei den ausgeglichenen und verzerrungsfreien Datensätzen umfasst die Berechnung beobachtete Gruppentransaktionen, die so angepasst wurden, dass sie zu Referenzgruppentransaktionen wurden.

Störgrößen:
Datenpunkte, die bei der Berechnung verschiedener Metriken, die mit Monitoren verbunden sind – wie beispielsweise Fairness und Erklärbarkeit –, um reale Datenpunkte herum simuliert werden.

Vorproduktionsumgebung
Eine Umgebung, in der Daten und Verhaltensweisen im Rahmen der Validierung von KI-Assets vor der Bereitstellung getestet werden.

Vorhersagekolonne
Die Variable, die ein überwachtes Modell des maschinellen Lernens (das mit beschrifteten Daten trainiert wurde) vorhersagt, wenn es mit neuen Daten gefüttert wird.
Siehe auch: Target.

Wahrscheinlichkeit:
Die Sicherheit, mit der ein Modell das Ergebnis vorhersagt. Gilt für Klassifizierungsmodelle.

Produktionsumgebung
Eine Bereitstellungsumgebung, die zur Operationalisierung von KI-Ressourcen in Produktionsumgebungen dient.

Qualitätsindikator
: Ein Indikator, der bewertet, wie gut ein KI-Modell genaue und relevante Ergebnisse generiert oder vorhersagt.

Protokolliert
Transaktionen, anhand derer die Überwachung erfolgt.

Referenzgruppe
Bei der Bewertung der Fairness repräsentiert die Referenzgruppe jene Werte, bei denen das Risiko voreingenommener Ergebnisse am geringsten ist.
Beispiel: Für das Merkmal „Alter“ können Sie die Altersgruppe 30–55 als Referenzgruppe festlegen und die Ergebnisse anderer Kohorten mit dieser Gruppe vergleichen.

Relatives Gewicht:
Das relative Gewicht, das ein Merkmal bei der Vorhersage der Zielvariablen hat. Ein höheres Gewicht bedeutet eine größere Bedeutung. Die Kenntnis der relativen Gewichtung hilft dabei, die Modellergebnisse zu erklären.

Ressourcen-ID
Die eindeutige Kennung für eine in Cloud Object Storage gespeicherte Ressource. So erhalten Sie:

Öffnen Sie https://cloud.ibm.com/resources
Die Ressource (z. B. einen Speicherdienst) suchen und erweitern
Kopieren Sie den Wert für die Ressourcen-ID ohne die Anführungszeichen

Reaktionszeit
Die Zeit, die die Bereitstellung der KI-Komponente benötigt, um eine Bewertungs- oder Generierungsanfrage zu bearbeiten.

Laufzeitdaten
Daten, die während des Lebenszyklus einer KI-Komponente erfasst werden, einschließlich Inferenz- oder Generierungs-Workloads.

Scoring-Endpunkt
Der Endpunkt „ HTTPS “, den Benutzer aufrufen können, um das Scoring-Ergebnis oder die generierte Ausgabe eines bereitgestellten KI-Assets abzurufen.

Bewertungsanfrage
Die Eingabe für eine Bereitstellung.
Siehe auch: Nutzlast.

Scoring
Bei einer Modellinferenz der Vorgang, bei dem eine Anfrage an das Modell gesendet und eine Antwort empfangen wird.

Transaktionen im selbstverwalteten
Modell, die in Ihrem eigenen Data Warehouse gespeichert und von Ihrer eigenen Spark-Analyse-Engine ausgewertet werden.

Anmeldedaten für den
Dienst Die Zugangs-IDs, die für die Verbindung mit Ressourcen unter IBM Cloud erforderlich sind.

Dienstanbieter
Ein Anbieter von Lösungen für maschinelles Lernen (in der Regel eine Modell-Engine: Watson Machine Learning, Amazon Web Services, Azure, benutzerdefiniert), der die Bereitstellungen hostet.

Abonnement:
Eine Bereitstellung wird überwacht. Zwischen Bereitstellung und Abonnement besteht eine 1:1-Zuordnung.

Systemverwaltete
Modelltransaktionen, die in einer Datenbank gespeichert und unter Einsatz von Rechenressourcen ausgewertet werden.

Ziel:
Das Merkmal, die Kennzeichnung oder das Ziel, das die trainierte KI-Komponente vorhersagt oder generiert.
Siehe auch: Rubrik „Prognosen“.

Schwellenwert
Ein Richtwert zur Bewertung einer KI-Komponente; wenn die Leistungsergebnisse unter diesen festgelegten Bereich fallen, wird eine Warnmeldung ausgelöst.

Trainingsdaten
Daten, die zum Anlernen, Trainieren oder Feinabstimmen des Lernalgorithmus einer KI-Komponente verwendet werden.

Transaktionen
Die Datensätze zu KI-Asset-Bewertungen, die in der Nutzdaten-Protokollierungstabelle gespeichert sind.

Unbeschriftete Daten:
Daten, denen keine Beschriftungen zugeordnet sind, die Merkmale, Klassifizierungen und Eigenschaften kennzeichnen. Unstrukturierte Daten, die nicht einheitlich gekennzeichnet sind.
Beispiel: E-Mails oder nicht beschriftete Bilder sind typische Beispiele für unbeschriftete Daten. Unbezeichnete Daten können im unbeaufsichtigten maschinellen Lernen verwendet werden.

Benutzer-ID
Die ID des Benutzers, der mit der Bewertungsanfrage verknüpft ist.