Was ist die Grundwahrheit?

Die Grundwahrheit oder Grundwahrheitsdaten beziehen sich auf überprüfte, wahre Daten, die zum Trainieren, Validieren und Testen von Modellen der künstlichen Intelligenz (KI) verwendet werden.
 

Im Bereich Data Science stellen Grundwahrheitsdaten den Goldstandard für genaue Daten dar. Sie ermöglichen es Data Scientists, die Leistung von Modellen zu bewerten, indem sie die Ergebnisse mit der „richtigen Antwort“ (Daten, die auf realen Beobachtungen basieren) vergleichen. Dadurch wird bestätigt, dass Modelle für maschinelles Lernen (ML) genaue Ergebnisse liefern, die der Realität entsprechen.

Grundwahrheitsdaten sind besonders für das überwachte Lernen wichtig, eine Unterkategorie des ML, die markierte Datensätze zum Trainieren von Algorithmen verwendet, um Daten zu klassifizieren (Klassifikatoren) oder Ergebnisse genau vorherzusagen.

Das Labeln von Daten oder deren Kennzeichnung ist eine wesentliche Voraussetzung für die Erhebung von Grundwahrheitsdaten. Ohne genaue Labels oder Annotationen können Daten nicht als Maßstab für die reale Wahrheit angesehen werden.

Grundwahrheitsdaten (auch Ground-Truth-Daten) sind das Fundament des überwachten maschinellen Lernens, das sich auf hochwertige, markierte Datensätze stützt. Überwachte ML-Modelle werden für den Aufbau und die Weiterentwicklung vieler heutiger KI-Anwendungen verwendet. So stecken beispielsweise überwachte ML-Modelle hinter der Bild- und Objekterkennung, der vorausschauenden Analytik, der Analyse der Kundenstimmung und der Spam-Erkennung.

Grundwahrheitsdaten liefern die genau gekennzeichneten, überprüften Informationen, die zum Trainieren überwachter ML-Modelle, zur Validierung ihrer Leistung und zum Testen ihrer Generalisierungsfähigkeit (oder zum Treffen genauer Vorhersagen auf der Grundlage neuer Daten) benötigt werden. Indem sie im Vergleich zu den Vorhersagen des Modells als "richtige Antwort" fungiert, trägt die Grundwahrheit dazu bei, dass KI-Systeme die richtigen Muster lernen und in realen Szenarien zuverlässig funktionieren.

Stellen Sie sich zum Beispiel ein Bild einer Katze vor. Der Trainingsdatensatz für dieses Bild könnte Beschriftungen für den Körper, die Ohren, die Augen und die Schnurrhaare der Katze enthalten,  Klassifizierungen bis hinunter auf die Pixelebene. Anhand dieser Beschriftungen lernen Algorithmen für maschinelles Lernen, wie sie ähnliche Merkmale in neuen Bilddaten identifizieren können.

Die Genauigkeit dieser Labels des Trainingssets ist entscheidend. Wenn die Labels falsch oder uneinheitlich sind (z. B. Hundepfoten statt Katzenpfoten), kann das Modell nicht die richtigen Muster lernen. Dies kann zu falschen Vorhersagen führen.

Eine Katze mit Hundepfoten mag harmlos erscheinen. Doch in Bereichen wie dem Gesundheitswesen und der Bekämpfung des Klimawandels, in denen es auf Genauigkeit in Echtzeit ankommt, sind falsche Vorhersagen weitaus problematischer.  

Die Grundwahrheit ist für den Lebenszyklus des überwachten maschinellen Lernens (ML) unerlässlich, einschließlich der Phasen der Modellschulung, der Validierung und der Tests.

• Training: Während der Trainingsphase liefern die Grundwahrheitsdaten die richtigen Antworten, aus denen das Modell lernen kann. Die Genauigkeit der Datenkennzeichnung ist von entscheidender Bedeutung: Wenn die Grundwahrheitsdaten falsch oder uneinheitlich sind, lernt das Modell falsche Muster und hat Schwierigkeiten bei der Erstellung genauer Vorhersagen.
  
  
• Validierung: Wenn das Modell trainiert ist, wird es danach bewertet, wie gut es aus den Wahrheitsdaten gelernt hat. Dies geschieht durch eine Validierung, bei der die Vorhersagen des Modells mit einer anderen Stichprobe von Wahrheitsdaten verglichen werden. In dieser Phase kann das Modell angepasst und verfeinert werden.
  
• Testen: Nachdem das Modell trainiert und validiert wurde, hilft das Testen mit einem neuen Grundwahrheitsdatensatz, um sicherzustellen, dass das Modell auch bei neuen, ungesehenen Daten gut funktioniert (Generalisierung). Dies ist der Punkt, an dem die Effektivität des Modells in realen Szenarien wirklich bewertet wird. Metriken wie Genauigkeit, Präzision und Wiedererkennung bewerten die Leistung des Modells und zeigen Bereiche auf, die verbessert werden müssen.
  

Die Grundwahrheit dient als Grundlage für verschiedene überwachte Lernaufgaben, darunter Klassifizierung, Regression und Segmentierung. Ganz gleich, ob ein Modell die Kategorisierung von Daten, die Vorhersage numerischer Ergebnisse oder die Identifizierung von Objekten in Bildern erlernt, die Grundwahrheit liefert den Benchmark für genaue Vorhersagen. Für diese Aufgaben gibt es eine Vielzahl von realen Anwendungsfällen, bei denen die Genauigkeit der Grundwahrheitsdaten entscheidend für den Erfolg ist..

Bei Klassifizierungsaufgaben liefern Grundwahrheitsdaten die richtigen Labels für jede Eingabe und helfen dem Modell, die Daten in vordefinierte Klassen einzuordnen. Bei der binären Klassifizierung zum Beispiel unterscheidet ein Modell zwischen zwei Kategorien (wie wahr oder falsch). Die Klassifizierung mit mehreren Klassen ist etwas komplexer: Das Modell ordnet die Daten einer von mehreren Klassen zu, die es auswählen muss.  

Nehmen wir das Gesundheitswesen. KI-Plattformen verwenden häufig eine Mehrklassen-Klassifizierung, um medizinische Bilder wie CT-Scans und MRTs zur Unterstützung der Diagnose zu analysieren.

Grob gesagt kann eine KI-Anwendung ein Röntgenbild eines Arms betrachten und ihn in eine von vier Klassen einordnen: zertrümmert, gebrochen, verstaucht oder gesund. Wenn die Basisdaten fehlerhaft sind, kann dies zu falschen Vorhersagen führen, die möglicherweise zu Fehldiagnosen oder verzögerten Behandlungen führen.

Regressionsaufgaben konzentrieren sich auf die Vorhersage von kontinuierlichen Werten. Die Grundwahrheitsdaten stellen die tatsächlichen numerischen Ergebnisse dar, die das Modell vorhersagen soll. Ein Modell der linearen Regression kann zum Beispiel Hauspreise auf der Grundlage von Faktoren wie Quadratmeterzahl, Anzahl der Zimmer und Lage vorhersagen.

Bei der Bekämpfung des Klimawandels nutzen KI-Modelle Satellitenbilder und Fernerkundungsdaten, um Umweltveränderungen wie Temperaturschwankungen oder Abholzung zu überwachen.

Zu den Grundwahrheitsdaten gehören in diesem Fall verifizierte Aufzeichnungen historischer Wetterdaten oder bekannte Temperaturmessungen. Diese Wahrheitsdaten tragen dazu bei, dass die Vorhersagen des KI-Modells genau sind und können wichtige politische und klimapolitische Entscheidungen beeinflussen.

Bei Segmentierungsaufgaben geht es darum, ein Bild oder einen Datensatz in verschiedene Regionen oder Objekte aufzuteilen. Die Basisdaten für die Segmentierung werden oft auf Pixelebene definiert, um Grenzen oder Regionen innerhalb eines Bildes zu identifizieren.

Bei der Entwicklung von autonomen Fahrzeugen werden beispielsweise Labels für die Grundwahrheit verwendet, um Modelle zu trainieren, die Fußgänger, Fahrzeuge und Straßenschilder in realen Umgebungen erkennen und unterscheiden und entsprechend handeln können. Wenn die Labels der Grundwahrheit falsch oder uneinheitlich sind, könnte das Modell bestimmte Objekte falsch identifizieren, was ein ernsthaftes Sicherheitsrisiko im Straßenverkehr darstellen würde.

Es gibt verschiedene Herausforderungen bei der Erstellung von qualitativ hochwertigen Grundwahrheitsdaten, darunter:

• Inkonsistentes Daten-Labeling: Data Scientists stoßen oft auf Schwankungen in den Datensätzen, was zu Inkonsistenzen führen kann, die das Modellverhalten beeinflussen. Selbst kleine Fehler bei der Kennzeichnung von Zuschreibungen und Zitaten können zu Fehlern in der Modellvorhersage führen.
  
  
• Subjektivität und Mehrdeutigkeit: Viele Aufgaben im Rahmen des Daten-Labelings erfordern menschliches Urteilsvermögen, das subjektiv sein kann. Bei Aufgaben wie der Stimmungsanalyse beispielsweise können verschiedene Kommentatoren die Daten unterschiedlich interpretieren, was zu Unstimmigkeiten in der Grundwahrheit führt.
  
  
• Komplexität der Daten: Große, vielfältige Datensätze, wie sie in Bereichen wie der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) oder generativer künstlicher Intelligenz üblich sind, können eine genaue Kennzeichnung erschweren. Die Komplexität der Daten mit mehreren möglichen Labels und kontextuellen Nuancen kann die Ermittlung einer konsistenten Grundwahrheit erschweren.
  
  
• Verzerrte und voreingenommene Daten: Grundwahrheitsdaten sind möglicherweise nicht immer vollständig repräsentativ für reale Szenarien, insbesondere wenn der gekennzeichnete Datensatz unvollständig oder unausgewogen ist. Dies kann zu voreingenommenen Modellen führen.
  
  
• Skalierbarkeit und Kosten: Die Kennzeichnung großer Datensätze, insbesondere solcher, die Expertenwissen und direkte Beobachtung erfordern (wie z. B. medizinische Bilder), ist sowohl zeitaufwändig als auch kostspielig. Die Skalierung der Datenkennzeichnung, um den Anforderungen moderner KI-Systeme gerecht zu werden, erfordert oft eine Automatisierung oder Crowdsourcing. Aber auch bei diesen Ansätzen können Fehler oder Unstimmigkeiten auftreten.

Es gibt verschiedene Strategien und Methoden, die Unternehmen zur Ermittlung und Optimierung hochwertiger Grundwahrheitsdaten anwenden können, darunter:

• Definition des Ziels und der Datenanforderungen: Eine klare Definition der Modellziele hilft Unternehmen dabei, die Arten von Daten und die erforderlichen Kennzeichnungen zu bestimmen, sodass der Prozess der Datenerfassung mit der beabsichtigten Verwendung des Modells harmoniert. Dieser Abgleich ist besonders in Bereichen wie der Computer Vision wichtig, in denen ML und neuronale Netzwerke den Systemen die Ableitung sinnvoller Informationen aus visuellen Eingaben beibringen.
  
  
• Entwicklung einer umfassenden Kennzeichnungsstrategie: Organisationen können standardisierte Richtlinien für die Kennzeichnung von Grundwahrheitsdaten erstellen, um die Konsistenz und Genauigkeit des gesamten Datensatzes zu gewährleisten. Ein gut definiertes Schema für die Kennzeichnung könnte als Leitfaden für das Annotieren verschiedener Datenformate dienen und dafür sorgen, dass die Kennzeichnungen während der Modellentwicklung einheitlich bleiben.
  
  
• Zusammenarbeit von Mensch und Maschine: Tools für maschinelles Lernen wie Amazon SageMaker Ground Truth oder IBM® Watson Natural Language Understanding können das Fachwissen menschlicher Annotatoren ergänzen. Amazon SageMaker Ground Truth zum Beispiel bietet einen Service zur Datenkennzeichnung, der die Erstellung von qualitativ hochwertigen Trainingsdatensätzen durch automatisierte Kennzeichnung und menschliche Überprüfungsprozesse erleichtert.
  
  
• Überprüfung der Datenkonsistenz: Teams können die Konsistenz der gekennzeichneten Daten überwachen, indem sie Qualitätssicherungsprozesse wie z. B. Interannotator Agreements (IAA) implementieren. Eine IAA ist eine statistische Metrik, die den Grad der Konsistenz zwischen verschiedenen Kommentatoren bei der Kennzeichnung der gleichen Daten misst.
  
  
• Umgang mit Verzerrungen: Data Scientists sollten sich potenzieller Verzerrungen in ihren Grundwahrheitsdatensätzen bewusst sein und versuchen, diese zu vermeiden. Sie können verschiedene Techniken anwenden, wie z. B. die Gewährleistung vielfältiger Datenerhebungspraktiken durch den Einsatz mehrerer, unterschiedlicher Annotatoren für jeden Datenpunkt, den Abgleich von Daten mit externen Quellen oder die Verwendung von Strategien zur Datenanreicherung für unterrepräsentierte Gruppen.
  
  
• Aktualisierung der Grundwahrheitsdaten: Grundwahrheitsdaten sind ein dynamisches Gut. Unternehmen können die Vorhersagen ihres Modells anhand neuer Daten bestätigen und den beschrifteten Datensatz aktualisieren, wenn sich die Bedingungen in der realen Welt ändern. Satellitenbilder, Fernerkundungsdaten und Klimawandelmodelle sind Beispiele für Datensätze, die eine kontinuierliche Kalibrierung erfordern, um die Genauigkeit auf Dauer zu erhalten.