Startseite

Themen

Einpacken

Was ist Bagging?
Bagging mit IBM anwenden Melden Sie sich für Cloud-Updates an
Illustration mit Collage aus Piktogrammen von Computermonitor, Server, Wolken, Punkten
Was ist Bagging?

Bagging, auch bekannt als Bootstrap-Aggregation, ist eine Methode des Ensemble Learnings, die häufig zur Reduzierung der Varianz innerhalb eines verrauschten Datensatzes verwendet wird.

Beim Bagging wird eine zufällige Stichprobe von Daten in einem Trainingssatz mit Ersetzung ausgewählt. Das bedeutet, dass die einzelnen Datenpunkte mehr als einmal ausgewählt werden können. Nach der Erstellung mehrerer Datenstichproben werden diese schwachen Modelle dann unabhängig voneinander trainiert. Je nach Art der Aufgabe, z. B. Regression oder Klassifizierung, ergibt der Durchschnitt oder die Mehrheit dieser Vorhersagen eine genauere Schätzung. 

Hinweis: Der Random-Forest-Algorithmus gilt als Erweiterung der Bagging-Methode, die sowohl Bagging als auch die Randomisierung von Merkmalen verwendet, um einen unkorrelierten Wald von Decision Trees zu erstellen.

Ensemble-Lernen

Das Ensemble Learning macht sich die Idee der „Weisheit der Massen“ zu eigen, die besagt, dass die Entscheidungsfindung einer größeren Gruppe von Menschen in der Regel besser ist als die eines einzelnen Experten. In ähnlicher Weise bezieht sich das Ensemble Learning auf eine Gruppe (oder ein Ensemble) von Basis-Lernern oder -Modellen, die kollektiv auf eine bessere Endvorhersage hinarbeiten.

Ein einzelnes Modell, das auch als Basis- oder schwacher Lerner bezeichnet wird, kann aufgrund einer hohen Varianz oder einer großen Verzerrung individuell nicht gut abschneiden. Wenn jedoch schwache Lerner zusammengefasst werden, können sie einen starken Lerner bilden, weil ihre Kombination die Verzerrung oder Varianz reduziert, was wiederum zu einer besseren Modellleistung führt.

Ensemble-Methoden verwenden häufig Decision Trees zur Veranschaulichung. Wenn dieser Algorithmus nicht bereinigt wurde, kann er zu einer Überanpassung neigen und eine hohe Varianz und eine geringe Abweichung aufweisen. Umgekehrt kann er auch zu einer Unteranpassung mit geringer Varianz und hoher Verzerrung neigen, wenn er sehr klein ist. Dies gilt z. B. für einen Entscheidungsstumpf, also einen Decision Tree mit einer Ebene.

Bedenken Sie, dass ein Algorithmus, der sich in Bezug auf seinen Trainingssatz durch eine Über- oder Unteranpassung auszeichnet, nicht gut auf neue Datensätze verallgemeinert werden kann. Daher werden Ensemble-Methoden verwendet, um diesem Verhalten entgegenzuwirken und eine Verallgemeinerung des Modells auf neue Datensätze zu ermöglichen. Obwohl Decision Trees eine hohe Varianz oder eine hohe Verzerrung aufweisen können, ist dies nicht die einzige Modellierungstechnik, die das Ensemble Learning für die Suche nach dem „Sweet Spot“ innerhalb des Kompromisses zwischen Verzerrung und Varianz nutzt.

Bagging vs. Boosting

Bagging und Boosting sind zwei wesentliche Arten von Ensemble-Lernverfahren. Wie in dieser Studie (Link befindet sich außerhalb von ibm.com) hervorgehoben wird, besteht der Hauptunterschied zwischen diesen Lernmethoden in der Art, wie sie trainiert werden.

Beim Bagging werden die schwachen Lerner parallel trainiert, während sie beim Boosting sequentiell lernen. Das bedeutet, dass eine Reihe von Modellen erstellt wird und mit jeder neuen Modelliteration die Gewichte der falsch klassifizierten Daten im vorherigen Modell erhöht werden.

Diese Umverteilung der Gewichte hilft dem Algorithmus bei der Identifizierung der Parameter, auf die er sich zur Verbesserung seiner Leistung konzentrieren muss. AdaBoost, die Abkürzung für „adaptativer Boosting-Algorithmus“, ist einer der beliebtesten Boosting-Algorithmen, da er einer der ersten seiner Art war. Andere Arten von Boosting-Algorithmen sind XGBoost, GradientBoost und BrownBoost.

Ein weiterer Unterschied zwischen Bagging und Boosting sind die Szenarien, in denen sie eingesetzt werden. So kommen Bagging-Methoden in der Regel bei schwachen Lernern zum Einsatz, die eine hohe Varianz und eine geringe Verzerrung aufweisen. Boosting-Methoden werden dagegen bei geringer Varianz und hoher Verzerrung eingesetzt.

Schöpfen Sie die Hybrid Cloud voll aus

Verbinden und integrieren Sie Ihre Systeme, um Ihre Infrastruktur für KI vorzubereiten.

Ähnliche Inhalte Jetzt für den Leitfaden zur App-Modernisierung registrieren
So funktioniert Bagging

1996 führte Leo Breiman (Link befindet sich außerhalb von ibm.com) den Bagging-Algorithmus ein, der aus drei grundlegenden Schritten besteht:

  1. Bootstrapping:  Bagging nutzt eine Bootstrapping-Technik zur Erzeugung verschiedener Stichproben. Diese Resampling-Methode erzeugt verschiedene Teilmengen des Trainingsdatensatzes. Dazu werden Datenpunkte zufällig und mit Ersetzung ausgewählt. Das bedeutet, dass Sie bei der Auswahl eines Datenpunkts aus dem Trainingsdatensatz dieselbe Instanz mehrfach auswählen können. Infolgedessen wiederholt sich ein Wert oder eine Instanz zweimal (oder öfter) in einer Stichprobe.
  2. Paralleles Training: Diese Bootstrap-Stichproben werden dann unabhängig und parallel zueinander mit schwachen oder Basis-Lernern trainiert.
  3. Aggregation: Schließlich wird je nach Aufgabe (d. h. Regression oder Klassifizierung) ein Durchschnitt oder eine Mehrheit der Vorhersagen herangezogen, um eine genauere Schätzung zu berechnen. Bei der Regression wird der Durchschnitt aller von den einzelnen Klassifikatoren vorhergesagten Ergebnisse gebildet. Dies wird als „Soft Voting“ bezeichnet. Bei Klassifizierungsproblemen wird die Klasse mit der höchsten Stimmenmehrheit akzeptiert, was wiederum als „Hard Voting“ oder „Majority Voting“ bezeichnet wird.
Vorteile und Herausforderungen des Bagging

Die Bagging-Methode bietet mehrere wesentliche Vorteile und Herausforderungen, wenn sie für Klassifizierungs- oder Regressionsprobleme verwendet wird. Zu den wichtigsten Vorteilen des Bagging gehören:

  • Leichte Implementierung: Python-Bibliotheken wie scikit-learn (auch bekannt als sklearn) machen es einfach, die Vorhersagen von Basislernern oder Schätzern zur Verbesserung der Modellleistung zu kombinieren. In der Dokumentation (Link befindet sich außerhalb von ibm.com) finden Sie die verfügbaren Module, die Sie für Ihre Modelloptimierung verwenden können.
  • Reduzierung der Varianz: Bagging kann die Varianz innerhalb eines Lernalgorithmus reduzieren. Dies ist besonders bei stark dimensionierten Daten hilfreich, bei denen fehlende Werte zu einer höheren Varianz führen können. Dadurch wird der Algorithmus anfälliger für eine Überanpassung und verhindert eine genaue Generalisierung auf neue Datensätze.

Zu den wichtigsten Herausforderungen des Bagging gehören:

  • Verlust der Interpretierbarkeit: Aufgrund der Mittelwertbildung über alle Vorhersagen hinweg ist es schwierig, mittels Bagging sehr präzise Geschäftserkenntnisse zu gewinnen. Obwohl die Ausgabe präziser als jeder einzelne Datenpunkt ist, könnte ein genauerer oder vollständiger Datensatz auch mehr Präzision innerhalb eines einzelnen Klassifizierungs- oder Regressionsmodells erzielen.
  • Rechenintensivität: Bagging wird mit steigender Anzahl von Iterationen langsamer und intensiver. Daher ist es nicht gut für Echtzeitanwendungen geeignet. Cluster-Systeme oder eine große Anzahl von Prozessorkernen sind ideal für die schnelle Erstellung von Bagging-Ensembles auf großen Testsätzen.
  • Weniger Flexibilität: Als Technik funktioniert das Bagging besonders gut bei weniger stabilen Algorithmen. Algorithmen, die stabiler sind oder einer starken Verzerrung unterliegen, sind nicht so vorteilhaft, da es weniger Variationen innerhalb des Datensatzes des Modells gibt. In der „Praktischen Anleitung zum maschinellen Lernen“ (Link befindet sich außerhalb von ibm.com) heißt es: „Das Bagging eines linearen Regressionsmodells liefert bei genügend großen Datenmengen effektiv nur die ursprünglichen Vorhersagen b.”
Bagging und seine Anwendung

Die Bagging-Methode wird in vielen Branchen eingesetzt und bietet Einblicke in die reale Welt und interessante Perspektiven, wie z. B. bei den GRAMMY-Debatten mit Watson. Zu den wichtigsten Anwendungsfällen gehören:

  • Gesundheitswesen: Bagging wurde zur Erstellung von Vorhersagen für medizinische Daten verwendet. So zeigen Forschungsarbeiten (Link befindet sich außerhalb von ibm.com), dass Ensemble-Methoden für eine Reihe von Problemen in der Bioinformatik verwendet wurden, darunter die Auswahl von Genen und/oder Proteinen zur Identifizierung eines bestimmten Merkmals. Diese Studie (Link befindet sich außerhalb von ibm.com) befasst sich insbesondere mit der Verwendung von Ensemble-Methoden zur Vorhersage des Ausbruchs von Diabetes auf der Grundlage verschiedener Risikofaktoren.
  • IT: Bagging kann auch die Präzision und Genauigkeit von IT-Systemen verbessern, z. B. von Systemen zur Netzwerküberwachung. In der Zwischenzeit untersucht diese Studie (Link befindet sich außerhalb von ibm.com), wie Bagging die Genauigkeit von Systemen zur Erkennung von Netzwerkeinbrüchen verbessern und die Anzahl der Falschmeldungen reduzieren kann.
  • Umwelt: Ensemble-Methoden wie das Bagging wurden bereits im Bereich der Fernerkundung eingesetzt. Genauer gesagt zeigt diese Studie (Link außerhalb von ibm.com), wie sie zur Kartierung verschiedener Arten von Feuchtgebieten in einer Küstenlandschaft verwendet wurde.
  • Finanzwesen: Bagging wurde auch mit Deep-Learning-Modellen in der Finanzbranche zur Automatisierung kritischer Aufgaben wie Betrugserkennung, Bewertung von Kreditrisiken und Optionspreisen eingesetzt. Diese Studie (Link befindet sich außerhalb von ibm.com) zeigt, wie Bagging und andere Techniken des maschinellen Lernens zur Bewertung von Kreditausfallrisiken eingesetzt werden. Diese Studie (Link befindet sich außerhalb von ibm.com) zeigt, wie Bagging zur Risikominimierung beiträgt, indem es Kreditkartenbetrug bei Banken und Finanzinstituten verhindert.
Weiterführende Lösungen
IBM SPSS Modeler

Nutzen Sie prädiktive Analysen, die Ihnen helfen, Datenmuster aufzudecken, Vorhersagegenauigkeit zu erzielen und die Entscheidungsfindung zu verbessern.

Erkunden Sie IBM SPSS Modeler
IBM Watson Studio

Erstellen und skalieren Sie vertrauenswürdige KI in jeder Cloud. Automatisieren Sie den KI-Lebenszyklus für ModelOps.

Informationen über IBM Watson Studio
Ressourcen Bagging vs. Boosting

Erfahren Sie in der Data-Science-Community von IBM mehr über die Unterschiede zwischen zwei Ansätze des Ensemble Learnings.

Was ist Boosting?

Erfahren Sie mehr über Boosting-Algorithmen und wie sie die Vorhersagekraft Ihrer Data-Mining-Initiativen verbessern können.

Machen Sie den nächsten Schritt

IBM SPSS Modeler ist eine visuelle Data-Science- und Machine-Learning-Lösung (ML), die durch einen Bottom-up-Ansatz zur Hypothesengenerierung in Daten verborgene Muster und Modelle sichtbar macht. Unternehmen auf der ganzen Welt nutzen sie für die Datenaufbereitung und -ermittlung, prädiktive Analyse, Modellverwaltung und -bereitstellung, und ML zur Monetarisierung der Daten-Assets.

SPSS Modeler erkunden 30 Tage lang kostenlos testen