Startseite

Themen

Boosting

Was ist Boosting?
Erkunden Sie die Boosting-Lösung von IBM Für KI-Updates anmelden
Illustration mit Collage aus Piktogrammen von Wolken, Kreisdiagramm, Diagrammpiktogrammen
Was ist Boosting?

Boosting ist eine Ensemble-Learning-Methode, die mehrere Schwächen einzelner Learning Methoden zu einer starken kombiniert. So werden Trainingsfehler minimiert. Boosting-Algorithmen können die Vorhersageanalyse Ihrer Data-Mining-Initiativen verbessern.

Beim Boosting wird eine Zufallsauswahl an Daten getroffen, auf die ein Modell angepasst und dann nacheinander trainiert wird, d. h. jedes Modell versucht, die Schwächen seines Vorgängers auszugleichen. Bei jeder Iteration werden die schwachen Regeln jedes einzelnen Klassifikators zu einer starken Vorhersageregel kombiniert.

Ensemble-Lernen

Ensemble Learning unterstreicht die Überzeugung von der kollektiven Intelligenz. Das heißt, dass die Entscheidungsfindung einer größeren Gruppe in der Regel besser ist als die eines Einzelnen. Ähnlich bezieht sich das Ensemble-Lernen auf eine Gruppe (oder ein Ensemble) von Basis-Lernern oder -Modellen, die zusammen eine bessere Endprognose erzielen. Ein einzelnes Modell, auch als Basismodell oder schwacher Lerner bezeichnet, kann aufgrund einer hohen Varianz oder einer hohen Verzerrung allein nicht gut funktionieren. Wenn schwache Lerner jedoch aggregiert werden, können sie sich verstärken, da ihre Kombination Verzerrungen oder Varianzen reduziert, was zu einer besseren Modellleistung führt. 

Ensemble-Methoden werden häufig anhand von Decision Trees veranschaulicht, da dieser Algorithmus zu Überanpassung (hohe Varianz und geringe Abweichung) neigen kann, wenn er nicht bereinigt wurde. Er kann sich aber auch zu Unteranpassung (geringe Varianz und hohe Verzerrung) neigen, wenn er sehr klein ist, wie ein Entscheidungsstumpf, also ein Decision Tree mit einer Ebene. Ein Algorithmus, der seinen Trainingsdatensatz über- oder unterschreitet, kann nicht gut auf neue Datensätze verallgemeinert werden. Daher werden Ensemble-Methoden verwendet, um diesem Verhalten entgegenzuwirken und eine Verallgemeinerung des Modells auf neue Datensätze zu ermöglichen. Obwohl Decision Trees eine hohe Varianz oder eine hohe Verzerrung aufweisen können, ist es erwähnenswert, dass dies nicht die einzige Modellierungstechnik ist, die das Lernen von Ensembles nutzt, um die „optimale Stelle“ innerhalb des Kompromisses zwischen Verzerrung und Varianz zu finden.  

Bagging vs. Boosting

Bagging und Boosting sind zwei Hauptarten von Ensemble-Learning-Methoden. Wie in dieser Studie hervorgehoben (Link außerhalb von ibm.com), besteht der Hauptunterschied zwischen diesen Lernmethoden in der Art und Weise, wie sie trainiert werden. Beim Bagging werden schwache Lerner parallel trainiert, beim Boosting lernen sie jedoch sequentiell. Das bedeutet, dass eine Reihe von Modellen erstellt wird und mit jeder neuen Modell-Iteration die Gewichtung der falsch klassifizierten Daten im vorherigen Modell erhöht wird. Anhand dieser Umverteilung der Gewichtungen kann der Algorithmus die wichtigsten Parameter ermitteln, mit denen seine Leistung verbessert werden kann. AdaBoost, was für „adaptiver Boosting-Algorithmus“ steht, ist einer der beliebtesten Boosting-Algorithmen, da er einer der ersten seiner Art war. Weitere Arten von Boosting-Algorithmen sind XGBoost, GradientBoost und BrownBoost. 

Ein weiterer Unterschied zwischen Bagging und Boosting ist, wie sie eingesetzt werden. So werden Bagging-Methoden in der Regel bei schwachen Lernern verwendet, die eine hohe Varianz und eine geringe Verzerrung aufweisen, während Boosting-Methoden eingesetzt werden, wenn eine geringe Varianz und eine hohe Verzerrung beobachtet werden. Bagging kann zwar verwendet werden, um Überanpassungen zu vermeiden, aber Boosting-Methoden können dafür anfälliger sein (Link außerhalb von ibm.com), obwohl es wirklich vom Datensatz abhängt. Eine Parameteroptimierung kann jedoch zur Vermeidung des Problems beitragen. 

Infolgedessen haben Bagging und Boosting auch unterschiedliche Anwendungen in der realen Welt. Bagging wurde für Kreditvergabeverfahren und statistische Genomik eingesetzt, während Boosting eher in Bilderkennungsanwendungen und Suchmaschinen verwendet wurde.  

So wählen Sie das richtige Foundation Model für die KI

Nutzen Sie dieses Framework zur Modellauswahl, um das am besten geeignete Modell auszuwählen und dabei Ihre Leistungsanforderungen mit den Kosten, Risiken und Bereitstellungsanforderungen in Einklang zu bringen.

Ähnliche Inhalte Registrieren Sie sich für das E-Book zu KI-Datenspeichern
Boosting-Arten

Boosting-Methoden konzentrieren sich auf die iterative Kombination schwacher Lerner, um so einen starken Lerner zu bilden, der genauere Ergebnisse vorhersagen kann. Es ist nämlich so: Ein schwacher Lerner klassifiziert Daten etwas besser als nur beim zufälligen Raten. Dieser Ansatz kann robuste Ergebnisse für Prognoseprobleme liefern, sogar Neural Networks übertreffen und Vektormaschinen für Aufgaben wie das Abrufen von Bildern unterstützen (Link außerhalb von ibm.com).  

Boosting-Algorithmen unterscheiden sich in der Art und Weise, wie sie schwache Lerner während des sequentiellen Prozesses erzeugen und aggregieren. Zu den drei beliebtesten Boosting-Methoden gehören: 

  • Adaptives Boosting oder AdaBoost: Yoav Freund und Robert Schapire gelten als die Erfinder des AdaBoost-Algorithmus. Diese Methode arbeitet iterativ, identifiziert falsch klassifizierte Datenpunkte und passt ihre Gewichtung an, um den Trainingsfehler zu minimieren. Das Modell setzt die Optimierung sequenziell fort, bis es den stärksten Prädiktor liefert.  
  • Gradient Boosting: Aufbauend auf der Arbeit von Leo Breiman entwickelte Jerome H. Friedman Gradient Boosting, bei dem einem Ensemble nacheinander Prädiktoren hinzugefügt werden, wobei jeder einzelne Prädiktor die Fehler des Vorgängers korrigiert. Anstatt jedoch wie AdaBoost die Gewichtung der Datenpunkte zu ändern, basiert das Gradient Boosting auf den Restfehlern des vorherigen Prädiktors. Die Bezeichnung „Gradient Boosting“ beruht auf der Kombination von Algorithmus für den Gradientenabstieg und Boosting-Methode..  
  • Extreme Gradient Boosting oder XGBoost: XGBoost ist eine Implementierung von Gradient Boosting, die auf Rechengeschwindigkeit und Skalierung ausgelegt ist. XGBoost nutzt mehrere Kerne auf der CPU, sodass das Lernen während des Trainings parallel erfolgen kann.  

Vorteile und Herausforderungen des Boostings

Es gibt eine Reihe von wichtigen Vorteilen und Herausforderungen, die die Boosting-Methode bei Klassifizierungs- oder Regressionproblemen birgt. 

Zu den Hauptvorteilen des Boostings gehören:  

  • Einfache Implementierung: Boosting lässt sich mit verschiedenen Optionen zur Abstimmung der Hyperparameter verwenden, um die Anpassung zu verbessern. Es ist keine Datenvorverarbeitung erforderlich, und Boosting-Algorithmen verfügen über integrierte Routinen, um fehlende Daten zu verarbeiten. In Python erleichter die scikit-learn-Bibliothek der Ensemble-Methoden (auch bekannt als sklearn.ensemble) die Implementierung der gängigen Boosting-Methoden, einschließlich AdaBoost, XGBoost usw.  
  • Verringerung von Verzerrungen: Boosting-Algorithmen kombinieren mehrere schwache Lerner in einer sequentiellen Methode und verbessern iterativ die Beobachtungen. Dieser Ansatz kann dazu beitragen, hohe Verzerrungen zu reduzieren, die häufig bei oberflächlichen Decision Trees und logistischen Regression-Modellen auftreten. 
  • Rechenleistung: Weil Boosting-Algorithmen nur die Merkmale auswählen, die ihre Vorhersagekraft während des Trainings erhöhen, können sie dazu beitragen, die Anzahl der Elemente zu reduzieren und die Recheneffizienz zu erhöhen.  

Zu den wichtigsten Herausforderungen des Boosting gehören:  

  •  Überanpassung: In der Studie (Link außerhalb von ibm.com)gibt es einige Kontroversen darüber, ob Boosting dazu beitragen kann, Überanpassungen zu reduzieren oder nicht. Wir zählen sie zu den Herausforderungen, denn in den Fällen, in denen sie auftritt, können Prognosen nicht auf neue Datensätze verallgemeinert werden.
  •  Intensive Berechnungen: Sequentielles Training beim Boosting ist schwer zu skalieren. Da jeder Schätzwert auf seinen Vorgängern aufbaut, können Boosting-Modelle rechenintensiv sein, obwohl XGBoost versucht, die Skalierbarkeitsprobleme anderer Arten von Boosting-Methoden zu lösen. Boosting-Algorithmen können im Vergleich zu Bagging langsamer trainiert werden, da eine große Anzahl von Parametern das Verhalten des Modells ebenfalls beeinflussen kann. 
Boosting-Anwendungen

Boosting-Algorithmen eignen sich gut für KI-Projekte in verschiedenen Branchen:  

  • Gesundheitswesen: Boosting wird eingesetzt, um Fehler bei der Vorhersage medizinischer Daten zu verringern, z. B. bei der Vorhersage von kardiovaskulären Risikofaktoren und Überlebensraten von Krebspatienten. Zum Beispiel zeigt die Forschung (Link außerhalb ibm.com) dass Ensemble-Methoden die Genauigkeit bei der Identifizierung von Patienten, die von einer präventiven Behandlung von Herz-Kreislauf-Erkrankungen profitieren könnten, erheblich verbessern, während unnötige Behandlungen anderer vermieden werden. Eine andere Studie (Link befindet sich außerhalb von ibm.com) ergab ebenfalls, dass die Anwendung von Boosting auf mehrere Genomikplattformen die Vorhersage der Überlebenszeit von Krebs verbessern kann. 

  • IT: Gradient Boosted Regression Trees werden in Suchmaschinen für Seitenrankings verwendet, während der Viola-Jones-Boosting-Algorithmus für die Bildsuche eingesetzt wird. Wie von Cornell (Link außerhalb von ibm.com) festgestellt, lassen sich mit geboosteten Klassifikatoren die Berechnungen früher abbrechen, wenn klar ist, in welche Richtung eine Vorhersage geht. Das bedeutet, dass eine Suchmaschine die Auswertung von niedriger platzierten Seiten stoppen kann, während Bildscanner nur Bilder berücksichtigen, die tatsächlich das gewünschte Objekt enthalten.   

  • Finanzen: Boosting wird mit Deep-Learning-Modellen verwendet, um wichtige Aufgaben zu automatisieren, z. B. Betrugserkennung und Preisanalyse. Beispielsweise verbessern Boosting-Methoden zur Erkennung von Kreditkartenbetrug und zur Preisanalyse von Finanzprodukten (Link außerhalb von ibm.com) die Genauigkeit der Analyse riesiger Datensätze, um finanzielle Verluste zu minimieren.  

Weiterführende Lösungen
IBM SPSS Modeler

Steigern Sie den ROI und beschleunigen Sie die Time-to-Value – mit einem intuitiven Drag-and-Drop Data Science Tool.

Erkunden Sie IBM SPSS Modeler
IBM Cloud®-Lösungen

Hybrid. Offen. Resilient. Ihre Plattform und Ihr Partner für die digitale Transformation.

Cloud Lösungen erkunden
IBM Cloud Pak-Lösungen

KI-gestützte hybride Cloud-Software.

Entdecken Sie Cloud Pak Lösungen
Ressourcen IBM Research: Quantum-Boosting

Hiermit erfahren Sie, wie Quantum-Techniken die Zeitkomplexität des klassischen AdaBoost verbessern können.

SnapBoost: Eine heterogene Boosting-Maschine

IBM Research untersucht eine Heterogeneous Newton Boosting Machine (HNBM), bei der die Basis-Hypothesenklasse in verschiedenen Boosting-Iterationen variieren kann.

Machen Sie den nächsten Schritt

IBM SPSS Modeler ist eine visuelle Data-Science- und Machine-Learning-Lösung (ML), die durch einen Bottom-up-Ansatz zur Hypothesengenerierung in Daten verborgene Muster und Modelle sichtbar macht. Unternehmen auf der ganzen Welt nutzen sie für die Datenaufbereitung und -ermittlung, prädiktive Analyse, Modellverwaltung und -bereitstellung, und ML zur Monetarisierung der Daten-Assets.

SPSS Modeler erkunden 30 Tage lang kostenlos testen