Was ist Boosting?

Beim Boosting wird eine Zufallsauswahl an Daten getroffen, auf die ein Modell angepasst und dann nacheinander trainiert wird, d. h. jedes Modell versucht, die Schwächen seines Vorgängers auszugleichen. Bei jeder Iteration werden die schwachen Regeln jedes einzelnen Klassifikators zu einer starken Vorhersageregel kombiniert.

Ensemble Learning unterstreicht die Überzeugung von der kollektiven Intelligenz. Das heißt, dass die Entscheidungsfindung einer größeren Gruppe in der Regel besser ist als die eines Einzelnen. Ähnlich bezieht sich das Ensemble-Lernen auf eine Gruppe (oder ein Ensemble) von Basis-Lernern oder -Modellen, die zusammen eine bessere Endprognose erzielen. Ein einzelnes Modell, auch als Basismodell oder schwacher Lerner bezeichnet, kann aufgrund einer hohen Varianz oder einer hohen Verzerrung allein nicht gut funktionieren. Wenn schwache Lerner jedoch aggregiert werden, können sie sich verstärken, da ihre Kombination Verzerrungen oder Varianzen reduziert, was zu einer besseren Modellleistung führt.

Ensemble-Methoden werden häufig anhand von Decision Trees veranschaulicht, da dieser Algorithmus zu Überanpassung (hohe Varianz und geringe Abweichung) neigen kann, wenn er nicht bereinigt wurde. Er kann sich aber auch zu Unteranpassung (geringe Varianz und hohe Verzerrung) neigen, wenn er sehr klein ist, wie ein Entscheidungsstumpf, also ein Decision Tree mit einer Ebene. Ein Algorithmus, der seinen Trainingsdatensatz über- oder unterschreitet, kann nicht gut auf neue Datensätze verallgemeinert werden. Daher werden Ensemble-Methoden verwendet, um diesem Verhalten entgegenzuwirken und eine Verallgemeinerung des Modells auf neue Datensätze zu ermöglichen. Obwohl Decision Trees eine hohe Varianz oder eine hohe Verzerrung aufweisen können, ist es erwähnenswert, dass dies nicht die einzige Modellierungstechnik ist, die das Lernen von Ensembles nutzt, um die „optimale Stelle“ innerhalb des Kompromisses zwischen Verzerrung und Varianz zu finden.

Bagging und Boosting sind zwei Hauptarten von Ensemble-Learning-Methoden. Wie in dieser Studie hervorgehoben wird, besteht der Hauptunterschied zwischen diesen Lernmethoden in der Art, wie sie trainiert werden. Beim Bagging werden schwache Lerner parallel trainiert, beim Boosting lernen sie jedoch sequentiell. Das bedeutet, dass eine Reihe von Modellen erstellt wird und mit jeder neuen Modell-Iteration die Gewichtung der falsch klassifizierten Daten im vorherigen Modell erhöht wird. Anhand dieser Umverteilung der Gewichtungen kann der Algorithmus die wichtigsten Parameter ermitteln, mit denen seine Leistung verbessert werden kann. AdaBoost, was für „adaptiver Boosting-Algorithmus“ steht, ist einer der beliebtesten Boosting-Algorithmen, da er einer der ersten seiner Art war. Weitere Arten von Boosting-Algorithmen sind XGBoost, GradientBoost und BrownBoost.

Ein weiterer Unterschied zwischen Bagging und Boosting ist, wie sie eingesetzt werden. So werden Bagging-Methoden in der Regel bei schwachen Lernern verwendet, die eine hohe Varianz und eine geringe Verzerrung aufweisen, während Boosting-Methoden eingesetzt werden, wenn eine geringe Varianz und eine hohe Verzerrung beobachtet werden. Bagging kann zwar verwendet werden, um Überanpassungen zu vermeiden, aber Boosting-Methoden können dafür anfälliger sein, obwohl es wirklich vom Datensatz abhängt. Eine Parameteroptimierung kann jedoch zur Vermeidung des Problems beitragen.

Infolgedessen haben Bagging und Boosting auch unterschiedliche Anwendungen in der realen Welt. Bagging wurde für Kreditvergabeverfahren und statistische Genomik eingesetzt, während Boosting eher in Bilderkennungsanwendungen und Suchmaschinen verwendet wurde.

Boosting-Methoden konzentrieren sich auf die iterative Kombination schwacher Lerner, um so einen starken Lerner zu bilden, der genauere Ergebnisse vorhersagen kann. Es ist nämlich so: Ein schwacher Lerner klassifiziert Daten etwas besser als nur beim zufälligen Raten. Dieser Ansatz kann robuste Ergebnisse für Prognoseprobleme liefern, sogar Neural Networks übertreffen und Vektormaschinen für Aufgaben wie das Abrufen von Bildern unterstützen.

Boosting-Algorithmen unterscheiden sich in der Art und Weise, wie sie schwache Lerner während des sequentiellen Prozesses erzeugen und aggregieren. Zu den drei beliebtesten Boosting-Methoden gehören:

• Adaptives Boosting oder AdaBoost: Yoav Freund und Robert Schapire gelten als die Erfinder des AdaBoost-Algorithmus. Diese Methode arbeitet iterativ, identifiziert falsch klassifizierte Datenpunkte und passt ihre Gewichtung an, um den Trainingsfehler zu minimieren. Das Modell setzt die Optimierung sequenziell fort, bis es den stärksten Prädiktor liefert.
  
  
• Gradient Boosting: Aufbauend auf der Arbeit von Leo Breiman entwickelte Jerome H. Friedman Gradient Boosting, bei dem einem Ensemble nacheinander Prädiktoren hinzugefügt werden, wobei jeder einzelne Prädiktor die Fehler des Vorgängers korrigiert. Anstatt jedoch wie AdaBoost die Gewichtung der Datenpunkte zu ändern, basiert das Gradient Boosting auf den Restfehlern des vorherigen Prädiktors. Die Bezeichnung „Gradient Boosting“ beruht auf der Kombination von Algorithmus für den Gradientenabstieg und Boosting-Methode.
  
  
• Extreme Gradient Boosting oder XGBoost: XGBoost ist eine Implementierung von Gradient Boosting, die auf Rechengeschwindigkeit und Skalierung ausgelegt ist. XGBoost nutzt mehrere Kerne auf der CPU, sodass das Lernen während des Trainings parallel erfolgen kann.

Es gibt eine Reihe von wichtigen Vorteilen und Herausforderungen, die die Boosting-Methode bei Klassifizierungs- oder Regressionproblemen birgt.

Zu den Hauptvorteilen des Boostings gehören:

• Einfache Implementierung: Boosting lässt sich mit verschiedenen Optionen zur Abstimmung der Hyperparameter verwenden, um die Anpassung zu verbessern. Es ist keine Datenvorverarbeitung erforderlich, und Boosting-Algorithmen verfügen über integrierte Routinen, um fehlende Daten zu verarbeiten. In Python erleichtert die scikit-learn-Bibliothek der Ensemble-Methoden (auch bekannt als sklearn.ensemble) die Implementierung der gängigen Boosting-Methoden, einschließlich AdaBoost, XGBoost usw.
  
  
• Verringerung von Verzerrungen: Boosting-Algorithmen kombinieren mehrere schwache Lerner in einer sequentiellen Methode und verbessern iterativ die Beobachtungen. Dieser Ansatz kann dazu beitragen, hohe Verzerrungen zu reduzieren, die häufig bei oberflächlichen Decision Trees und logistischen Regression-Modellen auftreten.
• Rechenleistung: Weil Boosting-Algorithmen nur die Merkmale auswählen, die ihre Vorhersagekraft während des Trainings erhöhen, können sie dazu beitragen, die Anzahl der Elemente zu reduzieren und die Recheneffizienz zu erhöhen.

Zu den wichtigsten Herausforderungen des Boosting gehören:

•  Überanpassung: In der Forschung gibt es einige Kontroversen darüber, ob Boosting dazu beitragen kann, Überanpassungen zu reduzieren oder nicht. Wir zählen sie zu den Herausforderungen, denn in den Fällen, in denen sie auftritt, können Prognosen nicht auf neue Datensätze verallgemeinert werden.
  
  
•  Intensive Berechnungen: Sequenzielles Training beim Boosting ist schwer zu skalieren. Da jeder Schätzwert auf seinen Vorgängern aufbaut, können Boosting-Modelle rechenintensiv sein, obwohl XGBoost versucht, die Skalierbarkeitsprobleme anderer Arten von Boosting-Methoden zu lösen. Boosting-Algorithmen können im Vergleich zu Bagging langsamer trainiert werden, da eine große Anzahl von Parametern das Verhalten des Modells ebenfalls beeinflussen kann.

Boosting-Algorithmen eignen sich gut für KI-Projekte in verschiedenen Branchen:

• Gesundheitswesen: Boosting wird eingesetzt, um Fehler bei der Vorhersage medizinischer Daten zu verringern, z. B. bei der Vorhersage von kardiovaskulären Risikofaktoren und Überlebensraten von Krebspatienten. Zum Beispiel zeigt die Forschung dass Ensemble-Methoden die Genauigkeit bei der Identifizierung von Patienten, die von einer präventiven Behandlung von Herz-Kreislauf-Erkrankungen profitieren könnten, erheblich verbessern, während unnötige Behandlungen anderer vermieden werden. Eine andere Studie ergab ebenfalls, dass die Anwendung von Boosting auf mehrere Genomikplattformen die Vorhersage der Überlebenszeit von Krebs verbessern kann.

• IT: Gradient Boosted Regression Trees werden in Suchmaschinen für Seitenrankings verwendet, während der Viola-Jones-Boosting-Algorithmus für die Bildsuche eingesetzt wird. Wie von Cornell festgestellt, lassen sich mit geboosteten Klassifikatoren die Berechnungen früher abbrechen, wenn klar ist, in welche Richtung eine Vorhersage geht. Das bedeutet, dass eine Suchmaschine die Auswertung von niedriger platzierten Seiten stoppen kann, während Bildscanner nur Bilder berücksichtigen, die tatsächlich das gewünschte Objekt enthalten.
  
  
• Finanzen: Boosting wird mit Deep-Learning-Modellen verwendet, um wichtige Aufgaben zu automatisieren, z. B. Betrugserkennung und Preisanalyse. Beispielsweise verbessern Boosting-Methoden zur Erkennung von Kreditkartenbetrug und zur Preisanalyse von Finanzprodukten die Genauigkeit der Analyse riesiger Datensätze, um finanzielle Verluste zu minimieren.