Startseite
Themen
Boosting
Boosting ist eine Ensemble-Learning-Methode, die mehrere Schwächen einzelner Learning Methoden zu einer starken kombiniert. So werden Trainingsfehler minimiert. Boosting-Algorithmen können die Vorhersageanalyse Ihrer Data-Mining-Initiativen verbessern.
Beim Boosting wird eine Zufallsauswahl an Daten getroffen, auf die ein Modell angepasst und dann nacheinander trainiert wird, d. h. jedes Modell versucht, die Schwächen seines Vorgängers auszugleichen. Bei jeder Iteration werden die schwachen Regeln jedes einzelnen Klassifikators zu einer starken Vorhersageregel kombiniert.
Ensemble Learning unterstreicht die Überzeugung von der kollektiven Intelligenz. Das heißt, dass die Entscheidungsfindung einer größeren Gruppe in der Regel besser ist als die eines Einzelnen. Ähnlich bezieht sich das Ensemble-Lernen auf eine Gruppe (oder ein Ensemble) von Basis-Lernern oder -Modellen, die zusammen eine bessere Endprognose erzielen. Ein einzelnes Modell, auch als Basismodell oder schwacher Lerner bezeichnet, kann aufgrund einer hohen Varianz oder einer hohen Verzerrung allein nicht gut funktionieren. Wenn schwache Lerner jedoch aggregiert werden, können sie sich verstärken, da ihre Kombination Verzerrungen oder Varianzen reduziert, was zu einer besseren Modellleistung führt.
Ensemble-Methoden werden häufig anhand von Decision Trees veranschaulicht, da dieser Algorithmus zu Überanpassung (hohe Varianz und geringe Abweichung) neigen kann, wenn er nicht bereinigt wurde. Er kann sich aber auch zu Unteranpassung (geringe Varianz und hohe Verzerrung) neigen, wenn er sehr klein ist, wie ein Entscheidungsstumpf, also ein Decision Tree mit einer Ebene. Ein Algorithmus, der seinen Trainingsdatensatz über- oder unterschreitet, kann nicht gut auf neue Datensätze verallgemeinert werden. Daher werden Ensemble-Methoden verwendet, um diesem Verhalten entgegenzuwirken und eine Verallgemeinerung des Modells auf neue Datensätze zu ermöglichen. Obwohl Decision Trees eine hohe Varianz oder eine hohe Verzerrung aufweisen können, ist es erwähnenswert, dass dies nicht die einzige Modellierungstechnik ist, die das Lernen von Ensembles nutzt, um die „optimale Stelle“ innerhalb des Kompromisses zwischen Verzerrung und Varianz zu finden.
Bagging und Boosting sind zwei Hauptarten von Ensemble-Learning-Methoden. Wie in dieser Studie hervorgehoben (Link außerhalb von ibm.com), besteht der Hauptunterschied zwischen diesen Lernmethoden in der Art und Weise, wie sie trainiert werden. Beim Bagging werden schwache Lerner parallel trainiert, beim Boosting lernen sie jedoch sequentiell. Das bedeutet, dass eine Reihe von Modellen erstellt wird und mit jeder neuen Modell-Iteration die Gewichtung der falsch klassifizierten Daten im vorherigen Modell erhöht wird. Anhand dieser Umverteilung der Gewichtungen kann der Algorithmus die wichtigsten Parameter ermitteln, mit denen seine Leistung verbessert werden kann. AdaBoost, was für „adaptiver Boosting-Algorithmus“ steht, ist einer der beliebtesten Boosting-Algorithmen, da er einer der ersten seiner Art war. Weitere Arten von Boosting-Algorithmen sind XGBoost, GradientBoost und BrownBoost.
Ein weiterer Unterschied zwischen Bagging und Boosting ist, wie sie eingesetzt werden. So werden Bagging-Methoden in der Regel bei schwachen Lernern verwendet, die eine hohe Varianz und eine geringe Verzerrung aufweisen, während Boosting-Methoden eingesetzt werden, wenn eine geringe Varianz und eine hohe Verzerrung beobachtet werden. Bagging kann zwar verwendet werden, um Überanpassungen zu vermeiden, aber Boosting-Methoden können dafür anfälliger sein (Link außerhalb von ibm.com), obwohl es wirklich vom Datensatz abhängt. Eine Parameteroptimierung kann jedoch zur Vermeidung des Problems beitragen.
Infolgedessen haben Bagging und Boosting auch unterschiedliche Anwendungen in der realen Welt. Bagging wurde für Kreditvergabeverfahren und statistische Genomik eingesetzt, während Boosting eher in Bilderkennungsanwendungen und Suchmaschinen verwendet wurde.
Nutzen Sie dieses Framework zur Modellauswahl, um das am besten geeignete Modell auszuwählen und dabei Ihre Leistungsanforderungen mit den Kosten, Risiken und Bereitstellungsanforderungen in Einklang zu bringen.
Boosting-Methoden konzentrieren sich auf die iterative Kombination schwacher Lerner, um so einen starken Lerner zu bilden, der genauere Ergebnisse vorhersagen kann. Es ist nämlich so: Ein schwacher Lerner klassifiziert Daten etwas besser als nur beim zufälligen Raten. Dieser Ansatz kann robuste Ergebnisse für Prognoseprobleme liefern, sogar Neural Networks übertreffen und Vektormaschinen für Aufgaben wie das Abrufen von Bildern unterstützen (Link außerhalb von ibm.com).
Boosting-Algorithmen unterscheiden sich in der Art und Weise, wie sie schwache Lerner während des sequentiellen Prozesses erzeugen und aggregieren. Zu den drei beliebtesten Boosting-Methoden gehören:
Vorteile und Herausforderungen des Boostings
Es gibt eine Reihe von wichtigen Vorteilen und Herausforderungen, die die Boosting-Methode bei Klassifizierungs- oder Regressionproblemen birgt.
Zu den Hauptvorteilen des Boostings gehören:
Zu den wichtigsten Herausforderungen des Boosting gehören:
Boosting-Algorithmen eignen sich gut für KI-Projekte in verschiedenen Branchen:
Gesundheitswesen: Boosting wird eingesetzt, um Fehler bei der Vorhersage medizinischer Daten zu verringern, z. B. bei der Vorhersage von kardiovaskulären Risikofaktoren und Überlebensraten von Krebspatienten. Zum Beispiel zeigt die Forschung (Link außerhalb ibm.com) dass Ensemble-Methoden die Genauigkeit bei der Identifizierung von Patienten, die von einer präventiven Behandlung von Herz-Kreislauf-Erkrankungen profitieren könnten, erheblich verbessern, während unnötige Behandlungen anderer vermieden werden. Eine andere Studie (Link befindet sich außerhalb von ibm.com) ergab ebenfalls, dass die Anwendung von Boosting auf mehrere Genomikplattformen die Vorhersage der Überlebenszeit von Krebs verbessern kann.
IT: Gradient Boosted Regression Trees werden in Suchmaschinen für Seitenrankings verwendet, während der Viola-Jones-Boosting-Algorithmus für die Bildsuche eingesetzt wird. Wie von Cornell (Link außerhalb von ibm.com) festgestellt, lassen sich mit geboosteten Klassifikatoren die Berechnungen früher abbrechen, wenn klar ist, in welche Richtung eine Vorhersage geht. Das bedeutet, dass eine Suchmaschine die Auswertung von niedriger platzierten Seiten stoppen kann, während Bildscanner nur Bilder berücksichtigen, die tatsächlich das gewünschte Objekt enthalten.
Finanzen: Boosting wird mit Deep-Learning-Modellen verwendet, um wichtige Aufgaben zu automatisieren, z. B. Betrugserkennung und Preisanalyse. Beispielsweise verbessern Boosting-Methoden zur Erkennung von Kreditkartenbetrug und zur Preisanalyse von Finanzprodukten (Link außerhalb von ibm.com) die Genauigkeit der Analyse riesiger Datensätze, um finanzielle Verluste zu minimieren.
Steigern Sie den ROI und beschleunigen Sie die Time-to-Value – mit einem intuitiven Drag-and-Drop Data Science Tool.
Hybrid. Offen. Resilient. Ihre Plattform und Ihr Partner für die digitale Transformation.
KI-gestützte hybride Cloud-Software.
Hiermit erfahren Sie, wie Quantum-Techniken die Zeitkomplexität des klassischen AdaBoost verbessern können.
IBM Research untersucht eine Heterogeneous Newton Boosting Machine (HNBM), bei der die Basis-Hypothesenklasse in verschiedenen Boosting-Iterationen variieren kann.