Apa itu boosting?

Dalam boosting, sampel data secara acak dipilih, dipasangi model, dan kemudian dilatih secara berurutan—yaitu, setiap model mencoba mengkompensasi kelemahan dari model sebelumnya. Dengan setiap iterasi, aturan yang lemah dari setiap pengklasifikasi individu digabungkan untuk membentuk satu aturan prediksi yang kuat.

Pembelajaran ansambel memberikan dukungan pada gagasan "kebijaksanaan orang banyak", yang menunjukkan bahwa pengambilan keputusan dari sekelompok orang yang lebih banyak biasanya lebih baik daripada pengambilan keputusan oleh seorang pakar. Demikian pula, pembelajaran ansambel mengacu pada sekelompok (atau ansambel) pembelajar dasar, atau model, yang bekerja secara kolektif untuk mencapai prediksi akhir yang lebih baik. Sebuah model tunggal, juga dikenal sebagai pembelajar dasar atau lemah, mungkin tidak berkinerja baik secara individual karena varians atau bias yang tinggi. Namun, saat banyak pelajar yang lemah bergabung, mereka dapat membentuk pelajar yang kuat, karena kombinasi mereka mengurangi bias atau varians, menghasilkan kinerja model yang lebih baik.

Metode ansambel sering digambarkan menggunakan decision trees, karena algoritma ini dapat rentan terhadap overfitting (varians tinggi dan bias rendah) jika tidak dipangkas, dan dapat juga menyebabkan underfitting (varians rendah dan bias tinggi) jika kecil sekali, seperti decision stump, yang merupakan decision tree dengan satu tingkat. Ingat, ketika sebuah algoritma mengalami overfitting atau underfitting terhadap kumpulan data pelatihannya, algoritma tersebut tidak dapat dengan baik digeneralisasikan pada kumpulan data baru. Untuk mengatasi perilaku ini, metode ansambel digunakan guna memungkinkan generalisasi model ke kumpulan data baru. Meskipun decision tree dapat menunjukkan varians atau bias yang tinggi, perlu dicatat bahwa decision tree bukanlah satu-satunya teknik pemodelan yang memanfaatkan pembelajaran ansambel untuk menemukan "posisi yang tepat" dalam pertukaran bias-varians.

Bagging dan boosting adalah dua jenis utama metode pembelajaran ensambel. Seperti yang disoroti dalam penelitian ini, perbedaan utama antara kedua metode pembelajaran ini adalah cara mereka dilatih. Dalam bagging, pembelajar yang lemah dilatih secara paralel, sedangkan mereka belajar secara berurutan dalam boosting. Artinya, serangkaian model dibangun dan dengan setiap iterasi model baru, bobot dari data yang salah diklasifikasikan dalam model sebelumnya ditingkatkan. Distribusi ulang bobot ini membantu algoritma mengidentifikasi parameter yang perlu difokuskan untuk meningkatkan kinerjanya. AdaBoost, yang merupakan singkatan dari “adaptative boosting algorithm,” merupakan salah satu algoritma boosting yang paling populer karena merupakan salah satu algoritma pertama dengan jenis ini. Jenis algoritma boosting lainnya termasuk XGBoost, GradientBoost, dan BrownBoost.

Perbedaan lain antara bagging dan boosting adalah cara penggunaannya. Sebagai contoh, metode bagging biasanya digunakan pada pembelajar yang lemah yang menunjukkan varians tinggi dan bias rendah, sedangkan metode boosting digunakan ketika varians rendah dan bias tinggi ditemukan. Meskipun bagging dapat digunakan untuk menghindari overfitting, metode boosting dapat lebih rentan terhadap hal ini meskipun sangat tergantung pada kumpulan data. Namun, penyetelan parameter dapat membantu menghindari masalah tersebut.

Oleh karena itu, bagging dan boosting juga memiliki penerapan yang berbeda di dunia nyata. Bagging dimanfaatkan untuk proses persetujuan pinjaman dan genomik statistik sementara boosting lebih banyak digunakan dalam aplikasi pengenalan gambar dan mesin pencari.

Metode boosting difokuskan pada penggabungan pembelajar yang lemah secara berulang untuk membangun pembelajar yang kuat yang dapat memprediksi hasil yang lebih akurat. Sebagai pengingat, pembelajar yang lemah mengklasifikasikan data sedikit lebih baik daripada menebak secara acak. Pendekatan ini dapat memberikan hasil yang kuat untuk masalah prediksi, dan bahkan dapat mengungguli neural networks dan mesin vektor pendukung untuk tugas-tugas seperti pengambilan gambar

Algoritma boosting dapat berbeda dalam cara mereka membuat dan menggabungkan pembelajar lemah selama proses yang berurutan. Tiga jenis metode boosting yang populer meliputi:

• Boosting adaptif atau AdaBoost: Yoav Freund dan Robert Schapire berjasa dalam menciptakan algoritma AdaBoost. Metode ini beroperasi secara iteratif, mengidentifikasi titik data yang salah diklasifikasikan dan menyesuaikan bobotnya untuk meminimalkan kesalahan pelatihan. Model terus dioptimalkan secara berurutan sampai menghasilkan prediktor terkuat.
  
  
• Gradient boosting: Berdasarkan karya Leo Breiman, Jerome H. Friedman mengembangkan gradient boosting, yang bekerja dengan menambahkan prediktor secara berurutan pada sebuah ensambel dan masing-masing mengoreksi kesalahan pendahulunya. Namun, alih-alih mengubah bobot titik data seperti AdaBoost, gradient boosting melatih pada kesalahan residual dari prediktor sebelumnya. Namanya, gradient boosting, digunakan karena peningkatan ini menggabungkan algoritma gradien descent dan metode peningkatan.
  
  
• Gradient boosting ekstrem atau XGBoost: XGBoost adalah implementasi gradient boosting yang dirancang untuk kecepatan dan skala komputasi. XGBoost memanfaatkan beberapa inti pada CPU, memungkinkan pembelajaran terjadi secara paralel selama pelatihan.

Ada beberapa keuntungan dan tantangan utama yang dihadirkan oleh metode boosting ketika digunakan untuk masalah klasifikasi atau regresi.

Manfaat utama dari boosting meliputi:

• Kemudahan Implementasi: Boosting dapat digunakan dengan beberapa opsi penyetelan hiperparameter untuk meningkatkan penyesuaian. Tidak diperlukan prapemrosesan data dan algoritma boosting seperti memiliki rutinitas bawaan untuk menangani data yang tidak ada. Dalam Python, pustaka scikit-learn metode ansambel (dikenal juga sebagai sklearn.ensemble) memudahkan penerapan metode boosting yang populer, termasuk AdaBoost, XGBoost, dll.
  
  
• Pengurangan bias: Algoritma boosting menggabungkan beberapa pembelajar yang lemah dalam metode berurutan, yang secara iteratif meningkatkan pengamatan. Pendekatan ini dapat membantu mengurangi bias tinggi, biasanya terlihat pada struktur keputusan dangkal dan model regresi logistik.
  
  
• Efisiensi Komputasi: Karena algoritma boosting hanya memilih fitur yang meningkatkan daya prediktifnya selama pelatihan, algoritma ini dapat membantu mengurangi dimensi serta meningkatkan efisiensi komputasi.

Tantangan utama dari boosting meliputi:

•  Overfitting: Ada beberapa perdebatan dalam penelitian mengenai apakah boosting dapat membantu mengurangi overfitting atau memperburuknya. Kami memasukkannya ke dalam tantangan karena jika terjadi, prediksi tidak dapat digeneralisasi ke kumpulan data baru.
  
  
•  Komputasi yang intens: Pelatihan berurutan dalam peningkatan sulit untuk diskalakan. Karena setiap estimator dibangun di atas pendahulunya, model peningkatan bisa mahal secara komputasi, meskipun XGBoost berusaha mengatasi masalah skalabilitas yang terlihat pada jenis metode peningkatan lainnya. Pelatihan algoritma boosting dapat berjalan lebih lambat jika dibandingkan dengan bagging karena jumlah parameter yang besar juga dapat memengaruhi perilaku model.

Algoritma boosting sangat cocok untuk proyek kecerdasan buatan di berbagai industri, termasuk:

• Layanan Kesehatan: Boosting digunakan untuk menurunkan kesalahan dalam prediksi data medis, seperti memprediksi faktor risiko kardiovaskular dan tingkat kesintasan pasien kanker. Misalnya, penelitianmenunjukkan bahwa metode ensambel secara signifikan meningkatkan akurasi dalam mengidentifikasi pasien yang dapat memperoleh manfaat dari pengobatan pencegahan penyakit kardiovaskular, sekaligus menghindari pengobatan yang tidak perlu terhadap orang lain. Demikian juga, penelitian lain menemukan bahwa penerapan boosting pada beberapa platform genomik dapat meningkatkan prediksi waktu bertahan hidup kanker.

• TI: Pohon regresi dengan yang ditingkatkan dengan gradient boosting digunakan di mesin pencari untuk peringkat halaman, sementara algoritma boosting Viola-Jones digunakan untuk pengambilan gambar. Seperti dicatat oleh Cornell, pengklasifikasi yang ditingkatkan memungkinkan komputasi dihentikan lebih cepat ketika arah yang dituju prediksi jelas. Ini berarti bahwa mesin pencari dapat menghentikan evaluasi halaman peringkat yang lebih rendah, sedangkan pemindai gambar hanya akan mempertimbangkan gambar yang benar-benar berisi objek yang diinginkan.
  
  
• Keuangan: Boosting digunakan dengan model pembelajaran mendalam untuk mengotomatiskan tugas-tugas penting, termasuk deteksi penipuan, analisis harga, dan banyak lagi. Misalnya, meningkatkan metode dalam deteksi penipuan kartu kredit dan analisis harga produk keuangan meningkatkan akurasi analisis kumpulan data masif untuk meminimalkan kerugian finansial.