Beranda
Topics
Bagging
Bagging, juga dikenal sebagai agregasi bootstrap, adalah metode pembelajaran ansambel yang biasa digunakan untuk mengurangi varians dalam kumpulan data dengan banyak derau.
Dalam bagging, sampel acak data dalam set pelatihan dipilih dengan penggantian—artinya, setiap titik data dapat dipilih lebih dari satu kali. Setelah menghasilkan beberapa sampel data, model lemah ini kemudian dilatih secara independen. Bergantung pada jenis tugasnya—egression atau klasifikasi, misalnya—rata-rata atau mayoritas dari prediksi tersebut menghasilkan estimasi yang lebih akurat.
Sebagai catatan, algoritma forest acak dianggap sebagai perluasan metode bagging, yang menggunakan bagging dan keacakan fitur untuk membuat forest decision trees yang tidak berkorelasi.
Pembelajaran secara berkelompok memberikan kepercayaan pada gagasan "kebijaksanaan orang banyak", yang menunjukkan bahwa pengambilan keputusan dari sekelompok orang yang lebih besar biasanya lebih baik daripada pengambilan keputusan oleh seorang pakar. Demikian pula, pembelajaran ansambel mengacu pada sekelompok (atau ansambel) pelajar dasar, atau model, yang bekerja secara kolektif untuk mencapai prediksi akhir yang lebih baik.
Sebuah model tunggal, juga dikenal sebagai pelajar dasar atau lemah, mungkin tidak berkinerja baik secara individual karena varians atau bias yang tinggi. Namun, saat banyak pelajar yang lemah bergabung, mereka dapat membentuk pelajar yang kuat, karena kombinasi mereka mengurangi bias atau varians, menghasilkan kinerja model yang lebih baik.
Metode ensemble sering menggunakan decision trees untuk ilustrasi. Algoritma ini mungkin rentan terhadap overfitting, menunjukkan varians tinggi dan bias rendah, ketika belum dipangkas. Sebaliknya, hal ini juga dapat menyebabkan underfitting, dengan varians yang rendah dan bias yang tinggi, jika variansnya sangat kecil, seperti decision stump, yang merupakan decision tree dengan satu tingkat.
Ingat, ketika sebuah algoritma mengalami overfitting atau underfitting pada set pelatihannya, algoritma tersebut tidak dapat melakukan generalisasi yang baik pada set data baru, sehingga metode ansambel digunakan untuk mengatasi perilaku ini sehingga generalisasi model ke set data baru dapat dilakukan. Meskipun decision tree dapat menunjukkan varians atau bias yang tinggi, perlu dicatat bahwa decision tree bukanlah satu-satunya teknik pemodelan yang memanfaatkan pembelajaran ansambel untuk menemukan "posisi yang tepat" dalam pertukaran bias-varians.
Bagging dan boosting adalah dua jenis utama metode pembelajaran ansambel. Seperti yang disorot dalam penelitian ini (tautan berada di luar ibm.com), perbedaan utama antara metode pembelajaran ini adalah bagaimana mereka dilatih.
Dalam bagging, pelajar yang lemah dilatih secara paralel, sedangkan dalam boosting, mereka belajar secara berurutan. Artinya, serangkaian model dibangun dan dengan setiap iterasi model baru, bobot dari data yang salah diklasifikasikan dalam model sebelumnya ditingkatkan.
Distribusi ulang bobot ini membantu algoritma mengidentifikasi parameter yang perlu difokuskan untuk meningkatkan kinerjanya. AdaBoost, yang merupakan singkatan dari “adaptative boosting algorithm,” merupakan salah satu algoritma boosting yang paling populer karena merupakan salah satu yang pertama dalam jenisnya. Jenis algoritma peningkatan lainnya termasuk XGBoost, GradientBoost, dan BrownBoost.
Perbedaan lain dari bagging dan boosting adalah skenario tempat mereka digunakan. Sebagai contoh, metode bagging biasanya digunakan pada pelajar yang lemah yang menunjukkan varians tinggi dan bias rendah, sedangkan metode boosting digunakan ketika ada varians rendah dan bias tinggi.
Hubungkan dan integrasikan sistem Anda untuk mempersiapkan infrastruktur Anda untuk AI.
Pada tahun 1996, Leo Breiman (tautan berada di luar ibm.com) memperkenalkan algoritma bagging, yang memiliki tiga langkah dasar:
Ada beberapa keuntungan dan tantangan utama yang dihadirkan oleh metode bagging ketika digunakan untuk masalah klasifikasi atau regression. Manfaat utama dari bagging meliputi:
Tantangan utama dari bagging meliputi:
Teknik bagging digunakan di banyak industri, memberikan insight untuk nilai dunia nyata dan perspektif yang menarik, seperti dalam GRAMMY Debates dengan Watson. Beberapa contoh penggunaan meliputi:
Gunakan analisis prediktif untuk membantu mengungkap pola data, mendapatkan akurasi prediktif, dan meningkatkan pengambilan keputusan.
Bangun dan skalakan AI tepercaya di cloud apa pun. Otomatiskan siklus hidup AI untuk ModelOps.