ホーム
Topics
ブースティング
ブースティングは、弱学習器を強学習器に組み合わせて学習エラーを最小限に抑えるアンサンブル学習の手法です。ブースティング・アルゴリズムで、データ・マイニングの取り組みの予測能力を向上させることができます。
ブースティングでは、データのランダムなサンプルを選択し、モデルに合わせて準備し、連続的にトレーニングを行います。つまり、各モデルはその前のモデルの弱点を補おうとします。反復するたびに、個々の分類子の弱いルールが組み合わされて、1つの強力な予測ルールが形成されます。
アンサンブル学習は、1人の専門家の判断よりも大人数による意思決定の方が一般に優れていることを示唆する「群衆の叡智」の考え方に基づいています。アンサンブル学習はこの考えに従い、ベースとなる複数の学習器(モデル)を組み合わせたグループ(アンサンブル)を協調させることで、最終的な予測の精度を高めます。ベース学習器や弱学習器と呼ばれる単一のモデルは、単体では高バリアンスまたは高バイアスとなってうまく機能しない場合があります。しかし、複数の弱学習器を組み合わせると、バイアスやバリアンスが抑えられ、より強力な学習器が得られることから、モデルの性能が向上します。
アンサンブル学習の手法は、説明のために決定木がよく用いられます。決定木が剪定されていない場合には、このアルゴリズムは過学習(高バリアンスかつ低バイアス)を起こしやすくなります。逆に、例えば1レベルの決定木である決定株のように、決定木が非常に小さい場合には、学習不足(低バリアンスかつ高バイアス)となる可能性があります。トレーニング・データ・セットに対する過学習または学習不足が生じたアルゴリズムは、新しいデータ・セットに対して適切に汎用化できません。この問題に対処し、新しいデータ・セットに対するモデルの汎用化を可能にするために、アンサンブル学習の手法を利用します。決定木は高バリアンスまたは高バイアスとなる場合があります。しかし、バイアスとバリアンスのトレードオフにおける「スイート・スポット」を見つけるためにアンサンブル学習を活用するモデリング手法は、決定木だけではないという点に留意する必要があります。
バギングとブースティングは、アンサンブル学習の主要な2つの手法です。こちらの研究(ibm.com外部へのリンク)が示すように、この2つの学習手法の主な違いはトレーニング方法にあります。バギングでは、弱学習器のトレーニングを並列的に実行します。一方ブースティングでは、直列的に学習を実行します。つまり、一連のモデルを構築する中で、新しいモデルの学習を反復するごとに、前のモデルで誤分類されたデータに重みを加えます。この重みの再配分は、性能向上の焦点となるパラメーターをアルゴリズムが特定するうえで役立ちます。このタイプの最初のアルゴリズムの1つであるAdaBoostは、最もよく使用されるブースティング・アルゴリズムの1つとなっています。AdaBoostは「アダプティブ・ブースティング・アルゴリズム」の略です。その他のブースティング・アルゴリズムには、XGBoost、GradientBoost、BrownBoostなどがあります。
バギングとブースティングのもう1つの違いは、その使用方法です。例えば、バギングの手法は通常、高バリアンスで低バイアスの弱学習器に対して用います。一方ブースティングの手法は、低バリアンスで高バイアスの場合に活用されます。実際にはデータ・セットによって異なりますが、バギングは過学習を回避するために使用でき、ブースティング手法では過学習が発生しやすくなります(ibm.com外部へのリンク)。ただし、パラメーターを調整することで問題を回避できます。
その結果、バギングとブースティングの実際の用途も異なります。バギングはローン承認プロセスや統計ゲノミクスに活用されてきましたが、ブースティングは画像認識アプリや検索エンジンでより多く使用されています。
このモデル選択フレームワークを使用して、パフォーマンス要件とコスト、リスク、導入ニーズのバランスをとりながら、最も適切なモデルを選択してください。
ブースティングの手法は、弱学習器を繰り返し組み合わせて、より正確な結果を予測できる強学習器を構築することに重点を置いています。弱学習器は、無作為な推測よりもわずかに適切にデータを分類します。このアプローチは、予測の問題に対して確実な結果をもたらすだけでなく、画像検索(ibm.com外部へのリンク)などのタスクでニューラル・ネットワークやサポート・ベクター・マシンよりも優れた性能を発揮します。
ブースティング・アルゴリズムは、逐次プロセス中に弱学習器を作成、集約する方法が異なる場合があります。一般的なブースティング手法には次の3つがあります。
ブースティングのメリットと課題
分類や回帰の問題にブースティングの手法を利用する場合、いくつかの重要なメリットと課題があります。
ブースティングの主要なメリットは次のとおりです。
ブースティングの主な課題は次のとおりです。
ブースティング・アルゴリズムは、次のような幅広い業界の人工知能プロジェクトに適しています。
医療:ブースティングは、心血管リスク因子やがん患者の生存率の予測など、医療データ予測の誤りを減らすために使用されます。例えば、研究(ibm.com外部へのリンク)では、アンサンブル法により、心血管疾患の予防的治療の恩恵を受ける可能性のある患者を特定する精度が大幅に向上すると同時に、他の患者への不必要な治療を回避できることが示されています。同様に、別の研究(ibm.com外部へのリンク)では、ブースティングを複数のゲノミクス・プラットフォームに適用することで、がんの生存期間の予測を改善できることがわかりました。
IT: 勾配ブースティング回帰木は検索エンジンのページ・ランク付けに使われ、Viola-Jonesブースティング・アルゴリズムは画像検索に使用されています。コーネル大学(ibm.com外部へのリンク)が指摘しているように、ブースト分類器を使用すると、予測がどの方向に向かうかが明確になったときに、計算を早期に停止できます。つまり、検索エンジンは下位のページの評価を停止できますが、画像スキャナーは実際に目的のオブジェクトを含む画像のみを考慮します。
財務:ブースティングはディープラーニング・モデルと共に使用され、不正検知や価格分析などの重要なタスクを自動化します。たとえば、クレジット・カード詐欺検出や金融商品の価格分析(ibm.com外部へのリンク)にブースティング手法を使用すると、膨大なデータ・セットの分析精度が向上し、金銭的損失を最小限に抑えることができます。