継続学習とは

漸進学習により、モデルは新しい知識を獲得し、古い知識を忘れることなく、現実世界の予測不可能性に対応し続けることができます。非定常データとは、データの分布が静的ではないことを意味します。継続的学習の実装が成功すると、タスク固有の知識を維持し、動的なデータ分布全体で一般化もできるモデルが成果として得られます。

継続的学習モデルは、変化する環境で新しいデータを適切に応用するように設計されています。生涯学習としても知られる継続的な学習は、人間がすでに知っていることを維持しながら新しいことを学ぶ方法に関連するニューロサイエンスの概念にインスパイアされています。人がスケートボードを習ったとしても、すぐに自転車の乗り方を忘れるわけではありません。

従来の機械学習システムは、大規模な静的データセットでモデルをトレーニングします。モデルが重みまたはパラメーターを更新すると、データセットはモデルのアルゴリズムをバッチで処理します。このモデルはデータ・セット全体を複数回処理し、各サイクルはエポックと呼ばれます。

開発者は、ディープラーニング・モデルの目的を事前に特定し、学習目標に合うようにトレーニング・データセットを組み立て、そのデータに基づいてモデルをトレーニングします。次に、モデルがテスト、検証、デプロイされます。より多くのデータを使用して機械学習モデルを微調整すると、そのパフォーマンスを新しいタスクに合わせて調整できます。

従来の学習方法では、現実世界のダイナミズムを完全に反映することはできません。教師あり学習 では、既知の結果を有する静的データセットを使用します。教師なし学習では、モデルは独自にデータを並べ替えることができますが、トレーニング・データは依然として有限で不変です。強化学習も同様に安全で制約があります。

従来の学習方法とは対照的に、継続的学習は人間の脳の可塑性を人工ニューラル・ネットワークに適用しようとします。神経柔軟性は、変化する状況に直面した際に、過去の知識を忘れずに学習し、適応することを可能にする脳の特性です。

一部の種類の継続的学習は、従来のオフライン・トレーニングと同様、複数のエポックにおけるオフライン・バッチ・トレーニングから始まります。オンライン継続的学習では、シングルパス・データのストリームを使用してモデルをトレーニングします。

継続的な学習は、ディープ・ニューラル・ネットワークが動的な環境で最適化し、適応するのに役立ちます。従来の機械学習には、広範かつ固定されたデータ・セット、トレーニングに十分な時間とコンピューティング、およびモデルの既知の目的が必要です。これらの要件の1つ以上が満たされていない場合は、継続的学習が代替手段となります。

• 破滅的な忘却の軽減

• 小規模なトレーニング・データセット

• データ分布の変化

• リソースの最適化

• ノイズ耐性

ディープラーニング・モデルが新しいデータや新しい分布でトレーニングされると、過去の知識が失われる可能性があります。破壊的忘却として知られるこの現象は、モデルがパラメータを新しいデータに過剰適合させた結果生じます。モデルは内部の重みについて、新しいパラメーターがモデルの元のジョブに関連しなくなる程度まで更新します。

継続的な学習により、AIモデルを通じてトレーニング・データを段階的にストリームします。モデルには、場合によっては単一のサンプルのみで構成される一連の小さなデータセットが入力されます。転移学習 は、モデルが以前の学習を新しいタスクに適用する場合、必要な新しいデータの量を最小限に抑えるのに役立ちます。

世界は絶え間なく変化しています。人間やその他の動物は、逆境の中で成功するために学習する能力を進化させました。たとえば、1つの食料の供給がなくなった場合、別のものを食べる方法を考えることで生存を確保できます。

しかし、すべての動物が同様の能力を持っているわけではありません。コアラは、主な食料源であるユーカリの葉を木から切り離して、皿の上に山積みにしても、その葉を認識することさえできません。コアコアは他の木々の葉を食べることもありますが、彼らは食べ物を「木々の葉」としてのみ捉えます。彼らの滑らかな脳は、この期待から逸脱することはできないのです。

自動運転車での使用を目的としたコンピューター・ビジョン・モデルについて考えてみましょう。モデルは、道路上の他の車両だけでなく、歩行者、サイクリスト、モーターサイクリスト、動物、危険を認識する方法を知る必要があります。突然の雨や、ライトを点けてサイレンを鳴らしながら緊急車両が近づいていることなど、変化する気象や交通パターンを的確に把握し、適応する必要があります。

言語は時間の経過とともに変化します。自然言語処理 (NLP) モデルは、単語の意味とその使用方法の変化を処理できる必要があります。同様に、ロボティクス用に設計されたモデルは、ロボットの環境が変化した場合でも適応できなければなりません。

AIモデルは大量のリソースを消費します。大量の電気と水を消費するトレーニングには数百万ドルの費用がかかる場合があります。新しいタスクが発生するたびに新しいモデルをデプロイできるとは限りません。また、モデルの使用可能なメモリに過去のすべてのタスクを保存することも、計算上不可能です。

継続的な学習により、大規模言語モデル (LLM)やその他のニューラル・ネットワークは、以前の課題の処理方法を忘れることなく、変化するユースケースに適応できます。企業は、使用する各モデルの潜在的機能を拡張することで、運用中のモデル数を最小限に抑えることができます。

適切にトレーニングされた継続的学習アルゴリズムは、ノイズ（現実世界の値を正確に反映していない意味のないデータ・ポイント）を無視する一方、自信を持って関連データを識別できる必要があります。ノイズは、信号エラー、測定エラー、インプットエラーによる結果であり、外れ値もカバーします。外れ値とは、他の残りのデータとあまりにも異なるため、無関係なデータ・ポイントのことです。

継続的学習の課題は、データストリームが時間の経過とともにどのように変化するかに応じて、大きく3つのカテゴリーに分けられます¹ 。

• タスク増分継続学習
   

• ドメイン増分継続学習
   

• クラス増分継続学習

タスク増分学習は、マルチタスク学習への段階的なアプローチであり、アルゴリズムは一連の異なるタスクを達成するために学習する必要があります。タスクが互いに十分に区別されているか、またはインプットに適切なアウトプットのラベル付けをすることにより、アルゴリズムに対してどのタスクが期待されているかを明確にする必要があります。

タスク増分学習の実際の例としては、日本語、北京語、チェコ語、スペイン語の話し方の学習があります。通常、話者が特定の時点でどの言語を使用すべきかは明確です。

タスクはモデルに順番にストリーミングされるため、確実にモデルが学習内容を次のタスクに十分に転送できるようにすることが課題の1つです。また、タスクの総数についても、特にデプロイメント済みのモデルの場合には、必ずしも事前に把握されているとは限りません。

破壊的忘却の防止は当然のことであり、タスク増分学習の手法では、転移学習をモデルに適用させることが真の目標です。

ドメイン増分学習では、データの分布は変化するものの、課題の種類は同じままであるような課題をカバーします。タスクを取り巻く条件は何らかの形で変化しましたが、潜在的なアウトプットは変化していません。タスク増分学習とは異なり、このモデルは解決する特定のタスクを識別する必要はありません。

たとえば、光学式文字認識（OCR）用に構築されたモデルでは、さまざまなドキュメント形式やフォントスタイルを認識する必要があります。環境がどのように、あるいはなぜ変化したかを知ることは重要ではなく、環境が変化したことを認識し、それにもかかわらずタスクを完了することが重要です。

モデルは一般に離散的な静的データセットでトレーニングされるため、データ分布の変化は機械学習において長年の課題となっています。デプロイメント後にデータ分布が変化した場合、ドメイン増分学習はモデルが性能の低下を軽減するのに役立ちます。

クラス増分学習は、分類器モデルがアウトプットクラスの数を増やして一連の 分類タスク を実行する必要がある場合に使われます。モデルは、各インスタンスを正しく解決すると同時に、以前のインスタンスで遭遇したクラスを呼び出すことができなければなりません。

車両を車またはトラックとして分類するようにトレーニングされたモデルは、後にバスとバイクを識別するように求められるかもしれません。モデルは、各インスタンスのオプションだけでなく、時間の経過とともに学習したすべてのクラスの理解を維持することが期待されます。「車とトラック」でトレーニングし、後で「バスとオートバイ」を与えた場合、モデルは車両が車かバスかを正常に判断するはずです。

最先端のクラス増分学習は、新しいクラスの出現によって以前に確立されたクラス間の違いが損なわれる可能性があるため、最も困難な継続的学習の課題の1つです。

すべての継続的学習手法の目標は、安定性と可塑性のジレンマのバランスをとることです。つまり、以前に学習した知識を保持するのに十分な安定性を備えながらも、新しい知識を育むのに十分な可塑性を備えたモデルにすることです。研究者は継続的学習に対する多数のアプローチを特定していますが、その多くは次の3つのカテゴリのいずれかに分類できます。

• 正則化手法
  

• パラメーター分離手法
  

• 再生手法

正則化 は、モデルが新しいデータに過適合する能力を制限する一連の手法です。このモデルでは、増分トレーニング中にアーキテクチャーを更新することはできませんが、知識蒸留（より大きなモデルが小さなモデルに「教える」こと）などの手法は、知識の維持に役立ちます。

• 弾性重み統合 (EWC) は、学習アルゴリズムの 損失関数 にペナルティを追加し、モデルのパラメーターに大幅な変更を加えることを制限します。最適化アルゴリズムは、モデルの性能をベンチマークするためのメトリクスとして損失関数の勾配を使用します。

• シナプス・インテリジェンス（SI）は、各パラメータの相対的な重要性の累積的な理解に基づいてパラメータの更新を制限します。

• 忘却なし学習（LWF）は、新しいタスク・データを使用してモデルをトレーニングし、以前のタスクの出力確率を保持することで古い知識を維持します。

パラメーター分離の方法では、以前のタスクのパラメーターを固定しながら、新しいタスクに対応するためにモデルのアーキテクチャーの一部を変更します。モデルは機能拡張するために自動的に再構築されますが、一部のパラメーターは調整できないことに注意してください。後続のトレーニングは、新しいタスクに適格なパラメーターに対してのみ行われます。

例えば、プログレッシブ・ニューラル・ネットワーク（PNN）は、新しいタスクに特化したニューラル・ネットワークの列を作成します。他の列への並列接続により、これらの列が変更されるのを防ぎながら転移学習を行うことが可能になります。

再生手法では、トレーニング・アクティベーション中にモデルを以前のトレーニング・データセットのサンプルに定期的に曝します。再生ベースの継続的学習は、古いデータのサンプルをメモリバッファに保存し、それを後続のトレーニング・サイクルに組み込みます。古いデータに継続的に露出することで、モデルが新しいデータに過剰に適合することがなくなります。

メモリー手法は確実に効果的ですが、以前のデータへの定期的なアクセスというコストがかかり、十分なストレージ容量が必要になります。機密性の高い個人データの使用を伴う状況では、メモリー技術の実装の問題を防ぐこともできます。

ジェネレーティブ再生では、古いクラスを忘れることなく新しいクラスを学習する必要がある分類器など、学習中のモデルにフィードするために、過去のデータのサンプルを合成する生成モデルを使用します。