パラメーター効率的なファイン・チューニング（PEFT）とは

ニューラル・ネットワーク、例えば 自然言語処理（NLP）や画像分類などの一般的なタスク向けにトレーニングされたニューラル・ネットワークは、完全に再トレーニングすることなく、関連する新しいタスクに特化できます。PEFTは、毎回ゼロから始めることなく、高度に特殊化されたモデルを構築するためのリソース効率の高い方法です。

PEFTは、事前トレーニング済みのモデルのパラメーターとレイヤーのほとんどを固定し、事前に決定された下流タスクの最終レイヤーにアダプターと呼ばれるいくつかのトレーニング可能なパラメーターを追加することで機能します。

ファイン・チューニングされたモデルは、トレーニング中に得られたすべての学習を保持しながら、それぞれの下流のタスクに特化します。多くのPEFTメソッドでは、一度に多くの情報を保存せずにモデルが学習できるようにするメモリー節約技術である勾配チェックポイントによって、学習効率がさらに向上します。

パラメーター効率に優れたファイン・チューニングにより、効率とパフォーマンスのバランスが保たれ、組織は計算リソースを最大限に活用しながらストレージ・コストを最小限に抑えることができます。PEFTメソッドを使用してチューニングすると、GPT-3、LLaMA、BERTなどのトランスフォーマー・ベースのモデルは、事前トレーニング・パラメーターに含まれるすべての知識を活用しながら、ファイン・チューニングを行わない場合よりも優れたパフォーマンスを発揮できます。

PEFTは、あるタスクでトレーニングされたモデルを2番目の関連タスクに適用する転移学習でよく使用されます。たとえば、画像分類のトレーニングを受けたモデルをオブジェクト検出に使用することもできます。ベース・モデルが大きすぎて包括的に再トレーニングできない場合、または新しいタスクが元のタスクと異なる場合は、PEFTが理想的なソリューションになります。

従来の完全なファイン・チューニング手法では、事前トレーニング済みのLLMのすべてのパラメーターをわずかに調整して、特定のタスクに適応させます。しかし、人工知能（AI）とディープラーニングの進化により、モデルはより大規模かつ複雑になり、ファイン・チューニング・プロセスに対する計算リソースとエネルギーの負担が大きくなりすぎました。

また、ファイン・チューニングされた各モデルはオリジナルと同じサイズになります。これらのモデルはすべて、大量のストレージ・スペースを占有し、それらを使用する組織のコストをさらに押し上げます。ファイン・チューニングにより、より効率的な機械学習（ML）が実現されますが、LLMをファイン・チューニングするプロセス自体は非効率になっています。

PEFTは、モデルの意図されたユースケースに最も関連性の高い少数のパラメーターを調整して、特殊なモデル・パフォーマンスを提供すると同時に、モデルの重みを減らして計算コストと時間を大幅に節約します。

パラメーター効率的なファイン・チューニングには多くのメリットがあり、業務でLLMを使用する組織に人気があります。

• 効率性の向上
  
  
• 価値実現までの時間の短縮
  
  
• 破滅的忘却がない
  
  
• 過剰適合のリスクの低下
  
  
• データ需要の削減
  
  
• よりアクセスしやすいAI
  
  
• より柔軟なAI

生成AIで使用される大規模な言語モデルのほとんどは、Nvidia社などのメーカーが製造した高価な画像処理装置（GPU）によって駆動されています。各LLMは大量の計算リソースとエネルギーを使用します。最も関連性の高いパラメーターのみを調整することで、エネルギーとクラウド・コンピューティングのコストを大幅に節約できます。

最も関連性の高いパラメーターのみを調整することで、エネルギーとクラウド・コンピューティングのコストを大幅に節約できます。PEFTはトレーニング可能なパラメーターをわずかに調整するだけなので、新しいタスクに合わせてモデルを更新するのにかかる時間が大幅に短縮されます。完全なファイン・チューニング・プロセスと同等のパフォーマンスを、わずかな時間と費用で実現できます。

破滅的忘却は、LLMが新しいユースケースに合わせて再トレーニングまたは調整される際に、初期トレーニング・プロセス中に得た知識を失ったり、「忘れたり」することを言います。PEFTは初期パラメーターのほとんどを保存するため、破滅的忘却も起きません。

過学習とは、トレーニング・プロセス中にモデルがトレーニング用データに近づきすぎて、他のコンテキストで正確な予測を生成できなくなることです。PEFTで調整されたトランスフォーマー・モデルは、ほとんどのパラメーターが静的のままであるため、過学習が発生する可能性が大幅に低くなります。

いくつかのパラメーターに焦点を当てることにより、PEFTはファイン・チューニング・プロセスに対するトレーニング用データ要件を低減します。完全なファイン・チューニングには、ファイン・チューニング・プロセス中にすべてのモデルのパラメーターが調整されるため、はるかに大きなトレーニング用データ・セットが必要になります。

PEFTがなければ、多くの小規模または中規模の組織にとって、専門的なLLMを開発するためのコストが高くなりすぎてしまいます。PEFTにより、モデルをトレーニングしてファイン・チューニングするための時間やリソースがないチームでもLLMを利用できるようになります。

PEFTを使用すると、データサイエンティストやその他の専門家は、一般的なLLMを個々のユースケースに合わせてカスタマイズできます。AIチームは、計算、エネルギー、ストレージ・リソースの消費をあまり心配せずに、モデルの最適化を試すことが可能になります。

AIチームは、それぞれに相対的な利点と特徴を持つ異なるPEFT手法やアルゴリズムを自由に使用できます。最も人気のあるPEFTツールの多くは、Hugging Faceやその他の多数のGitHubコミュニティーで見つけることができるでしょう。

• アダプター
  
  
• LoRA
  
  
• QLoRa
  
  
• プレフィックス・チューニング
  
  
• プロンプト・チューニング
  
  
• Pチューニング

アダプターは、自然言語処理（NLP）モデルに適用される最初のPEFT手法の1つです。研究者たちは、モデルの重みを最小限に抑えながら、複数の下流タスク用にモデルをトレーニングするという課題を克服しようと努めました。その結果誕生したのが、アダプター・モジュールでした。これは、モデルの各トランスフォーマー・レイヤーに、トレーニング可能なタスク固有のパラメーターをいくつか挿入する小さなアドオンです。

2021年に導入された大規模言語モデルの低ランク適応（LoRA）では、ツインの低ランク分解行列を使用してモデルの重みを最小限に抑え、トレーニング可能なパラメーターのサブセットをさらに削減します。

LoRAの拡張バージョンであるQLoRAは、事前トレーニング済みの各パラメーターの重みを、通常の32ビットの重みからわずか4ビットに量子化または標準化します。そのため、QLoRAはメモリーを大幅に節約し、1つのGPUだけでLLMを実行できるようになります。

自然言語生成（NLG）モデル用に特別に作成されたプレフィックス・チューニングは、すべてのパラメーターを固定したまま、プレフィックスと呼ばれるタスク固有の連続ベクトルを各トランスフォーマー・レイヤーに追加します。その結果、プレフィックス調整されたモデルは、同等のパフォーマンスを持つ完全にファイン・チューニングされたモデルよりも1,000倍以上少ないパラメーターを保存します。

プロンプト・チューニングはプレフィックス・チューニングを簡素化し、入力データまたはトレーニング用データにカスタマイズされたプロンプトを挿入することでモデルをトレーニングします。ハード・プロンプトは手動で作成されますが、ソフト・プロンプトはベース・モデルから知識を引き出すAIが生成する数字の文字列です。チューニング中、ソフト・プロンプトは人間が生成したハード・プロンプトよりも優れていることがわかっています。

Pチューニングは、自然言語理解（NLU）タスク用に設計されたプロンプト・チューニングの一種です。Pチューニングでは、手動で作成されたプロンプトを使用するのではなく、自動生成されたプロンプトによるトレーニングにより、時間の経過とともにより効果的なトレーニング・プロンプトを実現します。