チューニング実験の評価
watsonx.ai、 基盤モデルチューニングは反復プロセスである。 チューニング実験を行い、その結果を評価する。 必要であれば、実験変数を変更し、調整された基盤モデル出力に満足するまで、実験を繰り返し再実行する。
各実験の実行後に進捗状況を確認する。 トレーニングデータに潜在的な問題がないか評価する前に、チューニング実験の設定にある制限を見つけ、それに対処する。
チューニング・パラメーターやトレーニング・データの例には、決定的なものはない。 最適なチューニングパラメータ設定とデータセットのサイズは、データ、使用する基盤モデル、モデルに実行させたいタスクのタイプによって異なります。
始める前に
テストデータセットとして使用するために、チューニングトレーニングデータのサブセットを作成または保存する。
手順
Tuning Studio、またはサンプル Python ノートブックを使って以下のステップを実行することで、実験時間を節約し、軌道を維持することができます：
デフォルトのチューニングパラメータでチューニング実験を行う。
実験が終了すると、損失関数のグラフが表示され、時間経過に伴うモデル出力の改善が示される。 エポックはX軸に、エポックごとの予測結果と実際の結果の差はY軸に示されている。 エポックごとに表示される値は、エポック内のすべての累積ステップの平均勾配値から計算される。
損失関数がゼロ付近で水平になる下向きのカーブを描いている場合、調整されたモデルはうまく機能している。
必要であれば、パラメータ値を調整し、損失関数がゼロに近くなるまで実験を再実行する。 UIから実験を再実行する：
- プロジェクトの 資産 ページから、 資産チューニング実験 で資産フィルタリングします。
- チューニング実験アセットを見つけて開き、新しいチューニングモデルをクリックします。
テストデータセットからプロンプトを送信して、チューニングされたモデルの品質をテストする。
必要であれば、トレーニングデータを修正または増強する。
新しいデータが導入されれば、より多くのチューニング・パラメーターの最適化が可能になるかもしれない。 実験を再実行し、このワークフローのステップを繰り返す。
チューニング実験の損失関数は、比較できるように以前の実行の損失関数と同じグラフに示されている。
次の作業
チューニング実験の結果に満足したら、チューニングした基礎モデルを配備する。 詳細は、 チューニング済みモデルのデプロイを参照してください。