時系列モデル：AI予測における静かな革命

大規模言語モデルがニュースの見出しを飾っているかもしれませんが、別のクラスのAIが企業の未来予測の方法を変える可能性があります。コンパクトで効率的な時系列モデルは、業界全体の予測を一変させています。

IBM のTinyTimeMixer (TTM) がこの傾向を例示しています。100万個未満のパラメーターを使用するTTMは、大規模モデルのような計算負荷をかけることなく、堅固な予測を実現します。

「Forecastingは、正しく適用すれば強力なツールになり得ます」とIBMテクニカル・ストラテジストのJoshua Noble氏は説明します。「需要、収益、コスト、デバイスの故障、市場の変化を予測する能力はすべて、あらゆる規模の企業にとって強力な資産です。」

AI業界では最近、小規模で効率的な言語モデルへの関心が高まっています。これらのコンパクトなモデルは、必要な計算能力とメモリーを抑えながら、より大きなモデルに匹敵するパフォーマンスを実現することを目指しています。例えば、Mistral AIは Mixtral 8x7B モデルで注目を集めました。これは 専門家の混合 アプローチを用いて、比較的少ないパラメータ数で高い性能を実現しています。

この「 AIライト」への傾向は、実用的なデプロイメントとアクセシビリティへの注目の高まりを反映しており、より広範囲のアプリケーションやデバイス向けのAIテクノロジーが民主化される可能性を秘めています。

TTMは、従来の機械学習の自己アテンション(シーケンス内の各要素が他のすべての要素との関係を評価する)を、単純な パーセプトロン・ブロック を選択的に制御して時系列変数を結びつける「ゲート付きアテンション」に置き換えます。この合理化されたアプローチにより、焦点が強化され、トレーニングやファイン・チューニングの計算コストが削減されるため、時系列タスクに優れた無駄のない効率的なモデルが得られます。

北京大気質データセットは、過去のデータと気象変数を用いてPM2.5大気汚染レベルを予測するTTMの能力を示す現実世界のテストケースです。このアプリケーションは、環境監視と都市計画におけるモデルの可能性を示しています。

時系列モデルは将来性を示していますが、課題は依然として存在します。Noble氏は次のように警告しています。「Forecastingは、ほとんどのAIと同様に、優れたデータと予測可能なパターンに依存します。単純に予測しにくい現象もいくつかあり、それを回避できるモデルは存在しないでしょう。」

ファイン・チューニングでは、データの準備、モデルの読み込み、評価、ファイン・チューニング、再評価という合理化されたプロセスを通じて、モデルの制約に対処します。その影響は明らかです。北京の大気質予測では、微調整により評価損失が0.426から0.253に減少し、予測精度が大幅に向上しました。この実例は、特定のタスクのモデルのパフォーマンスを向上させるファイン・チューニングの力を示しています。

ファイン・チューニング・プロセスには、データセットの分割、事前トレーニングされたモデルの読み込み、ベースライン・パフォーマンスの確立、早期停止を伴うトレーニング・データのファイン・チューニング、および最終評価が含まれます。このアプローチにより、複雑なデータ・パターンをキャプチャするモデルの能力が向上し、より正確な予測が可能になります。

TTMの予測パイプラインは、対象変数と外部要因の両方を組み込んだ複雑な時系列データを処理します。PM2.5の予測例に戻ると、このアプローチにより、TTMは大気質に影響を与えるさまざまな要素間の複雑な関係を捉えることができます。複数の変数を同時に考慮することで、モデルは、時間の経過とともに大気質に影響を与える要因の複雑な相互作用を考慮し、より正確で微妙な予測を行います。

The IBM watsonxプラットフォームは、これらの機能をより幅広いオーディエンスに提供します。このプラットフォームにより、ユーザーはモデルのトレーニング、検証、チューニング、デプロイを効率的に行うことができ、あらゆる規模の企業におけるAI駆動型予測の民主化が実現します。

TTMなどの時系列モデルが進化するにつれて、そのビジネス予測への影響は大きくなります。これらのモデルは、サプライチェーンの最適化から市場動向予測まで、不確実性を乗り越えるための強力なツールを提供します。

Noble氏は、これらのモデルの可能性について次のようにまとめています。「時系列データでトレーニングされた基盤モデルは、多くのトレーニング・データが既に組み込まれているため、この種の予測への参入障壁を減らすのに役立ちます。」