Meta Llama 4 MaverickおよびLlama 4 Scoutがwatsonx.aiで利用可能になりました

watsonx.aiのホームページのデモ

著者

Maryam Ashoori

VP of Product and Engineering, watsonx.governance

IBM

IBMは、Meta社の最新世代のオープン・モデルであるLlama 4をwatsonx.aiに追加する発表ができることを嬉しく思います。Meta社がリリースした最初の混合専門家(MoE)モデルであるLlama 4 ScoutとLlama 4 Maverickは、最先端のマルチモーダル・パフォーマンス、高速、低コスト、業界トップのコンテキスト長を提供します。

Llama 4のリリースは、Llamaシリーズの新時代を切り開きました。Llamaアーキテクチャーのエキサイティングな進化と、テキスト、画像、動画などのさまざまなタイプのデータ・モダリティーを従来のトレーニングよりもはるかに早い段階で統合する革新的なアプローチの両方を導入します。どちらの新しいモデルも、テキスト入力、テキスト出力と画像入力、テキスト出力などの幅広いユースケースをサポートしています。

Meta社からのこれら最新製品の導入により、IBMは現在、watsonx.aiで利用可能な基盤モデルの広範なライブラリーで合計13のMetaモデルをサポートしています。 IBMによる生成AI向けのオープンなマルチモデル戦略に沿って、当社は現在の市場で最も高性能なオープン・モデルをプラットフォームのお客様に提供し続けています。

効率的なアーキテクチャ

混合専門家(MoE)アーキテクチャーは、モデルのニューラル・ネットワークの層を複数の「専門家」にサブカテゴリー化することで、大きなモデルの知識容量と小さなモデルの推論効率のバランスをとることを目的としています。 MoEモデルは、各トークンのすべてのモデル・パラメーターをアクティブにするのではなく、そのトークンの処理に最も適した「専門家」のみをアクティブ化するゲーティング機能を使用します。

合計パラメータ数109Bの2つの新しいモデルのうち比較的小さいLlama 4 Scoutは、16の専門家に分割されています。推論では、アクティブなパラメーター数はわずか17Bであるため、より多くのユーザーに並行してサービスを提供できます。 40兆トークンのデータでトレーニングされたLlama 4 Scoutは、コストとレイテンシーを低く抑えながら、大幅に多いアクティブ・パラメーター数を備えたモデルに匹敵するかそれを超える性能を提供します。こういったコンパクトなコンピューティング要件にもかかわらず、Llama 4 Scoutはコーディング、推論、長いコンテキスト、画像理解のベンチマークにおいては同等のモデルを上回っています。

Llama 4 Maverickは128の専門家に分かれており、Llama 4 Scoutと同じ17Bのアクティブなパラメータ数を維持しながら、合計400Bのパラメータに関する知識を引き出しています。Meta AIの公式発表によると、Llama 4 Maverickは、幅広いマルチモーダル・ベンチマークにおいてOpenAIのGPT-4oとGoogleのGemini 2.0 Flashを「全面的に」上回り、推論およびコーディングのタスクに関しては、はるかに大規模なDeepSeek-V3の性能に匹敵します。

業界をリードするコンテキスト長

さらに、Llama 4 Scoutは、Needle-in-a-haystack(NiH) などの長コンテキストのベンチマークにおいて優れた精度を維持しながら、業界最高の1,000万トークンのコンテキスト・ウィンドウを提供します。この前例のない飛躍的な進歩により、マルチドキュメントの要約、膨大なコードベースを介した推論、およびユーザーアクティビティの広範なメモリによるパーソナライゼーションを実現するエキサイティングな可能性が開かれます。

Meta社の発表で説明されるように、このコンテキスト長の大幅な拡張は、主に2つのイノベーションによるものです。それは、位置埋め込みのないインターリーブ・アテンション・レイヤーの使用と、モデルの注意メカニズムの推論時間スケーリングです。 Meta社が「iRope」と呼ぶこの新しいアーキテクチャーは、「無限」のコンテキスト長をサポートするというMeta社の長期的な目標に向けた重要なステップです。

ネイティブ・マルチモダリティ

大規模言語モデル(LLM)は、従来はテキスト・データのみで事前トレーニングされ、トレーニング後に他のデータ・モダリティー(画像データなど)に適応されますが、Llama 4モデルは「ネイティブ・マルチモダリティー」で設計されています。これにより、Meta社は、ラベル付けされていない大量のテキスト、画像、動画データを一度に共同で事前トレーニングし、多様なソースからの統合された知識でモデルを効率的に強化することができました。

Llama 4モデルのトレーニングには、処理パイプラインの早い段階でさまざまなタイプのデータの「融合」が組み込まれ、テキスト・トークンとビジョン・トークンがシームレスに統合され、単一の統合システムとしてトレーニングできるようになりました。そのため、Llama 4 MaverickとLlama 4 Scoutは、複数の画像に関するプロンプトに一度に対処することも、1つの画像で特定の領域への応答を固定することもでき、一連の画像理解タスクで優れた性能を発揮します。

IBM watsonx上のLlama 4モデル

開発者と企業は、IBM watsonx.ai にある基盤モデルの広範なカタログから好みのLlama 4モデルを選択し、クラウド、オンプレミス、またはエッジ環境全体に微調整、抽出、デプロイできます。 IBMは、高度なAIインフラストラクチャー、エージェント・フレームワークとのシームレスな統合、およびベクトル・データベースとの互換性により、この柔軟性をさらに強化します。

IBM watsonxは、AIライフサイクル全体をサポートしながら、チーム間のコラボレーションを促進するエンタープライズ・グレードのスタジオで、コード、ローコード、ノーコードの一連のツールを使って開発を合理化します。 IBM watsonxは、堅牢なエンドツーエンドのAIガバナンスも提供し、責任ある迅速なワークフローを確立します。IBMとMeta社のパートナーシップでは、テクノロジー・トランスフォーメーションに関する深い専門知識を活用して、特定の企業のニーズに効率的かつ効果的に対応するためのカスタマイズされたストラテジーを提供しています。

watsonx.aiでMeta Llama 4を使用してAIパーソナル・トレーナーを構築する方法をご覧ください。

watsonx.aiで今すぐLlama 4モデルを始めましょう。