IBM Granite 3.1：優れたパフォーマンス、より長文に対応したテキスト処理、新しい埋め込みモデルなどを提供

主な情報は以下の通りです。
 

• Granite 3.1 8B Instructは、Granite 3.0 8B Instructに比べてパフォーマンスが大幅に向上しています。 Hugging Face OpenLLM Leaderboardベンチマークの平均スコアは、現在、同クラスのオープン・モデルの中で最高レベルにあります。
• Granite 3の言語モデル・ファミリー全体のコンテキスト・ウィンドウを拡張しました。最新の高密度モデル（Granite 3.1 8B、Granite 3.1 2B）、MoEモデル（Granite 3.1 3B-A800M、Granite 3.1 1B-A400M）、ガードレール・モデル（Granite Guardian 3.1 8B、Granite Guardian 3.1 2B）はすべて、12万8,000トークンに対応するコンテキスト長を備えています。
• IBMは、まったく新しい埋め込みモデルのファミリーをリリースします。検索最適化を実現する新しいGranite Embeddingモデルは、30M～278Mのパラメーターの4つのサイズで提供されます。生成モデルと同様、次の12言語で多言語サポートを提供しています：日本語、英語、ドイツ語、スペイン語、フランス語、ポルトガル語、アラビア語、チェコ語、イタリア語、韓国語、オランダ語、中国語。
  
•  
• Granite Guardian 3.1 8Bと2Bには、新しい関数呼び出しのハルシネーション検知機能が搭載されており、ツール呼び出しを行うエージェントの制御力と可観測性を強化します。
• Granite 3.1、Granite Guardian 3.1、Granite Embeddingのすべてのモデルは、Apache 2.0ライセンスに基づくオープンソースです。
• Graniteシリーズのこれらの最新モデルは、IBMが最近発表したDocling（RAGやその他の生成AIアプリケーション用の文書を準備するためのオープンソース・フレームワーク）とBee（エージェント型AI用のオープンソースのモデルに依存しないフレームワーク）に続くものです。
• Granite TinyTimeMixers（TTM）は、IBMのコンパクトで高性能な時系列モデル・シリーズで、watsonx.aiのTimeseries Forecasting APIとSDKのベータ版リリースを通じて、watsonx.aiで使用できるようになりました。
• Granite 3.1モデルは、Docker、Hugging Face、LM Studio、Ollama、Replicate（アルファベット順）だけでなく、IBM watsonx.aiでも使用可能です。
• Granite 3.1は、エンタープライズ・パートナーによって社内でも活用されます。Samsung社は、厳選されたGraniteモデルを同社のSDSプラットフォームに統合し、Lockheed Martin社は、Granite 3.1モデルを1万人以上の開発者やエンジニアが使用するAI Factoryツールに統合しています。

エンタープライズ向けに最適化された言語モデルのオープンで高性能なGraniteシリーズの最新版であるIBM Granite 3.1が本日リリースされました。この一連の機能強化、追加機能、および新機能は、主に、ツールの使用、検索拡張生成（RAG）、拡張性の高いエージェント型AIワークフローなどの重要な企業ユースケースにおけるパフォーマンス、精度、説明責任の強化に重点を置いています。

Granite 3.1は、先頃発表されたGranite 3.0コレクションの成功を踏まえて開発されました。IBMは、今後数カ月ごとに、Granite 3シリーズの最新モデルと機能を発表し、新しいマルチモーダル機能を2025年第1四半期に発表する予定です。

これらの新しいGraniteモデルは、最近IBMがオープンソースのLLMエコシステムにもたらした注目すべき唯一の成果ではありません。今回のリリースは、AIエージェントを開発するための柔軟なフレームワークから、モデルが理解しにくいPDFやスライド・デッキ、その他のファイル形式に隠された重要な情報を引き出す直感的なツールキットまで、最近の一連の革新的なオープンソースの発表の先駆けとなるものです。これらのツールとフレームワークをGranite 3.1モデルと併用することで、開発者はRAG、AIエージェント、その他のLLMを活用したワークフローを進化させることができます。

IBMのオープンソースに対するこれまでの取り組みは従来同様、この記事で取り上げたすべての製品の寛容型の標準オープンソース・ライセンスに反映されています。

IBMのGraniteシリーズの最適化への継続的な取り組みは、主力製品である8B高密度モデルの成長に最も顕著に反映されています。Hugging Face OpenLLM Leaderboardに含まれる教育機関向けベンチマーク評価の平均スコアにおいて、現在、IBM Granite 3.1 8B Instructは、同クラスのほとんどのオープン・モデルを上回っています。

Graniteモデル・シリーズは、エージェント型AIを含む企業ユースケースにおける卓越性と効率性の向上を優先して進化し続けてきました。この進化は、最新の8Bモデルが、詳細な指示に従うモデルの能力をテストするタスクが含まれるデータ・セットであるIFEvalや、長いテキストの推論と理解を測定するタスクが含まれるMulti-step Soft Reasoning（MuSR）で大幅に向上した性能に最も顕著に表れています。

Granite 3.0からGranite 3.1へのパフォーマンスの飛躍的向上は、すべてのモデルのコンテキスト・ウィンドウの拡張によって促進されました。Granite 3.1の12万8,000トークンに対応するコンテキスト長は、Llama 3.1～3.3やQwen2.5など、主要な一連のオープン・モデルと同等です。

大規模言語モデル（LLM）のコンテキスト・ウィンドウ（またはコンテキスト長）とは、LLMが一度に考慮できるテキストの量をトークンで表したものです。コンテキスト・ウィンドウが大きいほど、モデルはより大きな入力を処理し、より長い連続的なやり取りを行い、各アウトプットにより多くの情報を組み込むことができます。トークン化では、トークンと単語の「交換レート」は固定ではありませんが、1単語あたり1.5トークンが有用な推定値です。12万8,000トークンは、およそ300ページの本に相当します。

約10万トークンのしきい値を超えると、複数文書の質問応答、リポジトリー・レベルのコード理解、自己反映、LLMを利用した自律型エージェントなど、印象的な新しい可能性が現れます。¹Granite 3.1の拡張されたコンテキスト長は、コード・ベースや長大な法的文書全体の処理から、数千の金融取引の同時レビューまで、はるかに幅広い企業ユースケースに適しています。

Granite Guardian 3.1 8BとGranite Guardian 3.1 2Bは、エージェントのワークフローで発生する可能性のあるハルシネーションを検知できるようになりました。これにより、RAGで既に実現しているものと同じ説明責任と信頼性を関数呼び出しに提供することができます。

AIエージェントに送信される最初のリクエストと、AIエージェントが最終的にユーザーに返すアウトプットの間には、多くのステップとサブプロセスが発生します。全体を監視するために、Granite Guardian 3.1モデルは、構文と意味にハルシネーション（幻覚）がないか、すべての関数呼び出しを監視します。

例えば、AIエージェントが外部情報ソースに照会した場合、Granite Guardian 3.1は偽造された情報フローがないかを監視します。また、エージェントのワークフローに銀行記録から取得した数字を使用した中間計算が含まれる場合、Granite Guardian 3.1はエージェントが適切な数値とともに正しい関数呼び出しを実行したかどうかを確認します。

今回のリリースは、LLMベースのエンタープライズ・ワークフローのあらゆるコンポーネントに対する説明責任と信頼性の実現に向けた新たな一歩です。新しいGranite Guardian 3.1モデルはHugging Faceで使用可能です。また、今月末にはOllamaから、そして2025年1月にはIBM watsonx.aiからでも使用可能になります。

埋め込みは、LLMエコシステムの不可欠な要素です。単語、照会、文書を数値形式で正確かつ効率的に表現する手段は、セマンティック検索、ベクター検索、RAG、効果的なベクター・データベースの維持など、さまざまな業務に不可欠です。効果的な埋め込みモデルは、ユーザーの意図を理解するシステムを大幅に強化し、照会に対する情報やソースの関連付けを高めることができます。

過去2年間、テキスト生成や要約などのタスクを実現する、ますます競争力の高いオープンソースの自己回帰LLMが急増しましたが、主要プロバイダーからのオープンソースの埋め込みモデルのリリースはほとんどありませんでした。

新しいGranite Embeddingモデルは、エンコーダーのみのSlateファミリーの進化であるRoBERTAベースの言語モデルです。Granite Embeddingは、Graniteシリーズの他のモデルと同様、偏見、憎悪、虐待、冒涜（「HAP」）に該当する言葉をフィルタリングできるように学習しており、4つのモデル・サイズで提供され、そのうち2つは12の自然言語での多言語埋め込みに対応しています。

• Granite-Embedding-30M-English
• Granite-Embedding-125M-English
• Granite-Embedding-107M-Multilingual
• Granite-Embedding-278M-Multilingual

Hugging Face MTEBリーダーボード上のオープンな埋め込みモデルの大半は、MS-MARCOなどの研究目的のみにライセンスされた学習用データ・セットに依存していますが、IBMはGranite Embeddingの学習に使用されるすべてのデータ・ソースの商用適格性を検証しています。また、企業での使用をサポートするために検討すべきことを考慮に入れ、他のIBM開発モデルの使用に対して提供されるものと同じ、第三者のIPクレームに対する無制限の補償でGranite Embeddingをサポートしています。

IBMが学習用データの収集とフィルタリングに注力した結果、BEIR評価フレームワークを使用した社内性能評価において、English Granite Embeddingモデルは、同等規模の主要なオープンソース埋め込みモデルを上回ることができました。

IBMのテストでは、新しい埋め込みモデルのうち2つ（Granite-Embedding-30M-EnglishとGranite-Embedding-107M-Mulilingual）が、推論速度の点で競合製品を大幅に上回っていることも実証されました。

今回の発表は、オープンソースのGranite Embeddingモデル・ファミリーによる継続的なイノベーションに向けた、IBM Researchの意欲的なロードマップの開始を意味するものです。2025年には、コンテキストの拡張、RAGの最適化、マルチモーダル検索機能が更新、アップグレードされる予定です。

IBMは、Graniteシリーズを継続的に進化させるとともに、LLMを使用した構築のための革新的な新しいツールやフレームワークの開発と、オープンソースのリリースを通じて、オープンソースAIへの取り組みを着実に前進させています。Graniteモデル向けに最適化されているものの、本質的にオープンでモデルに依存しないこれらのIBM製リソースは、微調整パイプラインの促進からRAGソースの正規化、自律型AIエージェントの組み立てまで、開発者がLLMの可能性を最大限に活用するために役立ちます。

クリエイティブ・ライティングからRAGまで、生成AIは究極的にはデータに依存して動作するエンジンです。そのデータの一部がモデルが認識できない形式である限り、大規模言語モデルの真の可能性は実現できません。LLMは比較的新しいものですが、問題はそれではありません。10年前に米国のワシントン・ポスト紙の見出しにあったように、「すべての問題の解決策が誰も読まないPDFの中に埋もれている可能性がある」ことです。

そのため、IBM Deep Searchは、PDF、DOCX、画像、PPTX、XLSX、HTML、AsciiDocなどの一般的な形式の文書を解析し、MarkdownやJSONなどのモデルに適した形式に変換する強力なツールであるDoclingを開発しました。これにより、これらの文書とそこに含まれる情報が、RAGやその他のワークフローを目的としてGraniteなどのモデルから簡単にアクセスできるようになります。Doclingは、LlamaIndex、LangChain、Beeなどのエージェント型フレームワークと簡単に連携できるため、開発者は選択したエコシステムにこれらを組み込み、活用することができます。

寛容型MITライセンスに基づきオープンソース化されたDoclingは、単純な光学式文字認識（OCR）やテキスト抽出の域を超えた高度なソリューションです。Red Hat社のWilliam Caban氏が説明しているように、Doclingはコンテキストと要素に基づく前処理技術を多数統合しています。表が複数のページにまたがっている場合、Doclingはそれを1つの表として抽出します。ページに本文、画像、表が混在している場合、元のコンテキストに従ってそれぞれを個別に抽出する必要があります。

Doclingチームは、方程式やコードの抽出、メタデータの抽出など、追加機能に積極的に取り組んでいます。Doclingの動作をその目で確認するには、DoclingとGraniteを使用した文書質問応答システムの構築に関するチュートリアルをご覧ください。

Bee Agent Frameworkは、オープンソースLLMを使用して強力なエージェント型AIワークフローを構築するためのオープンソース・フレームワークで、GraniteおよびLlamaモデルでの使用に合わせて最適化されています（さらにモデル固有の最適化が進行中です）。これには、メモリー処理からツールの使用やエラー処理まで、AIエージェントのほぼすべてのコンポーネントを開発者がカスタマイズできる一連のモジュールと、本番環境への導入に必要な洞察を提供し、説明責任を実現する複数の可観測性の機能が含まれています。

このフレームワークは、複数のモデルや、気象データ・サービスやインターネット検索（またはJavaScriptやPythonで作成されたカスタム・ツール）などの強力かつすぐに使用できる一連のツールとシームレスに連携できます。組み込みツールを活用して限られたコンテキスト・ウィンドウをより効果的に活用するGraniteとWikipediaを使用するこのレシピに記載されるとおり、Beeの柔軟なツール使用機能により、お客様固有の状況に合わせたワークフローが実現できます。

Granite Beeエージェントは、Ollamaを使用してローカルで実行することも、watsonx.aiを使用してホスト型推論を活用することもできます。

今年初めにリリースされたGraniteのTinyTimeMixer（TTM）時系列モデルは、新しいアーキテクチャーに基づく事前学習済みの軽量モデル・ファミリーです。IoTセンサーが受信するデータから株式市場の価格やエネルギー需要まで、あらゆるもののゼロショットやフューショットの予測に取り組むGranite時系列モデルは、TimesFM、Moirai、Chronosなど、最大10倍の規模のモデルの多くよりも優れたパフォーマンスを発揮します。²5月30日以降、Granite-timeseries-TTMモデルは、Hugging Faceだけで325万回以上ダウンロードされています。

IBMは、11月にwatsonx.ai Timeseries Forecasting APIおよびSDKのベータ版のリリースを発表し、エンドツーエンドのAIアプリケーション開発のために、Granite時系列モデルをIBMの統合AIプラットフォームで使用できるようにしました。

Granite-TTMの使用開始に関する詳細については、watsonx SDKを使用して予測推論を実行するためのこのノートブックなどIBM Granite Timeseriesクックブックのレシピをご確認ください。

Granite 3.1モデルは現在、IBM watsonx.aiから使用可能です。また、Docker（DockerHub GenAIカタログ経由）、Hugging Face、LM Studio、Ollama、Replicate（アルファベット順）などのプラットフォーム・パートナーからも使用できます。一部のGranite 3.1モデルは、2025年1月にNVIDIAからも（NIMマイクロサービスとして）使用できるようになります。

GitHubのGranite Snack Cookbookには、LangchainでGranite言語モデルを使用したワークフローの編成から、Granite Guardianモデルの導入まで、Graniteモデルを操作するためのガイドやレシピが多数掲載されています。

開発者は、Granite PlaygroundでGraniteモデルを使い始めることも、IBMが提供している資料にある以下のようなさまざまな有用なデモやチュートリアルで調べることもできます。

• DoclingとGraniteを使用した文書質問応答システムの構築
• Ollama、Open WebUI、Granite 3.1を使用してエージェント型RAGをローカルに実装

Granite 3.1モデルはこちら →