専用GPU上での基盤モデル基盤モデルのデプロイ要件

watsonx.ai を使用して基盤モデルを展開する際に基盤モデル可能な基盤モデルアーキテクチャ、およびパフォーマンス向上設定と機能を確認してください。

基盤モデルを展開する際には、以下の要件を考慮してください：

サポート対象のモデルアーキテクチャ

注。

デプロイメント向けに様々なソフトウェア仕様が用意されています：

  • ソフトウェア watsonx-cfm-caikit-1.1 仕様は vLLM ランタイムエンジンに基づいています。
  • ソフトウェア仕様 watsonx-tsfm-runtime-1.0 書は時系列モデル向けに設計されています。 これは推論 watsonx-tsfm-runtime-1.0 ランタイムに基づいています。

以下の表は、サポートされるモデルアーキテクチャ、利用可能な量子化手法、複数GPUのサポート、および利用可能なデプロイメント構成に関する情報を提供します。 また、モデルを展開する際に使用できるソフトウェア仕様と、リストされた各アーキテクチャタイプに属する基盤モデル例名も提供されています。

汎用モデル：

汎用モデルに対応するモデルアーキテクチャ、量子化手法、並列テンソル、およびデプロイメント構成
モデル・ファミリー 基盤モデル サポートされている量子化方式 並列テンソル（複数GPU対応） 導入の構成
bloom bigscience/bloom-3b, bigscience/bloom-560m 該当なし はい 小、中、大
exaone lgai-exaone/exaone-3.0-7.8B-Instruct 該当なし いいえ 小
falcon tiiuae/falcon-7b 該当なし はい 小、中、大
gemma google/gemma-2b 該当なし はい 小、中、大
gemma2 google/gemma-2-9b 該当なし はい 小、中、大
gemma3 google/gemma-3-27b-it 該当なし はい 小、中、大
gpt_bigcode bigcode/starcoder
bigcode/gpt_bigcode-santacoder		 gptq はい 小、小、中、大
gpt_neox rinna/japanese-gpt-neox-small
EleutherAI/pythia-12b, databricks/dolly-v2-12b		 該当なし はい 小、中、大
gptj EleutherAI/gpt-j-6b 該当なし いいえ 小
gpt2 gpt2
gpt2-xl		 該当なし はい 小、中、大
granite ibm-granite/granite-3.0-8b-instruct, ibm-granite/granite-3b-code-instruct-2k, granite-8b-code-instruct, granite-7b-lab 該当なし いいえ 小
jais core42/jais-13b 該当なし はい 小、中、大
llama Deepseek-R1 (distilled variant)
meta-llama/Meta-Llama-3-8B
meta-llama/Meta-Llama-3.1-8B-Instruct
llama-2-13b-chat-hf
TheBloke/Llama-2-7B-Chat-AWQ
ISTA-DASLab/Llama-2-7b-AQLM-2Bit-1x16-hf		 gptq はい 小、中、大
mistral mistralai/Mistral-7B-v0.3, neuralmagic/OpenHermes-2.5-Mistral-7B-marlin 該当なし いいえ 小
mixtral TheBloke/Mixtral-8x7B-v0.1-GPTQ
mistralai/Mixtral-8x7B-Instruct-v0.1		 gptq いいえ 小
nemotron nvidia/Minitron-8B-Base 該当なし はい 小、中、大
olmo allenai/OLMo-1B-hf
allenai/OLMo-7B-hf		 該当なし はい 小、中、大
persimmon adept/persimmon-8b-base
adept/persimmon-8b-chat		 該当なし はい 小、中、大
phi microsoft/phi-2
microsoft/phi-1_5		 該当なし はい 小、中、大
phi3 microsoft/Phi-3-mini-4k-instruct 該当なし はい 小、中、大
qwen DeepSeek-R1 (distilled variant) 該当なし はい 小、中、大
qwen2 Deepseek-R1 (distilled variant)
Qwen/Qwen2-7B-Instruct-AWQ		 AWQ はい 小、中、大
qwen3 qwen/qwen3-32B 該当なし はい 小、中、大
注。

MosaicML ファミリーのモデルを使用する場合は、管理者がカスタム推論ランタイムを使用してそれらをデプロイする必要があります。

時系列モデル：

時系列モデルに対応するモデルアーキテクチャ、量子化手法、並列テンソル、およびデプロイメント構成
モデル・ファミリー 基盤モデル サポートされている量子化方式 並列テンソル（複数GPU対応） 導入の構成
tinytimemixer ibm-granite/granite-timeseries-ttm-r2 該当なし 該当なし 小、中、大、特大

モデルの埋め込みと再ランク付け：

対応するモデルアーキテクチャ：埋め込みモデルおよび再ランク付けモデル
モデル・ファミリー 基盤モデル セマンティック検索のサポート 導入の構成
BGE BAAI/bge-reranker-v2-m3 再ランク付け 小、中、大
E5 intfloat/multilingual-e5-large 埋め込みと再ランク付け 小、中、大
granite ibm/granite-embedding-107m-multilingual, ibm/granite-embedding-278m-multilingual 埋め込み 小、中、大
Jina Reranker jinaai/jina-reranker-v2-base-multilingual 再ランク付け 小、中、大
MiniLM cross-encoder/ms-marco-minilm-l-12-v2 再ランク付け 小、中、大
MiniLM sentence-transformers/all-minilm-l6-v2 埋め込みと再ランク付け 小、中、大
Qwen Qwen/Qwen3-Embedding-0.6B 埋め込みと再ランク付け 小、中、大
slate ibm/slate-125m-english-rtrvr, ibm/slate-125m-english-rtrvr-v2, ibm/slate-30m-english-rtrvr, ibm/slate-30m-english-rtrvr-v2 埋め込みと再ランク付け 小、中、大
重要:
  • 自動音声認識（ASR）モデルは、管理者がグローバル展開用にのみ追加できます。
  • IBM 「サポート対象のモデルアーキテクチャ」「量子化手法」「並列テンソル」「デプロイメント構成」「ソフトウェア仕様」 の各表に記載されているモデルアーキテクチャのみを認定します。 vLLM ランタイムがサポートする代替アーキテクチャのモデルは使用できますが、 IBM は、サポートされていないアーキテクチャや互換性のない機能を持つ基盤モデルデプロイに起因するデプロイメント失敗をサポートしていません。
  • モデルアーキテクチャがサポートされていない場合、MLOpsエンジニアがカスタム推論ランタイムイメージを追加してモデルアーキテクチャに適合させ、 デプロイメントプロイ用のモデル資産を準備できます。 なお、 LoRA 手法を用いてこのようなモデルをファイン・チューニングした場合、デプロイできなくなることに注意してください。

事前定義のハードウェア仕様

注。

時系列モデルについては、CPUベースのハードウェア仕様を使用してください。

CPUベースのハードウェア仕様

以下はCPUベースのハードウェア仕様の一覧です：

  • S: 2 vCPU、8 GBのメモリ
  • M: 4 vCPUs、16 GBのメモリ
  • L: 8 vCPUs、メモリ32GB
  • XL: 16 vCPUs、64 GBのメモリ

時系列モデルの場合、最大同時ユーザー数とペイロード特性に基づいてモデルにハードウェア仕様を割り当てます：

時系列モデルへのCPUベースのハードウェア仕様割り当てに関する推奨事項
単変量時系列 多変量時系列（系列 × ターゲット） S M L XL
1000 23x100 6 12 25 GB 50
500 15x80 10 21 42 85
250 15x40 ※13 26 53 106
125 15x20 ※13 27 54 109
60 15x10 14 28 56 112
30時間まで 15x5 14 28 56 113

汎用モデル（GPUベースのハードウェア仕様）

汎用モデルの場合、利用可能な推論ランタイムは次のGPUベースのハードウェア仕様をサポートします：

  • WX-S1 GPU、2 CPU、および60 GBのメモリ
  • WX-M2基のGPU、3基のCPU、および120GBのメモリ
  • WX-L: 4基のGPU、5基のCPU、および240GBのメモリ
  • WX-XL8基のGPU、9基のCPU、および600GBのメモリ

これらの事前定義されたハードウェア仕様は、以下の標準サポート対象ハードウェア構成にのみ適用されます：

  • 80GBのGPUメモリを搭載した NVIDIA A100
  • NVIDIA H100 80 GBのGPUメモリを搭載

GPU構成が異なる場合（例： NVIDIA L40S でGPUメモリが48 GBの場合）、カスタムハードウェア仕様を作成する必要があります。 詳細は「 カスタムハードウェア仕様の作成」 を参照してください。

基盤モデルに、モデルの学習に使用されたパラメータ数に基づいてハードウェア仕様を割り当てます：

  • 1B 20B パラメータ: WX-S
  • 21B 40B パラメータ: WX-M
  • 41B 80B パラメータ: WX-L
  • 80B 200B パラメータ WX-XL
注。

一部のモデルアーキテクチャは1つのGPUしかサポートしないため、パラメータ数に関わらず、ハードウェア WX-S 仕様を割り当てる必要があります。 量子化モデルでは、事前定義されたハードウェア仕様を使用できません。 量子化モデルおよびその他の非標準的なケースでは、カスタムハードウェア仕様を使用してください。 詳細については、 「カスタムハードウェア仕様の作成」 を参照してください。

次のステップ