watsonx.ai支持的基础模型
您可以在 IBM watsonx.ai 中使用第三方和 IBM 基础模型。
如何选择机型
提供随时可用的基础模型
您可以从 IBM 中策划的模型集合中部署基础模型， watsonx.ai。 您可以在 Prompt Lab 或以编程方式提示这些基础模型。
您可以选择部署以下类型的模型：
watsonx.ai 中的所有 IBM 基金会模型均由 IBM 提供赔偿。
有关支持的基础模型对 GPU 的要求，请参阅 IBM Software Hub 文档中的基础模型 IBM watsonx.ai。
IBM 基础模型
下表列出了 IBM 为推断提供的受支持基础模型。 基础模型必须由管理员部署在集群中才能使用。 所有 IBM 型号都经过指令调整。
| 模型名称 | 上下文窗口 （输入 + 输出标记） |
受支持的任务 | 更多信息 |
|---|---|---|---|
| granite-13b-chat-v2 | 8,192 | 分类 抽取 生成 问题回答 摘要 |
- 模型卡 -网站 -研究论文 |
| granite-13b-instruct-v2 | 8,192 | 分类 抽取 生成 问题回答 摘要 |
- 模型卡 --网站 --研究论文 注意：此基础模型可及时调整。
|
| granite-7b-lab | 8,192 | 分类 抽取 生成 问题回答 检索-扩充生成 摘要 |
- 示范卡 -研究论文（LAB） |
| granite-8b-japanese | 4,096 | - 分类 - 提取 - 生成 - 问题解答 - 摘要 - 翻译 |
- 模型卡 -网站 -研究论文 |
| granite-20b-multilingual | 8,192 | 分类 抽取 生成 问题回答 摘要 |
- 模型卡 -网站 -研究论文 |
| granite-3-2-8b-instruct | 131,072 | - 分类 - 提取 - 生成 - 问题解答 - 摘要 - 检索增强生成 - 代码 - 提取 - 翻译 - 函数调用 |
- 模型卡 -网站 -研究论文 |
| granite-3-2b-instruct | 4,096 | - 分类 - 提取 - 功能调用 - 生成 - 问题解答 - 总结 |
- 模型卡 -网站 -研究论文 |
| granite-3-8b-instruct | 4,096 | - 分类 - 提取 - 功能调用 - 生成 - 问题解答 - 总结 |
- 模型卡 -网站 -研究论文 |
| granite-guardian-3-2b | 8,192 | 分类 抽取 生成 问题回答 摘要 |
- 模型卡 -网站 |
| granite-guardian-3-8b | 8,192 | 分类 抽取 生成 问题回答 摘要 |
- 模型卡 -网站 |
| granite-3b-code-instruct | 128,000 | • 代码 • 分类 • 提取 • 一代 • 问答 • 总结 |
- 模型卡 --网站 --研究论文 注意： 此基础模型可进行微调。
|
| granite-8b-code-instruct | 128,000 | • 代码 • 分类 • 提取 • 一代 • 问答 • 总结 |
- 模型卡 --网站 --研究论文 注意： 此基础模型可进行微调。
|
| granite-20b-code-instruct | 8,192 | • 代码 • 分类 • 提取 • 一代 • 问答 • 总结 |
- 模型卡 -研究论文 注意： 此基础模型可进行微调。
|
| granite-20b-code-base-schema-linking | 8,192 | 代码 | - 示范卡 -研究论文 |
| granite-20b-code-base-sql-gen | 8,192 | 代码 | - 示范卡 -研究论文 |
| granite-34b-code-instruct | 8,192 | • 代码 • 分类 • 提取 • 一代 • 问答 • 总结 |
- 示范卡 -研究论文 |
| granite-vision-3-2-2b | 131,072 | - 答问 | - 模型卡 -网站 -研究论文 |
| 模型名称 | 上下文长度 最小数据点 |
更多信息 |
|---|---|---|
| 花岗岩-ttm-512-96-r2 |
512 | - 模型卡 --网站 --研究论文 |
| 花岗岩-ttm-1024-96-r2 |
1024 | - 模型卡 --网站 --研究论文 |
| 花岗岩-ttm-1536-96-r2 |
1536 | - 模型卡 --网站 --研究论文 |
第三方基础模型
下表列出了第三方提供的受支持的基础模型。 在使用这些模型之前，管理员必须在群集中部署基础模型。
| 模型名称 | 提供者 | 上下文窗口 （输入 + 输出标记） |
受支持的任务 | 更多信息 |
|---|---|---|---|---|
| allam-1-13b-instruct | 国家人工智能中心和沙特数据和人工智能管理局 | 4,096 | 分类 抽取 生成 问题回答 检索-扩充生成 摘要 转换 |
- 模型卡 注意： 此基础模型可进行微调。
|
| codellama-34b-instruct-hf | Code Llama | 4,096 | 代码 | - 模型卡 - "MetaAI 博客 |
| codestral-22b | Mistral AI | 32,768 | 代码 | - 模型卡 -Codestral 的博客文章 |
| codestral-2501 |
Mistral AI | 256,000 | 代码 | • Codestral 25.01 博客文章 注：
|
| elyza-japanese-llama-2-7b-instruct | ELYZA 公司 | 4,096 | 分类 抽取 生成 问题回答 检索-扩充生成 摘要 转换 |
- 模型卡 - note.com上的博客 |
| flan-t5-xl-3b | 4,096 | 分类 抽取 生成 问题回答 检索-扩充生成 摘要 |
- 模型卡 -研究论文 注意：此基础模型可及时调整。
|
|
| flan-t5-xxl-11b | 4,096 | 分类 抽取 生成 问题回答 检索-扩充生成 摘要 |
- 示范卡 -研究论文 |
|
| flan-ul2-20b | 4,096 | 分类 抽取 生成 问题回答 检索-扩充生成 摘要 |
- 模型卡 --UL2研究论文 --Flan 研究论文 |
|
| jais-13b-chat | 成立之初，穆罕默德-本-扎耶德人工智能大学 (MBZUAI) 和谷物系统 | 2,048 | 分类 抽取 生成 问题回答 检索-扩充生成 摘要 转换 |
- 示范卡 -研究论文 |
| 骆驼-3-3-70b-指导 |
Meta | 131,072 | 分类 代码 抽取 生成 问题回答 检索-扩充生成 摘要 |
• 模型卡 • Meta AI 博客 • Meta AI 文档 |
| llama-3-2-1b-instruct | Meta | 131,072 | - 分类 - 代码生成和转换 - 提取 - 函数调用 - 生成 - 问题解答 - 检索增强生成 - 总结 |
• 模型卡 • Meta AI博客 • 研究论文 |
| llama-3-2-3b-instruct | Meta | 131,072 | - 分类 - 代码生成和转换 - 提取 - 函数调用 - 生成 - 问题解答 - 检索增强生成 - 总结 |
• 模型卡 • Meta AI博客 • 研究论文 |
| llama-3-2-11b-vision-instruct | Meta | 131,072 | - 分类 - 代码生成和转换 - 提取 - 函数调用 - 生成 - 问题解答 - 检索增强生成 - 总结 |
• 模型卡 • Meta AI博客 • 研究论文 |
| llama-3-2-90B-vision-instruct | Meta | 131,072 | - 分类 - 代码生成和转换 - 提取 - 函数调用 - 生成 - 问题解答 - 检索增强生成 - 总结 |
• 模型卡 • Meta AI博客 • 研究论文 |
| llama-guard-3-11b-vision | Meta | 131,072 | - 分类 - 代码生成和转换 - 提取 - 函数调用 - 生成 - 问题解答 - 检索增强生成 - 总结 |
• 模型卡 • Meta AI博客 • 研究论文 |
| llama-3-1-8b-instruct | Meta | 131,072 | 分类 代码 抽取 生成 问题回答 检索-扩充生成 摘要 |
- 模型卡 - "Meta AI博客 注意： 此基础模型可进行微调。
|
| llama-3-1-70b-instruct | Meta | 131,072 | 分类 代码 抽取 生成 问题回答 检索-扩充生成 摘要 |
• 模型卡 • Meta AI博客 |
| llama-3-405b-instruct | Meta | 16,384 | 分类 代码 抽取 生成 问题回答 检索-扩充生成 摘要 |
• 模型卡 • Meta AI博客 |
| llama-3-8b-instruct | Meta | 8,192 | 分类 代码 抽取 生成 问题回答 检索-扩充生成 摘要 |
• 模型卡 • Meta AI博客 |
| llama-3-70b-instruct | Meta | 8,192 | 分类 代码 抽取 生成 问题回答 检索-扩充生成 摘要 |
• 模型卡 • Meta AI博客 |
| llama-2-13b-chat | Meta | 4,096 | 分类 代码 抽取 生成 问题回答 检索-扩充生成 摘要 |
- 模型卡 -研究论文 注意：此基础模型可及时调整。
|
| llama2-13b-dpo-v7 | Meta | 4,096 | 分类 代码 抽取 生成 问题回答 检索-扩充生成 摘要 |
- 示范卡 --研究论文（DPO） |
| ministral-8b-instruct | Mistral AI | 128,000 | - 分类 - 代码 - 提取 - 生成 - 检索增强生成 - 摘要 - 翻译 - 问题解答 - 函数调用 |
• 模型卡 • Ministral 8b 的博客文章 注：
|
| 大号 | Mistral AI | 32,768 | 分类 代码 抽取 生成 检索-扩充生成 摘要 转换 |
- 模型卡 - Mistral Large 2 的博文 注：
|
| mistral-large-instruct-2411 |
Mistral AI | 131,072 | 分类 代码 抽取 生成 检索-扩充生成 摘要 转换 |
- 模型卡 -Mistral Large 2 的博文 |
| mistral-small-instruct | Mistral AI | 32,768 | 分类 代码 抽取 生成 检索-扩充生成 摘要 转换 |
- 模型卡 -Mistral Small 的博文 |
| mistral-small-24b-instruct-2501 | Mistral AI | 32,768 | 分类 代码 抽取 生成 检索-扩充生成 摘要 转换 |
- 模型卡 - Mistral Small 3 的博文 |
| mixtral-8x7b-instruct-v01 | Mistral AI | 32,768 | 分类 代码 抽取 生成 检索-扩充生成 摘要 转换 |
- 示范卡 -研究论文 |
| mt0-xxl-13b | BigScience | 4,096 | 分类 抽取 生成 问题回答 摘要 |
- 示范卡 -研究论文 |
| pixtral-12b | Mistral AI | 128,000 | - 分类 --生成 " --检索增强生成 --汇总 |
- 模型卡 -Pixtral12B的博客文章 |
| 像素大指示-2411 |
Mistral AI | 128,000 | - 分类 --生成 " --检索增强生成 --汇总 |
- 模型卡 - Pixtral Large 的博文 注：
|
了解更多
母主题： Gen AI 解决方案