在 watsonx.ai 中选择基础模型
在选择用于生成式人工智能项目推理的基础模型时，需要考虑很多因素。
例如，对于汇总呼叫中心问题报告的解决方案，您可能需要一个具有以下特征的基础模型：
- 在总结任务的基准测试中表现优异
- 处理大量文本，这意味着上下文窗口长度较大
- 可以解读受损物品的图像，因此可以接受文本和图像形式的输入
确定哪些因素对您和您的组织最为重要。
在列出最符合您需求的机型后，您可以对这些机型进行测试，看看哪种机型能始终如一地返回您想要的结果。
支持用例的基础模型
要开始使用，请查找可以执行要完成的任务类型的基础模型。
下表列出了 IBM watsonx.ai 支持的基础模型的任务类型。 复选标记 (✓) 指示基础模型支持列标题中指定的任务。 对于某些任务，您可以单击链接转到该任务的样本提示。
| 模型 | 来自聊天API的 对话 |
工具交互 来自聊天应用程序接口 |
检索增强生成（RAG） | 样本 |
|---|---|---|---|---|
| ibm-defense-4-0-small | ✓ | ✓ | ✓ • RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 工具调用示例 • 聊天API |
| ibm-defense-4-0-micro | ✓ | ✓ | ✓ • RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 工具调用示例 • 聊天API |
| ibm-defense-3-3-8b-instruct | ✓ | ✓ | ✓ • RAG 来自 Prompt Lab |
• 聊天 API |
| granite-4-h-tiny | ✓ | ✓ | ✓ • RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 工具调用示例 • 聊天API |
| granite-4-h-small | ✓ | ✓ | ✓ • RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 聊天 API |
| granite-docling-258M | ✓ | RAG 来自 Prompt Lab |
• 带图片 示例的聊天• 聊天API |
|
| granite-3-3-8b-instruct | ✓ | ✓ • RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 问答 | |
| granite-13b-instruct-v2 | RAG 来自 Prompt Lab |
• 世代 | ||
| granite-3-2-8b-instruct | ✓ | ✓ | RAG 来自 Prompt Lab |
• 聊天 API |
| granite-3-2b-instruct | ✓ | • 代码 • 聊天 API |
||
| granite-3-8b-instruct | ✓ | ✓ | ✓ • RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 代码 • 聊天 API • 工具调用 |
| granite-3b-code-instruct | • 代码 | |||
| granite-8b-code-instruct | • 代码 | |||
| granite-20b-code-instruct | ✓ | • 代码 • 聊天 API |
||
| granite-20b-code-base-schema-linking | • 代码 | |||
| granite-20b-code-base-sql-gen | • 代码 | |||
| granite-34b-code-instruct | ✓ | • 代码 • 聊天 API |
||
| granite-guardian-3-2b | RAG 来自 Prompt Lab |
• 分类 | ||
| granite-guardian-3-8b | RAG 来自 Prompt Lab |
• 分类 | ||
| granite-guardian-3-2-5b | ✓ | RAG 来自 Prompt Lab |
• 分类 • 聊天 API |
|
| granite-vision-3-3-2b | ✓ | • 带图片 示例的聊天• 聊天API |
||
| allam-1-13b-instruct | • 分类 • 翻译 |
|||
| codestral-22b | • 代码 | |||
| codestral-2501 | • 代码 | |||
| codestral-2508 | • 代码 | |||
| devstral-small-2512 | ✓ | ✓ | • 分类 • 问答 • 摘要 |
|
| devstral-medium-2507 | ✓ | ✓ | • 分类 • 问答 • 摘要 |
|
| devstral-medium-2512 | ✓ | ✓ | • 分类 • 问答 • 摘要 |
|
| flan-t5-xl-3b | RAG 来自 Prompt Lab |
• 分类 • 问答 • 摘要 |
||
| gpt-oss-20b | ✓ | ✓ | ✓ • RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 聊天 API |
| gpt-oss-120b | ✓ | ✓ | ✓ • RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 聊天 API |
| jais-13b-chat | • 对话 | |||
| llama-4-maverick-17b-128e-instruct-fp8 | ✓ | ✓ • RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 对话 • 聊天 • 聊天 API |
|
| llama-4-scout-17b-16e-instruct-int4 | ✓ | ✓ • RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 对话 • 聊天 • 聊天 API |
|
| llama-3-3-70b-instruct | ✓ | ✓ | ✓ • RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 示例对话 • 工具调用示例 • 聊天API |
| llama-3-2-1b-instruct | ✓ | RAG 来自 Prompt Lab |
• 代码 • 对话框 • 工具调用 |
|
| llama-3-2-3b-instruct | ✓ | RAG 来自 Prompt Lab |
• 代码 • 对话框 • 工具调用 |
|
| llama-3-2-11b-vision-instruct | ✓ | ✓ | RAG 来自 Prompt Lab |
• 带图片 示例的聊天• 聊天API • 工具调用示例 |
| llama-3-2-90b-vision-instruct | ✓ | ✓ | RAG 来自 Prompt Lab |
• 带图片 示例的聊天• 聊天API • 工具调用示例 |
| llama-3-1-8b | RAG 来自 Prompt Lab |
• 对话 | ||
| llama-guard-3-11b-vision | ✓ | RAG 来自 Prompt Lab |
• 分类 • 带图片 示例的聊天 • 聊天API |
|
| llama-3-1-8b-instruct | ✓ | ✓ | ✓• RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 对话 • 聊天 API • 工具调用 |
| llama-3-1-70b-instruct | ✓ | ✓ | ✓• RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 对话 • 聊天 API • 工具调用 |
| llama-3-405b-instruct | ✓ | ✓ | RAG 来自 Prompt Lab |
• 对话 • 工具调用 |
| llama-2-13b-chat | RAG 来自 Prompt Lab |
• 对话 | ||
| ministral-8b-instruct | • 分类 • 提取 • 摘要 • 翻译 |
|||
| ministral-14b-instruct-2512 | ✓ | ✓ | RAG 来自 Prompt Lab |
• 聊天 API • 带图片的聊天示例 |
| 大号 | ✓ | ✓ | ✓• RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 分类 • 提取 • 摘要 • 编码 • 翻译 • 聊天 API • 工具调用 |
| mistral-large-2512 | ✓ | ✓ | ✓• RAG 来自 Prompt Lab |
• 分类 • 提取 • 摘要 • 编码 • 翻译 • 聊天 API • 工具调用 • 带图片示例的聊天 |
| mistral-large-instruct-2411 | ✓ | RAG 来自 Prompt Lab |
• 分类 • 提取 • 摘要 • 编码 • 翻译 |
|
| mistral-small-instruct | ✓ | • 分类 • 提取 • 摘要 • 编码 • 翻译 |
||
| mistral-small-3-2-24b-instruct-2506 | ✓ | ✓ | ✓• RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 聊天 API • 带图片的聊天示例 |
| mistral-small-3-1-24b-instruct-2503 | ✓ | ✓• RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 聊天 API | |
| mistral-small-24b-instruct-2501 | ✓ | RAG 来自 Prompt Lab |
• 分类 • 提取 • 生成 • 摘要 • 编码 • 翻译 |
|
| mixtral-8x7b-instruct-v01 | ✓• RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 分类 • 提取 • 生成 • 摘要 • 编码 • 翻译 |
||
| pixtral-12b | ✓ | RAG 来自 Prompt Lab |
• 分类 • 提取 • 摘要 • 带图片的对话示例 |
|
| pixtral-large-instruct-2411 | ✓ | • 带图片的聊天示例 | ||
| voxtral-small-24b-2507 | ✓ | ✓ | ✓• RAG 来自 Prompt Lab • RAG 来自 AutoAI |
• 聊天 API • 分类 • 提取 • 生成 • 摘要 • 翻译 |
多模式基础模型
多模态基础模型能够处理和整合来自多种模态或数据类型的信息。 这些模式可以包括文本、图像、音频、视频和其他形式的感官输入。
watsonx.ai提供的多模态基础模型可以完成以下类型的任务：
- 图像到文本的生成
- 适用于可视化问题解答、图表解释、图像标题等。
- 音频转文本生成
- 适用于语音识别、语音内容转录、语音指令理解、会议记录生成、无障碍支持等场景。
下表列出了支持文本输入和文本输出以外模式的可用基础模型。
| 模型 | 输入模式 | 输出模式 |
|---|---|---|
| granite-vision-3-2-2b | 图像、文本 | 文本 |
| llama-4-maverick-17b-128e-instruct-fp8 | 图像、文本 | 文本 |
| llama-4-scout-17b-16e-instruct | 图像、文本 | 文本 |
| llama-3-2-11b-vision-instruct | 图像、文本 | 文本 |
| llama-3-2-90b-vision-instruct | 图像、文本 | 文本 |
| llama-guard-3-11b-vision | 图像、文本 | 文本 |
| ministral-8b-instruct-2512 | 图像、文本 | 文本 |
| ministral-14b-instruct-2512 | 图像、文本 | 文本 |
| mistral-large-2512 | 图像、文本 | 文本 |
| mistral-small-3-2-24b-instruct-2506 | 图像、文本 | 文本 |
| pixtral-12b | 图像、文本 | 文本 |
| voxtral-small-24b-2507 | 音频，文本 | 文本 |
支持您语言的基础模型
许多基础模型仅在英语中有效。 但一些模型创建者在预训练数据集中包含多种语言，以在不同语言的任务上对其模型进行微调，并在多种语言中测试其模型的性能。 如果您计划为全局受众或执行翻译任务的解决方案构建解决方案，请在考虑多语种支持的情况下查找已创建的模型。
下表列出了 watsonx.ai中的基础模型除了英语之外还支持的自然语言。 有关多语言基础模型支持的语言的更多信息，请参阅基础模型的模型卡。
注：资源中心可查看所有基础模型。
| 模型 | 非英语语言 |
|---|---|
| Granite 4.0 (granite-4-h-small, granite-4-h-micro, granite-4-h-tiny ) | 德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。 您可以针对这12种语言之外的其他语言对这些 Granite 模型进行微调 |
| Granite 指导 3.3 ( granite-3-3-2b-instruct, granite-3-3-8b-instruct ) | 德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。 您可以针对这12种语言之外的其他语言对这些 Granite 模型进行微调。 |
| Granite 愿景（ granite-vision-3-3-2b ， granite-vision-3-2-2b ） | 德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语、中文 |
| IBM 防御 4.0 | 德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。 |
| allam-1-13b-instruct | 阿拉伯语 |
| flan-t5-xl-3b | 多种语言（参见型号卡） |
| gpt-oss-120b | 多语言 |
| jais-13b-chat | 阿拉伯语 |
| 羊驼 4 ( llama-4-maverick-17b-128e-instruct-fp8, llama-4-scout-17b-16e-instruct ) | 阿拉伯语、法语、德语、印地语、印度尼西亚语、意大利语、葡萄牙语、西班牙语、他加禄语、泰语和越南语。 |
| Llama 3.3 ( llama-3-3-70b-instruct ) | 德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语 |
| Llama 3.2 ( llama-3-2-1b-instruct, llama-3-2-3b-instruct. 此外 llama-3-2-11b-vision-instruct ， llama-3-2-90b-vision-instruct 以及 llama-guard-3-11b-vision （仅限文本输入） | 英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语 |
| Llama 3.1 ( llama-3-1-8b-instruct, llama-3-1-70b-instruct, llama-3-405b-instruct ) | 英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语 |
| Ministral 3（ ministral-3b-instruct-2512、 ministral-8b-instruct-2512、 ministral-14b-instruct-2512 ） | 法语、西班牙语、德语、意大利语、葡萄牙语、荷兰语、中文、日语、韩语、阿拉伯语以及数十种其他语言。 |
| ministral-8b-instruct | 多种语言（参见型号卡） |
| mistral-large-2512 | 法语、德语、意大利语、西班牙语、汉语、日语、韩语、葡萄牙语、荷兰语、波兰语以及数十种其他语言。 |
| Mistral Medium ( mistral-medium-2505, mistral-medium-2508 ) | 多语言（参见模型卡） |
| mistral-small-3-2-24b-instruct-2506 | 法语、德语、希腊语、印地语、印尼语、意大利语、日语、韩语、马来语、尼泊尔语、波兰语、葡萄牙语、罗马尼亚语、俄语、塞尔维亚语、西班牙语、瑞典语、土耳其语、乌克兰语、越南语、阿拉伯语、孟加拉语、汉语、波斯语。 |
| mixtral-8x7b-instruct-v01 | 法语，德语，意大利语，西班牙语 |
| voxtral-small-24b-2507 | 西班牙语、法语、葡萄牙语、印地语、德语、荷兰语、意大利语。 |
可调整的基础模型
您可以运行调优实验，通过改变基础模型中参数的权重，引导模型生成针对特定任务优化的输出结果。
下表展示了可通过多种微调方法在 中进行调优 IBMwatsonx.ai 的基础模型。 勾号（✓）表示基础模型支持微调。
| 模型名称 | 全面微调 | LoRA 微调 | QLoRA 微调 |
|---|---|---|---|
| allam-1-13b-instruct | ✓ | ||
| granite-3b-code-instruct | ✓ | ||
| granite-8b-code-instruct | ✓ | ||
| granite-20b-code-instruct | ✓ | ||
| granite-3-1-8b-base | ✓ | ✓ | |
| llama-3-1-8b | ✓ | ✓ | |
| llama-3-1-8b-instruct | ✓ | ||
| llama-3-1-70b | ✓ | ||
| llama-3-1-70b-gptq | ✓ |
有关更多信息，请参阅《 选择要调优的模型 》。
模式类型和知识产权赔偿
查看您要使用的基金会模式的知识产权赔偿政策。 一些第三方基础模型提供商要求您免除他们因使用其人工智能模型而可能导致的任何知识产权侵权责任。
IBM开发的基础模型可从watsonx.ai获得标准的知识产权保护，这与IBM为硬件和软件产品提供的保护类似。
IBM将其标准知识产权赔偿扩展到所涵盖模型生成的输出。 覆盖的模型包括 IBM开发的模型和一些第三方基础模型，这些模型可从 watsonx.ai获得。 表 4 列出了第三方承保机型。
下表介绍了不同的基金会模式类型及其赔偿政策。 详情请参见参考资料。
| 基础模型类型 | 赔偿政策 | 基础模型 | 详细信息 | 参考材料 |
|---|---|---|---|---|
| IBM覆盖模式 | 不封顶 IBM赔偿 | - IBM Granite - IBM 板岩 |
IBM -开发的基础模型可从 watsonx.ai 获取。 | 许可证信息 |
| 第三方承保模式 | 上限 IBM赔偿 | Mistral 商用机型 | 第三方承保车型可通过 watsonx.ai 购买。 | 许可证信息 |
| 非IBM产品 | 无IBM赔偿 | Various | watsonx.ai提供的第三方模型，受其各自许可条款的约束，包括相关义务和限制。 | 参见型号信息。 |
| 定制模型 | 无IBM赔偿 | Various | 导入到 watsonx.ai 中使用的基础模型是客户端内容。 | 客户对模型和输出的选择和使用以及遵守第三方许可条款、义务和限制负全部责任。 |
如需了解第三方车型许可条款的更多信息，请参阅第三方基础车型。
选择机型的更多注意事项
| 模型属性 | 注意事项 |
|---|---|
| 上下文长度 | 有时称为 上下文窗口长度， 上下文窗口或 最大序列长度，上下文长度是输入提示中的令牌数加上生成的输出中的令牌数所允许的最大值。 使用 watsonx.ai中的模型生成输出时，生成的输出中的标记数受 "最大标记数" 参数限制。 |
| 已微调 | 在预先训练基础模型后，许多基础模型会针对特定任务进行微调，例如分类，信息抽取，汇总，响应指示信息，回答问题或参与来回对话交谈。 对类似于计划使用的任务进行微调的模型通常比未以适合您用例的方式进行微调的模型在零镜头提示下做得更好。 改进微调模型的结果的一种方法是，以与用于对该模型进行微调的数据集中的提示相同的格式来构造提示。 |
| 指令调优 | 指令调优 表示使用包含指令的提示对模型进行了微调。 调整模型的指令时，通常会对具有指令的提示作出良好响应，即使这些提示没有示例也是如此。 |
| IP 补偿 | 除许可条款外，请复审模型的知识产权补偿策略。 有关详细信息，请参阅 模型类型和知识产权赔偿。 |
| 许可证 | 通常，每个基础模型都随附不同的许可证，用于限制模型的使用方式。 复审模型许可证以确保您可以将模型用于计划的解决方案。 |
| 模型体系结构 | 模型的体系结构会影响模型的行为方式。 基于变换器的模型通常具有以下体系结构之一: 仅编码器: 通过将输入序列变换为称为嵌入的表示向量，在语句级别理解输入文本。 仅编码器模型的常见任务包括分类和实体抽取。 仅解码器: 通过从输入序列推论逐字生成输出文本。 仅限解码器的模型的常见任务包括生成文本和回答问题。 编码器-解码器: 两者都了解输入文本，并根据输入文本生成输出文本。 编码器-解码器模型的常见任务包括翻译和摘要。 |
| 支持的编程语言 | 并非所有基础模型都适用于编程用例。 如果计划创建用于汇总，转换，生成或以其他方式处理代码的解决方案，请查看模型的预训练数据集中包含的编程语言以及微调活动，以确定该模型是否适合您的用例。 |