可用的人工智能模型

在线编辑

了解可供您的代理使用的 AI 模型，包括区域可用性和提供商选项。

watsonx Orchestrate 同时支持由 IBM 托管和第三方提供的AI模型。 模型的可用性因云服务提供商、区域和部署类型而异（ AWS、 IBM Cloud 或 AWSGovCloud （美国））。

注：
  • 本页面介绍了适用于 AWS、 IBM Cloud、 AWS 以及 GovCloud （美国）部署的 AI 模型。 有关本地部署的信息，请参阅 “基础模型 ”。
  • 已弃用的模型在移除日期前仍可正常使用，但用户界面中可能会显示移除通知。 在移除前切换至受支持的型号，以避免服务中断。

    如果您正在使用已弃用的模型，请按照 《迁移指南》 中的步骤迁移到可用模型。

各地区型号供应情况

除非另有说明，否则大多数地区默认使用提供的 GPT-OSS 120B — OpenAI 模型。 通过连接自定义模型来扩展可用模型。

AWS 部署

区域 区域代码 可用模型
N. 弗吉尼亚州 us-east-1 GPT-OSS 120B （默认）
法兰克福 eu-central-1 GPT-OSS 120B （默认）
新加坡 ap-southeast-1 GPT-OSS 120B （默认）
孟买 ap-south-1 GPT-OSS 120B （默认）

IBM Cloud 部署

区域 区域代码 可用模型
达拉斯 美国南部 GPT-OSS 120B （默认）
多伦多 ca-tor GPT-OSS 120B （默认）
伦敦 eu-gb GPT-OSS 120B （默认）
法兰克福 eu-de GPT-OSS 120B （默认）
悉尼 au-syd GPT-OSS 120B （默认）
东京 jp-tok GPT-OSS 120B （默认）

AWS GovCloud （美国）部署

AWS GovCloud （美国）部署中采用 watsonx.ai 模型来处理包括文档检索、内容审核和时间序列分析在内的专项AI任务。 AWS GovCloud （美国）部署服务已在美国东部（ us-gov-east-1 ）区域上线。

重要提示： GPT-OSS 120B 不适用于 AWS GovCloud （美国）部署环境。
注意： 请仅使用 ADK 为 AWS GovCloud （美国）配置 watsonx.ai 模型。 有关如何将模型导入到您的实例中的说明，请参阅 CLI 参考文档。
表 1. watsonx.ai 提供的机型
模型名称 用途
ibm/granite-3-3-8b-instruct 通用指令如下
ibm/granite-guardian-3-8b 内容审核与安全
meta-llama/llama-4-maverick-17b-128e-instruct 基于专家混合模型的高级推理
meta-llama/llama-3-2-90b-vision-instruct 多模态（文本+图片）
meta-llama/llama-3-3-70b-instruct 高性能文本生成
ibm/slate-30m-english-rtrvr-v2 轻量级检索
ibm/slate-125m-english-rtrvr-v2 增强检索
intfloat/multilingual-e5-large 多语言嵌入
cross-encoder/ms-marco-minilm-l-12-v2 排序与重新排序
ibm/granite-embedding-278m-multilingual 多语言嵌入
ibm/granite-ttm-1024-96-r2 时间序列建模
ibm/granite-ttm-1536-96-r2 时间序列建模
ibm/granite-ttm-512-96-r2 时间序列建模

GPT-OSS 120B 模型

GPT-OSS 120B 是一款针对速度、工具调用和多语言支持进行优化的高性能模型。 该模型可通过两个提供商获取： GroqCloud （默认）和 AWS Bedrock。

重要说明：
  • 对于该 GPT-OSS 120B — OpenAI (via Groq) 模型，推理工作负载会通过 GroqCloud 的LPU基础设施进行路由，以实现最佳性能。 欧盟工作负载仅在欧盟数据中心内处理，以符合《通用数据保护条例》(GDPR)要求。
  • 这些模型受第三方许可协议约束。 使用本模型即表示您同意遵守许可条款。 请阅读条款。
  • 客户数据绝不会被存储、访问或用于模型训练。

模型规范

属性 详细信息
创建者 OpenAI
提供商 GroqCloud (默认)， AWS Bedrock
模型标识 gpt-oss-120b
模态 仅文本
上下文窗口 131,072 个令牌（输入与输出合计）
支持的语言 英语（主要语言），多语言支持

服务提供商选择

GroqCloud (默认)

  • LPU基础设施实现最快响应时间。
  • 欧盟工作负载在欧盟数据中心内处理。
  • 专为实时交互优化。

AWS Bedrock

  • AWS 基础设施要求的替代方案。
  • 区域可用性与 AWS 服务的对齐。
  • 提供可比拟的模型功能和性能。

各服务提供商的结果可能不尽相同，因为每家提供商都有其独特的运营特点。

用例

  • 实时聊天与对话式人工智能
  • 高容量自动化工作流
  • 意图检测与路由
  • 域分类
  • 轻量级代理与工具使用

主要功能

  • 速度 ：借助 LPU 基础设施实现快速响应
  • 准确性 ：强大的路由和分类性能
  • 成本效益 ：专为大规模部署而优化
  • 灵活性 ：提供两种服务商选项以满足基础设施需求
注意： GPT-OSS 的行为与其他模型不同。 在用户界面中选择的代理样式不会影响行为。 在客服机器人指令中明确规定语气、结构和响应模式。 详情请参阅 GPT-OSS 模型行为与使用指南。

添加自定义模型

通过AI网关连接您自己的服务提供商，扩展可用模型。 有关说明，请参阅 《通过AI网关添加AI模型》。

迁移指南

若您正在使用已弃用的模型，请按以下步骤进行迁移：

  1. 识别受影响的代理 ：检查哪些代理使用了已弃用的模型
  2. 使用GPT-OSS 120B进行测试 ：评估推荐替代方案的性能
  3. 更新代理指令 ：GPT-OSS需要明确的指令格式（ 参见GPT-OSS模型行为和指令指南）
  4. 监控性能 ：比较响应质量和延迟

有关详细的弃用信息，请参阅已弃用和已撤销的模型。