在用户界面中配置模型网关

配置模型提供程序并添加模型

要配置模型提供程序并添加模型：

1. 选择 “模型提供商 ”选项卡，然后单击 “添加模型提供商 ”。

   

2. 点击 “添加服务提供商 ”，选择列表中可用的服务提供商之一。 将打开一个配置窗口。

3. 请为新连接命名。 您也可以在描述栏中提供更多详细信息。

4. 选择一个密钥管理器实例。

   如果您尚未配置密钥管理器实例，请务必在继续操作前进行配置。 请参阅 “设置模型网关 ”。

5. 指定用于连接模型提供商的密钥。 您可以选择以下选项：

   • 如果您已经设置了密钥，请选择一个现有的密钥
   • 如果您没有密钥，并且正在使用 IBM Software Hub vault 作为密钥管理器，请选择“创建新密钥”
   • 如果您没有密钥，并且正在使用外部密钥库，请选择 “复制密钥”以在您的外部密钥库中创建该密钥
   注：

   未通过模型网关用户界面创建的现有密钥可能无法正常工作。 请确保该密钥的 Key-value 类型正确，且其 JSON 格式符合模型网关的要求。 如需更多信息，请参阅 “通过编程方式设置模型网关”。

6. 如果您选择了 “创建新密钥 ”，请为新密钥命名，填写相关详细信息，然后点击 “创建 ”。

   Base URL如果您正在配置的提供商是 IBM watsonx，则该参数取决于 watsonx 的配置方式。 oc get route要获取 watsonx 的端点，请运行以下命令：. 在命令输出中，该 HOST/PORT 条目是 watsonx 的基地址 URL。

   所有密钥的名称必须是唯一的。 即使您为其他提供商创建密钥，也不能使用相同的密钥名称。

7. 如果您选择了 “复制密钥”以在外部密钥库中创建密钥 ，请填写新密钥的详细信息。 Base URL如果您正在配置的提供商是 IBM watsonx，则该参数取决于 watsonx 的配置方式。
   填写完新密钥的详细信息后，请点击 “显示 JSON ”。 已为您创建了一个 JSON 对象。 它包含了模型网关所需的所有关键键值对，并且结构合理。 使用此 JSON 对象在您的外部密钥管理器中创建密钥。 完成后，点击 “刷新 ”图标，即可在可用密钥列表中查看新密钥。

8. 点击 “添加 ”以添加与模型提供商的连接。

9. 对于其他模型提供商，请重复此操作。 已添加的提供商将显示在 “已添加的提供商 ”窗格中。

   

10. 要开始添加模型，请点击 “下一步”。 将显示可用型号列表。

    

    注意： 如果您添加了多个连接，列表中将包含所有已连接模型提供商所提供的模型。

11. 选择一个或多个显示的型号，然后单击 “下一步”。

    注：

    您想要添加的型号可能未列出。 此时，请点击 “导入模型 ”。 此时会弹出一个窗口，您可以在其中添加有关该模型的信息。 要添加模型：

    1. 请选择一个已定义的模型提供商。
    2. 输入模型 ID（例如 ） gpt-3.5-turbo-xxxx ，然后点击 “添加 ”。 该模型已添加到可选模型列表中。

12. 查看待添加的模型列表，可选地为模型输入别名，然后点击 “提交”。

    

    注意： 您可以将同一个别名添加到多个模型中。 同一提供商的模型不能使用相同的别名。

    新增的连接和模型列在 “模型提供程序 ”选项卡中。 使用搜索输入框查找它们，并使用 “排序 ”菜单根据可用条件对它们进行排序。

后续操作

现在，您可以通过模型网关向模型发送请求。 有关详细信息，请参阅 “推断网关模型 ”。 您还可以管理现有的连接和模型、启用负载均衡、创建访问策略以及设置速率限制。