利用可视化工具部署人工智能服务
当您使用可视化工具为复杂用例(如检索增强生成(RAG)或代理人工智能)构建应用程序时,您的应用程序将作为人工智能服务部署。 人工智能服务是一种可部署的代码单元,用于捕捉生成式人工智能应用的逻辑。 部署人工智能服务后,您可以通过空间中提供的测试界面进行测试,或访问端点将部署投入生产。
部署人工智能服务的可视化工具
当您使用以下任何工具构建应用程序时,您的应用程序将作为人工智能服务部署:
- AutoAI (RAG ):您可以使用 来构建基于RAG的生成式AI实验,并部署表现最佳的流水线作为AI服务。 AutoAI
例如,一种人工智能服务,用于与基础文档进行对话,它能够管理逻辑,从矢量化文档索引中检索内容,并利用基础模型进行推理,生成响应。
部署方法
根据您的要求,您可以使用以下方法之一,通过受支持的可视化工具将应用程序部署为人工智能服务:
- 直接部署(快速路径 ):如果您的解决方案已经完成,不想再作任何修改,请使用此选项。 如果您选择使用快速路径部署,系统会自动创建在线部署。
- 部署笔记本 :如果您想通过添加或更改代码来自定义解决方案,例如创建批处理部署,请使用此选项。
除了可视化工具,如果您以编程方式创建了AI服务资产,则可以直接从项目手动部署您的应用程序作为AI服务。
下表对比了各种工具和项目的部署选项:
| 工具 | 联机部署 | 批量部署 | 直接部署(快速路径) | 部署 notebook |
|---|---|---|---|---|
| Prompt Lab | 自动 | 手动 | 两步程序 | 支持;自动生成 |
| Agent Lab | 自动 | 手动 | 两步程序 | 支持;自动生成 |
| AutoAI (针对 RAG) | 自动 | 手动 | 多步骤流程 | 不受支持 |
| 项目 | 手动 | 手动 | 多步骤流程 | 支持;手动创建 |
人工智能服务可捕捉您的使用案例的逻辑,并包含生成功能,这是一个可部署的代码单元。 部署以REST API端点形式公开,可供其他应用程序访问。 您可以向REST API端点发送请求,以使用已部署的AI服务进行推理。 已部署的人工智能服务处理请求并返回响应。
从工具中展开
使用快速路径直接从可视化工具部署,或将您的工作保存在部署笔记本中,以便将您的解决方案部署为AI服务。
快速路径部署
如果您在 watsonx.ai 中使用受支持的可视化工具来构建应用程序,则可以直接从该工具部署解决方案。 直接从工具部署,为您提供将解决方案部署为AI服务的快速通道,并自动创建在线部署。 部署创建后无法更改,因此您必须确保在部署前完全构建解决方案。
要创建批量部署,必须从项目中手动部署解决方案。 有关详细信息,请参阅从项目部署。
要部署RAG模式,请从 AutoAI, ,并按照以下步骤操作:
- 从 AutoAI 实验生成器中选择性能最佳的管道,然后点击另存为。
- 选择检索和生成作为目标,并选择人工智能服务资产类型。
- 启用选项,将人工智能服务推广并部署到部署空间。
- 选择一个现有的部署空间或创建一个新的,然后点击创建并部署。
此过程会自动创建在线部署。 部署在目标空间中创建并打开,以便您可以测试部署或访问端点进行推理。
从自动生成的笔记本中展开
在可视化工具中创建应用程序后,如果您想在部署前自定义应用程序的逻辑,可以将您的工作保存在部署笔记本中。 例如,如果您想向矢量化数据库中添加新文档,可以编辑并运行 AutoAI RAG笔记本,然后将使用 AutoAI 工具发现的优化RAG模式应用到更新的索引中。
部署笔记本包含测试、推广和部署人工智能服务的代码。 要部署应用程序,您必须将工作保存在部署笔记本中。 您无法使用标准笔记本部署人工智能服务资产。
要在 Prompt Lab 或 Agent Lab 的部署笔记本中保存解决方案:
- 单击 " 保存 " 图标
,然后从下拉菜单中选择 " 另存为 "。 - 在 “保存您的工作 ”对话框中,选择 “部署笔记本 ”。
- 在 “定义详细信息” 部分,为您的部署笔记本输入名称和可选描述。
- 单击保存。
当您将工作保存在部署笔记本中时, watsonx.ai 会自动生成一个笔记本,其中包含用于测试、推广和部署AI服务的代码。 要为您的AI服务创建在线部署,请在部署笔记本中运行单元。
从项目部署
创建在线或批量部署,将您的应用程序部署为AI服务。 在线部署适用于需要高可用性和实时更新的应用,而批量部署则适用于复杂的更新或可接受计划内停机时间的情况。
创建在线部署
如果您已将 AI 资产保存为可部署的 AI 服务资产,请按照以下步骤推广 AI 服务并创建在线部署:
- 在项目或部署空间的 “资产”选项卡中,选择 “部署” 以启用AI服务。
- 选择或创建部署空间。
- 选择 “在线” 作为部署类型。
- 输入部署名称,并可选输入服务名称、描述和标签。
- 单击创建。
创建批量部署
如果您已将 AI 资产保存为可部署 AI 服务资产,请按照以下步骤推广 AI 服务并创建批量部署:
- 从您的部署空间进入 “资产”选项卡。
- 对于资产列表中的AI服务资产,点击菜单图标 ,然后选择部署。
- 选择 “批处理” 作为部署类型。
- 输入部署名称,并可选输入服务名称、描述和标签。
- 选择硬件规格:
- 超小 :1个CPU和4GB内存
- 小 :2个CPU和8GB内存
- 配置 :4个CPU和16GB内存
- 大 :8个CPU和32GB内存
- 超大 :16个CPU和64GB内存
- 单击创建。