规划生成式人工智能解决方案的实施工作流程

定义人工智能用例

人工智能用例由一组事实表组成，其中包含模型或提示模板等人工智能资产的生命周期、历史和其他相关信息。

您的组织可能会要求您跟踪和记录人工智能解决方案，以提高透明度或遵守法规。 不过，即使不需要人工智能用例，它们也很有用，因为它们提供了一种综合方式来跟踪有关解决方案的进展、决策和指标。

要创建人工智能用例，首先要创建一个清单，然后再创建用例。 将数据科学家、数据工程师和其他参与创建、测试或管理解决方案的用户添加为用例协作者。

制定治理工作流程

治理工作流程强制执行人工智能用例和模型使用的审查和批准流程。

您的组织可能需要以下一种或多种治理工作流程：

• 模型风险治理工作流程，用于批准人工智能用例、批准基础模型生命周期事件、运行风险评估或自动执行模型性能监控。
• 监管合规管理工作流程，处理监管机构发布的警报。
• 运营风险管理工作流程，以跟踪整个企业的模型风险和其他运营风险。

要建立治理工作流程，需要在治理控制台中进行配置。

建立项目

项目是一个协作工作空间，人们在这里使用模型和数据来实现共同的目标。

您需要一个项目来建立提示、运行实验和调整模型。

基因人工智能解决方案的项目通常包含以下类型的项目，这些项目或由人工智能工程师明确添加，或作为流程的结果而创建：

• 与数据源的连接资产，如向量存储或存储训练或调整数据的地方。
• 代表用于训练或调整模型的数据集的数据资产。
• 提示会话资产，保存供将来参考。
• 为推理提供端点的提示模板资产。
• 您创建的笔记本或由诸如将提示保存为笔记本或运行 AutoAI 实验等流程生成的笔记本。
• 表示 RAG 模式矢量化文档的矢量索引。
• 通过 AutoAI, Tuning Studio 或 Synthetic Data Generator 等运行工具创建的实验和流程资产。
• 为基因人工智能模式（如 RAG）提供端点的人工智能服务资产。
• 通过在工具中运行资产而创建的工作。

您将拥有一个自动创建的沙盒项目。 不过，您可能希望创建一个项目，并为其命名，以反映您的目标。 您可以从主页或导航菜单创建项目。 添加您希望参与解决方案的所有人。 为每个协作者分配一个角色，以控制他们在项目中的权限。

准备您的数据

数据准备包括按照解决方案所需的格式和质量水平提供所需数据的访问。

如果您打算将模型与RAG模式下的文档进行对比，评估快速模板或调整基础模型，则需要准备数据。 如果您的用例是翻译、汇总、分类或生成文本，您可能不需要准备数据，除非您想进行评估。

对于 RAG 模式，您需要将文档转换为嵌入向量，以便高效检索。 您可以将矢量化文档存储在矢量存储区，并使用矢量索引检索这些文档。 您可以通过以下方式将文件包含在 RAG 模式中：

• 从本地系统上传文件并将其添加到矢量存储中
• 指定现有矢量存储中的文件
• 将连接数据源中的文件添加到矢量存储中

您可以根据文档的总大小、实验的自动化程度和其他因素，选择不同的 RAG 图案创建方法。

为了评估一个即时模板或调整基础模型，您需要提供一个数据集，其中包含对模型有代表性的输入以及模型响应时产生的适当输出。 您可以通过以下方式提供调整数据：

• 从本地系统上传文件
• 连接到包含数据集的数据源

尝试通用人工智能

提示是指导基础模型做出响应的方式。 您可以将提示保存为模板。 当您将文档、图像或代理添加到提示时，将其保存为人工智能服务。

您可以通过以下方式改变条件，尝试使用提示：

• 在聊天和非聊天模式之间切换
• 更改提示文本或系统提示
• 改变基础模型
• 调整模型参数
• 启用和禁用护栏
• 在聊天中添加图像或文件
• 添加变量以动态更改提示文本
• 将代理配置为呼叫工具

您可以使用 Prompt Lab 或REST API、 Python 或 Node.js 代码进行实验，以开发您的提示。 要自动寻找最佳 RAG 模式，请运行 AutoAI for RAG 实验。 要开发一个调用工具的人工智能代理，您可以使用REST API、 Python 或 Node.js 编写代码。

评估您的基因人工智能资产

对即时消息或人工智能服务等人工智能资产进行评估，可以测试模型输出结果是否符合您所设定的指标。 有些指标是基于将模型输出与您在测试数据集中提供的适当输出进行比较。 此外，还将评估模型生成响应的效率。

您的组织可能需要进行合规性评估或内部政策评估。 不过，即使不需要评估，评估也是有用的，因为度量分数可以说明解决方案的质量，并可预测分数下降时用户满意度的下降。

评估人工智能资产时，您可以设置以下因素：

• 测试样本量
• 包括哪些指标
• 每个指标的阈值

通用指标提供以下有关人工智能资产的信息类型：

• 模型与标注测试集相比的表现如何。
• 模型是否会产生偏差结果。
• 模型输出精度随时间变化。
• 模型处理事务的效率。

生成式人工智能特有的指标可提供以下有关人工智能资产的信息：

• 输出文本与输入文本的相似度。
• 输出文本与参考输出文本有多相似。
• 无论输入或输出的文本是否包含有害或敏感信息。
• 人工智能资产在面对恶意攻击时能够保持性能。

您可以查看当前结果和过去一段时间的结果。 每次评估的结果都会添加到该提示的用例中。

要对提示进行评估，请在提示Prompt Lab中使用代码或已部署的提示模板运行评估。 如果您对RAG模式进行 AutoAI 实验，候选人工智能服务将自动进行评估和排名。

要同时评估和比较多个提示模板，请在 Evaluation Studio 中运行一个评估实验。

优化基础模型

优化基础模型可以提高模型的一个或多个性能指标。

要调整基础模型，请选择调整方法，添加调整数据，然后通过 Tuning Studio 或代码运行该作业。

部署解决方案

部署资产使其可用于测试或终端的生产性使用。 创建部署后，您可以对其进行测试和管理，并准备将资产部署到预生产和生产环境中。

您可以在部署空间中创建部署，部署空间是独立于项目的工作空间，您可以在其中添加不同的协作者。

要部署大多数类型的 gen AI 资产，您需要将资产推广到部署空间，并创建包含端点的部署。 然后，您可以从应用程序中调用端点来推断基础模型。 对于不含变量的即时模板，您可以直接从 Prompt Lab 复制终端代码。 您可以为测试、暂存和生产部署创建单独的部署空间，以支持您的 ModelOps 工作流程。

如果您想尽量减少生产环境，可以在生产集群上安装 watsonx.ai 轻型引擎，而不是完整安装 watsonx.ai。

监控和维护您的解决方案

将解决方案嵌入应用程序并投入生产后，您必须对解决方案进行维护。 您还可以监控模型性能。 维护您的解决方案可能包括更新或替换基础模型，使用新版本，或根据评估或用户反馈优化模型。 监控解决方案可评估模型在生产环境中的性能。

您的组织可能会要求您监控解决方案，确保性能不低于指定的阈值。

要监控解决方案，请在部署空间打开解决方案的部署并激活评估。 您可以使用有效载荷日志记录端点为公平性和漂移评估发送评分请求，并使用反馈日志记录端点为质量评估提供反馈数据。

如果您为解决方案部署了基础模型，您可能需要定期更新模型以提高性能。