组织的多层支持系统可使用大语言模型驱动式会话助手或聊天机器人以及人工代理，以便共同为最终用户提供高效、全面的协助。
“与智能顾问对话”的架构如上图所示。此架构流程中的主要步骤如下：
将产品手册、常见问题文档、产品/服务材料、招股说明书、已解决的支持凭单等企业文档摄取到 IBM watsonx Discovery 的实例中，并为语义搜索做好准备。
用户通过组织网站、专用应用程序或其他平台上的界面提交请求、问题或疑问。此交互由 IBM watsonx Assistant 提供便利，而后者可充当聊天式交互的主界面。
对于需从组织文档或知识库中检索数据的请求，系统会呼叫 IBM watsonx Discovery 以搜索和检索与该用户的请求最相关的信息。
然后，watsonx Assistant 会将该用户的请求以及从 watsonx Discovery 检索到的相关信息提交给 watsonx.ai 上托管的大型语言模型 (LLM)。
LLM 可将该用户的请求和提供的信息与 LLM 的嵌入式知识相结合，并生成类似人类的回复，然后将该回复传回给 watsonx.ai。接着，在将该回复进行潜在的格式设置和其他处理之后，再呈现给该用户。
如果该用户对生成的回复不满意（例如，他们的请求十分细致、较为复杂或需要特定知识），他们则可能会选择让 watsonx Assistant 将此呼叫上报给人工代理。同样，如果检测到 LLM 的回复置信度较低或可能令人反感，则可能会自动上报相关交互。用户可随时选择与人工代表进行互动。watsonx Assistant 可通过企业的客服中心管理系统将此交互平稳过渡给人工代理。
人工代理可完全访问 watsonx Assistant 聊天历史记录，从而协助该用户解决其请求、问题或疑问。
解决后，系统可通过 watsonx Assistant 征求用户反馈。通过分析经常遗漏或上报的查询，此反馈有助于组织调整 watsonx.ai 上托管的 LLM 以及/或是调整 watsonx Discovery 的搜索参数以提高性能，从而帮助优化未来的交互。
下图显示了 IBM watsonx AI 产品组合与概念架构的映射关系。watsonx Assistant 提供虚拟助理组件的交互功能，而 watsonx Assistant 的附加组件 watsonx Discovery 则提供文档摄取与语义搜索功能。watsonx.ai 模型开发与托管环境可用于选择、调整、测试和部署大型语言模型。
某些客户在当地并未提供 watsonx.ai，或是可能出于安全考虑或监管要求而无法使用 watsonx.ai 企业级 AI 开发平台。对于此类客户，我们提供 watsonx.ai 以作为一组容器化服务，而这些服务可在客户的数据中心、云服务提供商基础设施的虚拟私有云 (VPC) 内或在其他位置内运行的 Red Hat Openshift 上进行部署。
架构决策和注意事项
生成模型的选择
选择适合您项目的模型需考虑众多因素。
模型的许可证可能会限制其使用方式。例如，模型许可证可能会阻止将其用作商业应用程序的一部分。
用于训练此模型的数据集会直接影响模型在特定应用程序中的运行效果，并严重影响模型可能会生成无意义、令人反感或根本不需要的回复的风险。同样，使用受版权保护的数据或私有数据来培训的模型可能会导致用户承担法律责任。IBM 提供训练数据的全面透明度，并可对其模型引发的法律索赔提供赔偿。
模型的规模、训练时使用的参数数量以及上下文窗口的大小（模型可接受多长的文本段落）均会影响模型的性能、资源需求和吞吐量。遵循“越大越好”的理念并选择一个包含 200 亿个参数的模型固然十分诱人，但资源需求和准确性的提高（如果有的话）却可能无法证明此举是明智之举。最近的研究表明，对于某些解决方案，较小的模型可能明显优于较大的模型。
对模型进行任何微调均可能会影响其对任务的适用性。例如，IBM 提供两个版本的 Granite 模型：一种针对常规聊天应用程序进行了调整，而另一种则为遵循指令而进行了调整。
选择模型时的其他考虑因素包括：
模型参数的选择（例如，模型温度），它可平衡类似人类的文本与真实回复的创建。将模型温度设为较高的值会生成一致但可能较为乏味或过于简洁的回复，而将温度设为较低的值则可在回复中引入更多变化，但同时也会增大回复长度与内容方面的不可预测性。
模型防范措施的选择和实施，它可防止出现无效或令人反感的结果。
客户数据和用户提示的语言也必须纳入考虑。大多数 LLM 均接受过英语文本的培训，且通常能以不同的专业水平在英语与其他语言之间进行翻译。需要多语言或本地化语言支持的应用程序可能需使用按每种受支持的语言进行训练的多个模型，或是执行翻译步骤以将多语言输入翻译成英语或其他“基础”语言。