生成式搜索是生成式 AI 模型与搜索功能的结合；利用大型语言模型 (LLM) 的内容生成和摘要功能扩展搜索解决方案的搜索和检索功能。生成式搜索的概念架构如下图所示
客户端文档（包括 Word 文档、PDF、网页数据及其他结构化与非结构化文本）被导入内容分析组件，并为语义检索做好数据准备。
用户使用 Content Analysis 用户界面提交问题。
Content Analysis 组件根据用户的问题来识别与用户问题最相关的文档和信息段落。根据用户的问题，该组件会将问题连同相关文档与文本片段一并发送至大语言模型 (LLM)，以生成类人化的回复。
LLM 返回生成的响应，随后将其传递给用户。
IBM watsonx 系列产品与生成式搜索模式的映射如下图所示。IBM Watson Discovery 用于为 Content Analysis 组件提供文档导入、文档理解、内容分析与洞察能力。IBM watsonx.ai 用于选择、调整、测试和部署用于扩展 Watson Discovery 的大型语言模型。
有些客户在当地无法使用 watsonx.ai，或者可能存在安全问题或监管要求，导致他们无法使用 watsonx.ai SaaS 解决方案。对于这些客户，我们提供 watsonx.ai 作为一组容器化服务，这些服务可以部署在客户数据中心内运行的 Red Hat Openshift 上，也可以部署在云服务提供商基础设施内的虚拟私有云 (VPC) 上。
架构决策和注意事项
选择适合您项目的模型需考虑众多因素。
模型的许可证可能会限制其使用方式。例如，模型许可证可能会阻止将其用作商业应用程序的一部分。
用于训练此模型的数据集会直接影响模型在特定应用程序中的运行效果，并严重影响模型可能会生成无意义、令人反感或根本不需要的回复的风险。同样，使用受版权保护的数据或私有数据来训练的模型可能会导致用户承担法律责任。IBM 提供训练数据的全面透明度，并可对其模型引发的法律索赔提供赔偿。
模型的规模、训练时使用的参数数量以及上下文窗口的大小（模型可接受多长的文本段落）均会影响模型的性能、资源需求和吞吐量。遵循“越大越好”的理念并选择一个包含 200 亿个参数的模型固然十分诱人，但资源需求和准确性的提高（如果有的话）却可能无法证明此举是明智之举。最近的研究表明，对于某些解决方案，较小的模型可能明显优于较大的模型。
对模型进行任何微调均可能会影响其对任务的适用性。例如，IBM 提供两个版本的 Granite 模型：一种针对常规聊天应用程序进行了调整，而另一种则为遵循指令而进行了调整。
选择模型时的其他考量因素包括：
模型参数的选择（例如，模型温度），可平衡类似人类的文本与真实回复的创建。将模型温度设为较高的值会生成一致但可能较为乏味或过于简洁的回复，而将温度设为较低的值则可在回复中引入更多变化，但同时也会增大回复长度与内容方面的不可预测性。
模型防范措施的选择和实施，可防止出现无效或令人反感的结果。
客户数据和用户提示的语言也必须纳入考虑。大多数 LLM 均接受过英语文本的培训，且通常能以不同的专业水平在英语与其他语言之间进行翻译。需要多语言或本地化语言支持的应用程序可能需使用按每种受支持的语言进行训练的多个模型，或是执行翻译步骤以将多语言输入翻译成英语或其他“基础”语言。
部分客户可能希望配备反馈机制，以持续优化系统的回复效果。随着时间推移，此类反馈既可用于优化 Watson Discovery 的配置（如优化搜索参数），也可用于对 LLM 进行微调。
受监管行业的客户可能希望增加一层监控，以确保合规性，并向用户透明展示其查询的处理方式以及 AI 在生成回复时所扮演的角色。
与任何集成系统一样，持续监控性能、用户满意度和任何潜在问题。需做好基础设施扩展准备，以应对用户需求的不断增长。