什么是提示微调？

提示微调是一种参数高效型微调 (PEFT) 技术，它能让大规模预训练模型适配新任务，而无需更新其数十亿参数该技术通过习得少量可训练矢量（即软提示或虚拟令牌），将其嵌入模型的输入空间来实现任务适配。这些矢量作为连续信号，能够引导冻结模型实现预期行为，同时保持主干网络的完整性。这一方法显著降低了计算与存储成本，对于需要在多应用场景中定制大模型的组织而言堪称理想解决方案。^1，2

提示工程依赖精心设计的文本指令（硬提示）来引导模型产生预期行为。尽管硬提示在某些场景下有效，但其设计脆弱且难以大规模优化。这意味着在提示工程中，措辞上的细微变化可能会导致性能出现重大且不可预测的变化，这就是为什么很难进行系统性优化的原因。然而，完整的微调会更新所有模型参数，这会导致极高的计算成本与存储开销，对于拥有数千亿权重的模型尤为显著。提示微调在两者之间取得了平衡：它使用连续的嵌入矢量而不是离散文本，仅训练这些小型矢量，在许多任务上能达到接近完整微调的效果，同时效率更高。^{2, 3}

提示微调的方法基于若干核心组件，这些组件协同工作以让大型预训练模型适应新任务。该方法使用冻结的模型，通过基于梯度的优化学习一组软提示嵌入，并由特定任务的数据集进行指导。这些要素使模型能够在无需重新训练全部参数的情况下实现高效适配。^{1, 2}

预训练冻结模型：一个大语言模型 (LLM) 或视觉转换器作为核心主干网络。模型主体在训练过程中保持冻结状态，既保留了通用知识又显著降低计算与存储成本。⁴

软提示嵌入：这些提示是可训练的矢量，也称为附加或插入到标记化输入中的虚拟标记。它们作为连续信号，引导模型生成符合目标任务的输出，而无需改变模型的内部权重。⁴

特定任务的数据集： 与下游任务保持一致的标注数据集对于软提示的监督优化至关重要。

基于梯度的优化：仅通过优化器更新软提示参数和轻量级头部（可选），而主干模型保持冻结不变。这种方法确保任务过程中的效率和稳定性。⁴

如图所示，提示微调通过在冻结的预训练模型输入中引入一小组可训练矢量来实现。这些提示作为隐藏指令，可以引导模型转向目标任务，而无需更新数十亿个参数。

除核心组件外，以下设计选择对性能产生显著影响：

提示长度：软提示中包含的虚拟令牌数量是关键超参数。多位研究人员的实验表明，最佳提示长度需根据具体任务而定。例如，简单的分类任务可能在较短的提示下表现最佳（例如少于 20 个令牌），而复杂的序列标注任务可能需要更长的提示（例如约 100 个令牌）。 ⁵

提示位置：该要素通过优化提示在输入序列中的排列方式（前缀、后缀或交错排列）来提升模型性能。

初始化策略：使用随机值、采样嵌入或任务特定令牌来初始化软提示，将影响模型的收敛速度与精度。⁴

这些附加要素并非强制要求，但为实现最佳性能仍建议配置。

让我们通过情感分析任务来直观阐释提示微调的运行机制与优势。假设我们需要让一个拥有 1750 亿参数的模型适配电影评论分类任务，将其准确归类为“正面”或“负面”评价。全面微调的方法成本过高，速度过慢。采用提示微调时，其流程如下：
从冻结的预训练模型起步：1750 亿参数的主干网络保持完全锁定，完整保留预训练阶段习得的通用知识库。⁵
添加软提示：将少量可训练矢量（例如 20 个虚拟令牌）附加到每条电影评论的输入嵌入中。这些矢量并非人类可读文本，而是与模型词表处于同一高维空间（例如在此规模模型中为 12288 维空间）的连续嵌入表示。通过优化过程，这些矢量逐步习得编码连续的任务特定信号，从而有效引导模型行为。

输入：例如

[软提示] 这电影真是太精彩了！

在这个示例中，假设我们为情感分析任务初始化了 20 个软提示标记。训练后，输入在内部可能如下所示：

在这里，每个 v1 都是一个学习过的高维提示矢量。训练的目标是找到这些矢量的最优值，使其能够引导冻结的模型正确分类后续文本的情感。

仅培训软提示：通过使用标注好的电影评论数据集，训练过程得以启动。通过反向传播，会计算出误差梯度，但优化步骤只会更新软提示嵌入的参数。这种方法只需微调几千个参数，而非模型的 1750 亿个权重。⁵

模块化部署：一旦训练完成，生成的这 20 个矢量集合就构成了整个针对特定任务的适配内容。要让同一个基础模型适应不同的任务（例如垃圾邮件检测），只需在垃圾邮件数据集上训练一组新的软提示，并在推理时将它们替换进去即可。

该技术带来了显著的效率优势。企业不需要为每个任务都存储模型的单独完整副本（175 B 的参数模型可能需要高达 350 GB ），而是需要存储特定于任务的提示参数，而这些参数的大小可能只有几 KB。¹这种模块性使得提示微调成为大规模模型适配的一种实用且经济的解决方案²

提示微调在实时应用程序中有很多优点，但了解其局限性也很重要。

提示微调的关键优势在于高效、模块化，以及能够保留基础模型的知识。

卓越的参数和成本效率：最显著的优势是可训练参数的大幅减少。通过仅更新一小部分软提示矢量（通常占整个模型的不到 1%），提示微调可以显著降低计算和存储空间成本。这种策略使得计算资源有限的组织也能采用大规模基础模型。

模块化和可扩展部署：由于每个任务都封装在一小组独立的提示参数中，只需在推理时替换这些轻量级提示文件，就可以让单个冻结的主干模型适应多项任务。这种“即插即用”架构具有高度模块化，避免了为每个应用程序存储和管理单独的、多 GB 的模型副本。

缓解灾难性遗忘：在学习新任务时，完全微调可能会覆盖或降低模型的预训练知识。通过完全冻结骨干模型的权重，提示微调可以保留在预训练过程中学到的大量常识，从而使模型在不丧失其功能的情况下被重新使用。

数据效率：与通常需要为每个新任务使用大型标记数据集的完全微调相比，提示微调可以使用较小、更适中的数据集实现强大的性能。

尽管快速微调具有诸多优点，但它也并非没有缺点，包括表达能力有限、训练困难以及缺乏可解释性。

表达能力有限：一个核心的理论限制是，提示微调和前缀微调的表达能力不如 LoRA 或全量微调方法。正式分析表明，这些方法通过向注意力块的输出添加偏置来发挥作用，但无法从根本上改变模型已学习的注意力模式。这意味着提示微调在激发和组合模型中已有的技能方面非常有效，但在学习需要全新推理模式的真正新任务时可能会失败。

训练不稳定和超参数敏感性：最显著的实际挑战之一是该方法对超参数的敏感性。训练过程可能难以收敛，并且高度依赖于学习率以及提示的初始化策略和长度，通常需要仔细且大量的微调才能达到最佳效果。

可解释性的“黑匣”问题：一个主要且持续存在的限制是软提示固有的缺乏可解释性。由于它们是通过梯度下降法优化的连续高维矢量，因此它们不对应于任何人类可读的文本。这种“黑匣”特性使得我们很难理解提示学习到了什么，为什么它会以某种方式引导模型，以及当它出现故障时如何进行调试。

对模型规模的依赖性：原始的输入级提示微调方法的有效性与主干模型的规模相关。虽然它在参数超过 100 亿的模型上可以与完全微调相媲美，但它在较小、更常用的模型上的性能要好得多。

提示微调的原则已被证明具有很强的适应性，远远超出了其最初在自然语言处理中的应用。目前，该技术已成为多模态领域、语音处理和高级学习范例中高效定制模型的关键推动因素。

多模态提示调整（视觉-语言模型）：提示微调是一项关键技术，它可让预训练视觉-语言模型 (VLM)（例如 CLIP）适应下游视觉任务。在这种情况下，可以针对一种或两种模式设计提示。^7、

在语音处理中的应用：提示微调范式已成功扩展到语音处理领域。在此应用中，原始语音语句被编码为离散声学单元，并将一组可学习的、特定任务的软提示附加到该序列上。该框架是统一的，允许单个预训练语音模型适应各种任务。这包括关键词检测、口语意图分类，甚至自动语音识别 (ASR)，而训练的仅是一小组特定任务的提示。

多任务与多语言学习：为了进一步提升效率和泛化能力，研究人员已经超越了训练孤立的单任务提示的方法。先进方法现在专注于学习可在多任务或多语言之间迁移的共享提示。

• 多任务提示微调 (MPT)：该方法将来自多个源任务的知识提炼到一个可迁移的共享提示中。然后，这种共享提示可以高效地适应新的目标任务，每个任务只需要模型参数的 0.035%，并在小样本学习场景中显示出强大的性能。
• 多语言微调：对多语言模型的研究发现，在一组仅包含英文的数据集和提示上进行多任务微调，可以显著提升模型在非英文任务上的零样本性能。该方法表明，该模型学习到的任务解决能力在某种程度上是与语言无关的。

在人工智能、机器学习和生成式 AI 的研究领域，提示微调已成为高效调整 AI 模型的关键方法。与改变全部模型权重、且在训练数据有限时容易导致过拟合的完整模型训练不同，该技术专注于优化附加在输入文本前的提示矢量。通过自动化和迭代的过程，目标是发现能够为特定任务生成有效提示的最优提示，而这一过程的成功往往依赖于模型的规模。这种方法提供了一种可扩展的替代方案，以替代大规模的重新训练，并且可与 RAG 等其他策略互补，巩固了其作为定制基础模型的基石的作用。