什么是持续学习？

增量学习使模型能够获取新知识，并跟上现实世界的不可预测性，同时不会遗忘已有知识。非平稳数据意味着数据分布不是静态的。当成功实施时，持续学习可使模型既保持任务特定的知识，又能够在动态数据分布中进行泛化。

持续学习模型旨在在变化的环境中自适应地应用新数据。持续学习也被称为终身学习，它的灵感来自神经科学概念，即人类在保留已有知识的同时学习新事物。如果一个人学会了滑板，他们不会立即忘记如何骑自行车。

传统机器学习系统使用大型静态数据集训练模型。数据集以批次形式通过模型算法，同时模型更新其权重或参数。模型会多次处理整个数据集，每一轮处理称为一个 epoch。

开发人员会提前确定深度学习模型的目标，构建与学习目标相符的训练数据集，并使用该数据对模型进行训练。然后，测试、验证和部署模型。通过使用更多数据对机器学习模型进行微调，可以将其性能针对新任务进行定制。

传统的学习方法无法充分反映现实世界的动态性。监督学习使用具有已知结果的静态数据集。无监督学习允许模型自行整理数据，但训练数据仍然是有限且不变的。强化学习同样是安全且受约束的。

与传统学习方法相比，持续学习试图将人脑的可塑性应用于人工神经网络。神经可塑性是大脑的一种特性，使其能够在面对变化的环境时进行适应性学习，同时不忘记已有的知识。

某些类型的持续学习仍然以离线批量训练开始，经过多个训练周期 (epoch)，类似于传统的离线训练。在线持续学习仅通过单次遍历的数据流来训练模型。

持续学习有助于深度神经网络在动态环境中进行优化和适应。传统机器学习需要大量且固定的数据集、足够的训练时间和计算资源，以及已知的模型用途。当这些需求中的一项或多项无法满足时，持续学习提供了一种替代方案。

• 减轻灾难性遗忘

• 小型训练数据集

• 改变数据分布

• 资源优化

• 噪声容忍度

当深度学习模型在新数据或新分布上进行训练时，它们可能会丢失以前的知识。这种现象被称为灾难性遗忘，是模型将其参数过度拟合到新数据上所导致的结果。模型会更新其内部权重到某种程度，以至于新参数不再适用于模型最初的任务。

持续学习通过增量方式将训练数据输入到 AI 模型中。该模型会被输入一系列小型数据集，有时甚至仅包含一个样本。迁移学习（当模型将先前的学习应用于新任务时）有助于最大限度地减少所需的新数据量。

世界在不断变化。人类和其他动物进化出了学习的能力，以帮助它们在逆境中生存和发展。例如，如果一种食物供应耗尽，学会如何食用其他食物可以确保生存。

但并非所有动物都有这样的能力。考拉甚至无法识别它们的主要食物桉树叶，如果这些叶子从树上摘下后堆放在盘子里。虽然考拉有时会吃其他树的叶子，但它们只能将食物理解为“树上的叶子”。它们的大脑结构平滑，因此无法跳出这个认知框架。

设想有一个用于自动驾驶汽车的计算机视觉模型。该模型不仅必须能够识别道路上的其他车辆，还需要识别行人、自行车骑行者、摩托车骑手、动物以及潜在危险。它必须能够完美感知并适应不断变化的天气和交通状况，例如突如其来的暴雨，或紧急车辆开启警示灯和警报声接近时的情况。

语言会随着时间的推移而变化。一个自然语言处理 (NLP) 模型应该能够处理词义和用法的变化。同样，为机器人设计的模型必须能够在机器人环境发生变化时进行适应。

AI 模型需要消耗大量资源。它们的训练成本可能高达数百万美元，并且消耗大量的电力和水资源。并非在每次出现新任务时都能部署新的模型。此外，在模型可用内存中完整保留以往每一项任务的数据，在计算上也是不可行的。

持续学习使大语言模型 (LLM) 和其他神经网络能够适应不断变化的使用场景，同时不忘记如何处理之前的挑战。企业可以通过扩展其使用的每个模型的功能来最大限度地减少运营中的模型数量。

如果训练得当，持续学习算法应能够自信地识别相关数据，同时忽略噪声：即那些无法准确反映真实世界数值的无意义数据点。噪声来源于信号错误、测量错误和输入错误，同时也包括异常值。异常值是与其余数据极不相似，以至于变得无关的数据点。

持续学习的挑战大致可分为三类，具体取决于数据流随时间的变化方式¹：

• 任务增量式持续学习
  

• 领域增量式持续学习
  
  

• 类别增量式持续学习

任务增量式学习是一种逐步的多任务学习方法，其中算法必须学习完成一系列不同的任务。算法必须清楚自己被期望完成哪个任务，这可以通过任务彼此足够区分开来实现，或者通过为输入标注相应的输出。

任务增量式学习的一个现实例子是：先学习日语，然后学习普通话，再学习捷克语，最后学习西班牙语。通常可以清楚地知道在特定时间说话者应该使用哪种语言。

由于任务是按顺序输入模型的，挑战在于确保模型能够将一个任务的学习有效地迁移到下一个任务上。任务的总数量也并不总是事先已知，尤其是对于已经部署的模型而言。

在任务增量式学习方法中，防止灾难性遗忘仅是基本前提，实现模型的有效迁移学习才是核心目标。

领域增量式学习涉及的数据分布会发生变化，但挑战的类型保持不变。任务所处的条件在某种程度上发生了变化，但可能的输出并未改变。与任务增量式学习不同，模型无需确定要解决的具体任务。

例如，为光学字符识别 (OCR) 构建的模型需要识别各种文档格式和字体样式。了解环境如何或为何发生变化并不重要，关键是要识别出变化并在任何情况下完成任务。

数据分布的变化是机器学习中的一个长期挑战，因为模型通常是在离散的、静态的数据集上进行训练的。在模型部署后，如果数据分布发生变化，领域增量式学习可以帮助模型减轻性能损失。

类别增量式学习是指分类器模型必须执行一系列具有不断增加输出类的分类任务。该模型必须既能正确解决每个实例，又能回忆起在之前实例中遇到的类别。

一个训练用于将车辆分类为汽车或卡车的模型，后来可能需要识别公共汽车和摩托车。模型需要保持对随时间学习的所有类别的理解，而不仅仅是每个实例中的选项。如果模型先接受“汽车与卡车”的训练，后来又给出“公共汽车与摩托车”，模型还应能成功判断一辆车是汽车还是公共汽车。

最先进的类别增量式学习是最具挑战性的持续学习任务之一，因为新类别的出现可能会削弱先前已建立类别之间的区分。

所有持续学习技术的目标都是平衡稳定性与可塑性之间的矛盾：使模型足够稳定，保留先前学到的知识，同时又足够可塑，能够培养新的知识。尽管研究人员已经确定了许多持续学习的方法，但许多方法可以归入以下三类之一：

• 正则化技术
  

• 参数隔离技术
  

• 重播技术

正则化是一组限制模型在新数据上过拟合能力的技术。在增量训练过程中，模型不允许更新其架构，而像知识蒸馏这样的技术（其中较大的模型“教导”较小的模型）有助于保持知识。

• 弹性权重巩固 (EWC) 通过向学习算法的损失函数添加惩罚项，限制模型参数发生剧烈变化。优化算法使用损失函数的梯度作为衡量模型性能的基准。

• 突触智能 (SI)：该方法基于对参数相对重要性的持续评估，从而限制参数更新幅度。

• 无遗忘学习 (LWF)：通过新任务数据训练模型，并通过保持先前任务的输出概率来维持旧知识。

参数隔离法通过调整模型的部分架构来适应新任务，同时冻结已有任务对应的参数。该模型会重建自身以拓展能力，但前提是某些参数不能被调整。后续训练仅在那些适用于新任务的参数上进行。

例如，渐进式神经网络 (PNN) 为新任务创建特定于任务的神经网络列。与其他列的并行连接实现了迁移学习，同时防止这些列被修改。

重播技术通过在模型训练过程中，定期将其重新暴露给旧任务的数据样本，以此来巩固对已学知识的记忆。基于重播的持续学习将旧数据样本保存在内存缓冲区中，并将其合并到后续的训练周期中。持续接触旧数据能有效防止模型对新数据产生过拟合。

记忆技术是可靠有效的，但需要定期访问先前的数据，这就需要足够的存储空间。涉及使用敏感个人数据的情况也可能会给记忆技术的实施带来问题。

生成式重播使用生成式模型合成先前数据的样本，供正在训练的模型使用，例如需要学习新类别而不遗忘旧类别的分类器。