上采样是解决数据集失衡问题的有效方法。不平衡数据集的定义是，相对于真实人口而言，某一类别在数据集中的代表性严重不足，从而造成意外偏差。例如，假设一个模型经过训练，可以将图像分类为显示猫或狗的图像。所使用的数据集由 90% 的猫和 10% 的狗组成。在这种情况下，猫的比例过高，如果我们让分类器每次都预测猫，那么它对猫的分类准确率将达到 90%，而对狗的分类准确率则为 0%。在这种情况下，不平衡的数据集将导致分类器偏向于提高多数类别的准确性，而牺牲少数类的准确性。多类数据集也会出现同样的问题。¹

上采样过程可以解决数据集不平衡的问题。它将根据原始数据集少数类特征合成的点填充到数据集中。这种方法通过有效增加代表性不足的少数类的样本数量来平衡数据集，直到数据集中所有类别的点数比例相等。

虽然只需绘制每个类别中数据点的计数图就能看到不平衡现象，但这并不能说明它是否会对模型产生重大影响。幸运的是，我们可以利用性能指标来衡量上采样技术纠正类不平衡的效果。这些指标大多用于二元分类，即只有两个类别：正类和负类。通常，正类是少数类，而负类是多数类。两种常用的指标是接收者工作特征曲线（ROC）和精确度-召回曲线。¹

• 无信息损失：下采样会从多数类中移除数据点，而上采样则不同，它会生成新的数据点，从而避免任何信息损失。
• 以低成本增加数据：在只能通过观察获取数据的情况下，扩大取样范围尤其有效，而且往往是按需扩大数据集规模的唯一方法。例如，某些病症过于罕见，无法收集更多数据。

• 过度拟合：由于上采样是在现有少数类数据的基础上创建新数据，分类器可能会对数据进行过度拟合。上采样假设现有数据能充分反映现实情况；如果情况并非如此，则分类器可能就无法很好地进行概括。
• 数据噪声： 上采样会增加数据中的噪声量，从而降低分类器的可靠性和性能。²
  
• 计算复杂性：通过增加数据量，训练分类器的计算成本会更高，这可能是使用云计算时的一个问题。²

随机超采样是在少数类中随机复制数据点，直到少数类的规模与多数类的规模相等。

虽然两者性质相似，但随机过采样与 Bootstrapping 不同。Bootstrapping 是一种 集成学习 技术，可以从所有类中重新采样。相比之下，随机过采样只从少数类中重新取样。因此，随机过采样可以被理解为一种更专业的 Bootstrapping。

随机过采样虽然简单，但也有其局限性。由于随机过采样只会添加重复的数据点，因此可能会导致过拟合。³但与其他方法相比，它仍有许多优点：易于实现、无需对数据进行扩展性假设，以及由于算法简单而耗时少。²

合成少数过采样技术 (SMOTE) 是一种上采样技术，于 2002 年首次提出，它从少数类中的现有点合成新的数据点。⁴它包括以下过程：²

1. 找出所有少数类数据点的 K 个最近邻点。K 通常为 5。
2. 对每个少数类数据点重复第 3-5 步：
3. 从数据点的 K 个最近邻点中选取一个。
4. 在功能空间中连接这两个点的线段上随机选取一个点，生成新的输出样本。这一过程被称为插值。
5. 根据所需的上采样率，使用不同的最近邻点重复第 3 和 4 步。

SMOTE 通过向数据集添加之前未见过的新数据，而不是简单地复制原有数据，解决了随机过采样中的过拟合问题。因此，一些研究人员认为 SMOTE 是一种比随机过采样更好的上采样技术。

另一方面，SMOTE 人工生成数据点的做法给数据集增加了额外的噪声，有可能使分类器更加不稳定。¹SMOTE 中的合成点和噪声也可能无意中导致少数类和多数类之间不反映现实的重叠，从而导致所谓的过度概括。⁵

一种流行的扩展名为 Borderline SMOTE，用于解决人为数据集噪声问题，并创建“较难”的数据点。“较难”的数据点是接近决策边界的数据点，因此较难分类。这些较难的点更有助于模型学习。²

Borderline SMOTE 可识别出与许多多数类点相近的少数类点，并将其归入“DANGER”集。DANGER 点是“难以”学习的数据点，这也是因为与被少数类点包围的点相比，DANGER 点更难分类。这一选择过程排除了最近邻仅为多数类点的点，这些点被算作噪声。在此基础上，SMOTE 算法将继续正常使用该 DANGER 集。³

自适应合成采样法 (ADASYN) 与 Borderline SMOTE 相似，都是生成更难学习的数据供模型学习。但其目的也是为了保留少数类数据的分布。⁶为此，它首先根据邻域中多数类示例的数量，创建所有少数点的加权分布。这样，在生成新数据时，它就会更频繁地使用更接近多数类的少数类点。

过程如下：²

1. 在整个数据集上创建 KNN 模型。
2. 每个少数类点都有一个“硬度因子”，用 r 表示，即 KNN 中多数类点的数量与最邻近点总数之比。
3. 与 SMOTE 一样，合成生成的点也是少数数据与其最邻近数据之间的线性插值，但生成的点数会随点的硬度因子而变化。这样做的目的是在少数类数据较少的区域生成更多的点，而在少数类数据较多的区域生成较少的点。

数据增强通过创建数据的变体来创建新数据。数据增强适用于各种机器学习领域。

数据增强的最基本形式是对数据集的原始输入进行转换。例如，在计算机视觉中，图像增强（裁剪、模糊、镜像等）可用于创建更多图像供模型分类。同样，数据增强也可用于自然语言处理任务，如用同义词替换单词或创建语义等效的句子。

研究人员发现，数据增强能有效提高计算机视觉和 NLP 任务的模型准确性，因为它能以低成本增加类似数据。但是，在使用这些技术之前，必须注意一些注意事项。对于传统的几何增强技术，在进行转换之前应考虑转换的“安全性”。例如，旋转“9”的图像会使其看起来像“6”，从而改变其语义。⁷

SMOTE 扩展和深度学习是近年来上采样技术的重点。这些方法旨在提高模型性能，并解决上采样的一些缺点，如少数类分布中引入的偏差。

SMOTE 的一些发展包括少数预测概率 SMOTE (MPP-SMOTE)，它根据看到每个少数类样本的估计概率进行上采样。⁸为了将 SMOTE 扩展到多类分类，有人提出了多标签边界线过采样技术 (MLBOTE)。⁹两者的性能均优于所有现有的 SMOTE 变体，并保留了原始数据中的模式。

神经网络也被用于开发过采样技术。生成对抗网络引起了一些人的兴趣，并取得了可喜的成果，尽管训练时间使得这种技术比其他传统的上采样方法慢。¹⁰