什么是人机回圈？

近年来，机器学习 (ML) 取得了惊人的进步，但即便是最先进的深度学习模型，在处理与训练数据有偏差的模糊、偏见或边缘情况时，也可能会遇到困难。人类的反馈既可以帮助改进模型，又能在工智能系统表现不佳时充当一道安全防线。HITL 将人类的洞察分引入到 AI 系统与人类之间持续互动和反馈的“循环”中。

HITL 旨在让 AI 系统实现自动化的效率，不牺牲人类监督所带来的精确度、细微差别和道德推理。

人机回圈的机器学习允许人类对 AI 工作流提供监督和输入。以下是人机回圈的主要优势：

• 准确性与可靠性

• 合乎道德的决策与问责制

• 透明化和可解释性

工作流自动化旨在尽量减少人类管理工作流所花费的时间和精力。但是，自动化工作流可能会在许多方面出错。有时，模型会遇到一些训练数据中并未涵盖的边缘情况，导致其无法处理。HITL 方法允许人类介入修正错误的输入，从而使模型有机会随着时间的推移不断改进。人类能够凭借其专业知识来识别异常行为，然后将其整合到模型中，提升其理解能力。

在高风险应用程序中，人类可设置警报、进行人工审核并建立故障安全机制，以帮助确保自主决策均得到验证。他们们可以捕捉有偏见或误导性的输出，从而防止对下游产生负面影响。持续的人类反馈有助于 AI 模型适应不断变化的环境。

偏见是机器学习中持续存在的问题，尽管众所周知，人类智能有时也会带有相当大的偏见，但额外的人工干预，有助于识别并减轻数据和算法本身所固有中的偏见，从而促进 AI 输出的公平性。

当人类参与批准或覆盖 AI 输出时，责任制就不再完全由模型或其开发人员承担。

有些决策需要道德推理，这可能超出了模型的能力范围。例如，算法招聘平台的推荐结果，可能会对某些历史上被边缘化的群体造成不利影响。虽然过去几年中，ML 模型在将细微差别纳入推理的能力方面取得了长足进步，但有时，人工监督仍然是最佳方案。在面临复杂的两难处境时，HITL 允许更了解规范、文化背景和道德灰色地带的人类暂停或覆盖自动输出。

人机回圈方法能够记录决策被推翻的原因，并提供支持透明度和外部审查的审计线索。该文档能够为有力的法律辩护、合规审计和内部问责审查提供支持。

一些 AI 法规强制要求加入一定级别的 HITL。例如，《欧盟 AI 法案》第 14 条规定：“高风险 AI系统的设计和开发，应确保自然人在使用期间通过适当的人机交互界面等工具对其进行有效监督。”

该法规还指出，这种监督应通过人工操作、干预、覆盖和实时监控等实现方式，防范或最大限度地降低健康、安全或基本权利面临的风险。参与其中的人员必须具备相应的“能力”，了解系统的功能和局限性，接受过正确使用系统的训练，并有权在必要时进行干预。这种监督机制旨在鼓励系统规避伤害并确保其正常运行。

通过在错误造成危害之前及时发现，HITL 充当了安全网的作用，尤其是在医疗保健或金融等高风险或受监管的行业。HITL 方法有助于减轻 AI 输出背后的原因不明确的“黑匣”效应。将人类监督和控制嵌入到开发和部署流程中，有助于从业者识别和降低技术、道德、法律还是操作等方面的风险。

HITL 是一种提升机器学习系统性能的好方法，但它并非没有缺点。

• 可扩展性与成本

• 人为错误与不一致

• 隐私性和安全性

人工注释可能很慢而且昂贵，特别是在处理大型数据集或迭代反馈循环时。随着数据量或系统复杂性的增加，对人工的依赖可能会成为瓶颈。例如，为计算机视觉模型高精度地标注数百万张图像，可能需要耗费数千小时的人工。在医学或法律等某些领域，甚至需要更昂贵的领域专家参与其中。在医学影像扫描中，标记错误的肿瘤可能会导致严重的错误。

尽管人类能够提供更高的准确性，但在某些方面，他们可能比机器更容易产生有偏倚和出错。人类可能会对数据或任务有不同的解读，尤其是在那些没有明确标准答案的领域。作为人类，注释者在标记数据时可能会感到疲倦、分心或困惑。此外，他们对主观问题的看法各不相同，这也可能导致标记结果不一致。

让人类参与内部审查流程可能会引发隐私方面的问题，即使是善意的注释者也可能会无意中泄露或滥用他们在反馈期间访问的敏感数据。

在训练之前、期间和之后引入有针对性的高质量人工反馈，可以创建一个加速学习的反馈循环，从而使机器学习模型更加稳健、更具可解释性，更符合实际需求。以下是几种将人机交互嵌入 AI 工作流的方法。

• 监督学习

• RLHF

• 主动学习

监督学习应用程序需要数据科学家正确标记数据。该数据注释的结果是产生数据集，然后用于培训机器学习。这是一个以人工输入为首要任务的工作流程。

例如，在自然语言处理环境中，监督式方法可能需要人类将文本标记为“垃圾邮件”或“非垃圾邮件”，以教会机器成功地做出这种区分。在计算机视觉用例中，监督式方法可能需要人类将一系列图像标记为“汽车”或“公共汽车”或“摩托车”，以便模型可以执行物体检测任务。

再举一个例子，基于人类反馈的强化学习 (RLHF) 使用的“奖励模型”通过直接人类反馈进行训练，然后通过 强化学习来优化 AI 智能体的性能。RLHF 尤其适用于那些目标复杂、定义不明或难以具体说明的任务。

在主动学习中，模型可以识别不确定或低置信度的预测，并且仅在需要时请求人工输入。这种方式将标记工作集中在最困难或最模棱两可的示例上，从而实现更快、更准确的学习。