什么是算法偏见？

人工智能 (AI) 系统使用算法来发现数据中的模式和洞察分析，或预测一组给定输入变量的输出值。有偏见的算法会以导致有害决策或行动的方式影响这些洞察分析和输出，促进或延续歧视和不平等，并削弱对 AI 和使用 AI 的机构的信任。这些影响可能会给企业带来法律和财务风险。例如，根据《欧盟 AI 法案》，不遵守其禁止的 AI 行为可能意味着处以高达 35,000,000 欧元或全球年营业额 7％ 的罚款，以较高者为准。

当人工智能系统在医疗保健、执法和人力资源等领域支持改变生活的决策时，算法偏见尤其令人担忧。偏见可以通过多种方式进入算法，例如偏斜或有限的训练输入数据、主观的编程决策或结果解释。

减少算法偏见首先要在整个 AI 生命周期中应用 AI 治理原则，包括透明度和可解释性。

算法偏见不是由算法本身引起的，而是由数据科学团队收集和编码训练数据的方式导致的。具体原因包括：

• 训练数据中的偏见
• 算法设计中的偏见
• 代理数据中的偏见
• 评估中的偏见

有缺陷的数据是指不具代表性、缺乏信息、有历史偏见或其他“糟糕”的数据。它导致算法产生不公平的结果，并放大数据中的任何偏见。使用有偏见的结果作为决策输入数据的 AI 系统会创建一个反馈循环，随着时间的推移，该循环也会加剧偏见。在这个循环中，算法不断学习并延续相同的偏见模式，导致结果越来越偏颇。

在训练阶段，如果数据分类或评估不正确，也会产生偏见。有时，算法可以从数据中“学习”相关性而不是因果关系，因为它们不具备理解差异的能力。当发生这种情况时，算法的输出可能会出现偏见，因为模型未能考虑数据中可能更重要的其他因素。

一个常被引用的相关性偏差的例子是一个假设模型，该模型确定了鲨鱼袭击增加与冰淇淋销量增加之间的因果关系。实际上，这两种情况都发生在夏季，并且仅具有相关关系。

算法设计也会带来偏见。编程错误，例如 AI 设计师在决策过程中对因素的权重不公平，可能在不知不觉中转移到系统中。加权通常是一种避免偏见的技术，因为它涉及调整数据以更好地反映实际人群。然而，它可能需要设计人员做出假设，这可能导致不准确并引入偏见。开发人员还可能根据自己有意识或无意识的偏见，在算法中植入主观规则。

AI 系统有时使用代理作为受保护属性的替代品，例如种族或性别。但是，代理可能会无意中产生偏见，因为它们可能与原本要替换的敏感属性存在错误或意外的关联。例如，如果算法使用邮政编码作为经济地位的代理，则在邮政编码与特定种族人口统计数据相关的某些群体中，它可能会不公平地处于不利地位。

如果对算法结果的解读是基于相关个人的成见，而不是客观的结果，就会出现评估偏见。即使算法是中立的、数据驱动的，个人或企业如何应用算法的输出结果也可能导致不公平的结果，这取决于他们如何理解输出结果。

如果算法偏见得不到解决，它就会加剧歧视和不平等，造成法律和声誉损害并削弱信任。

有偏见的算法决策加剧了边缘群体面临的现有社会差异，而这些人类偏见导致 AI 系统产生不公平且潜在有害的后果。虽然许多最常见的 AI 应用可能看起来风险较低（例如搜索引擎、聊天机器人和社交媒体网站），但 AI 的其他应用可能会影响改变生活的决策。在刑事司法、医疗保健和招聘等领域使用带有偏见的 AI 工具可能会产生灾难性结果。

例如，过去非裔美国人的边缘化反映在美国加利福尼亚州奥克兰的历史逮捕数据中。如果这些数据被用来训练当前的预测性警务算法 (PPA)，则 PA 做出的决定可能会反映并强化过去的这些种族偏见。

使用有偏见的 AI 系统的组织可能会面临法律后果和声誉损失，因为有偏见的建议可能会产生所谓的不同影响。这是一个法律术语，指的是看似中立的政策和做法可能对来自受保护阶层的个人产生不成比例的影响，例如那些容易受到基于种族、宗教、性别和其他特征的歧视的人。

受到带有偏见的 AI 决策不利影响的受保护群体可能会提起诉讼，从而可能导致重大的财务责任、长期声誉受损以及利益相关者的谴责。如果发现组织违反了任何适用的反歧视法律，还可能面临经济处罚。

AI 工具的有偏见的结果以多种方式削弱了人们对 AI 的信任。如果发现一个组织的 AI 系统存在偏见，它们可能会失去企业内利益相关者的信任，利益相关者会对算法决策过程不再有信心。这些利益相关者也可能不再考虑 AI 的优化价值，转而考虑其风险，并对整体技术失去信心。

算法偏见也会导致失去客户的信任。只需一次歧视案例就会毁掉品牌声誉，尤其是在新闻快速传播的时代。对边缘化群体来说，保持对 AI 的信任尤为重要，因为他们在现实世界中已遭受了偏见和歧视。

算法偏见可能发生在使用 AI 系统做出决策的任何场景或领域。以下是一些潜在的现实世界算法偏见示例：

• 刑事司法系统中的偏见
• 医疗保健中的偏见
• 招聘中的偏见
• 金融服务中的偏见
• 面部识别系统的偏见
• 定价偏向

美国法院使用“罪犯矫正替代性制裁分析管理系统”(COMPAS) 工具来评估被告的累犯风险。ProPublica 的一项研究显示，该工具算法可能对白人被告和黑人被告进行了不同的分类。例如，在风险评估中，黑人被告被错误分类为暴力累犯风险较高的可能性是白人被告的两倍。创建该工具的公司对这一分析提出异议，但没有披露得出风险评分的方法。¹

研究人员构建了自己的预测性警务算法，该算法基于哥伦比亚波哥大的受害者报告数据进行训练。当他们将该模型的预测与实际犯罪数据集进行比较时，发现了重大错误。例如，在报告量较高的地区，其预测的高犯罪率地点比实际情况多 20%。但这反映了一种社会偏见：黑人比白人更有可能被举报犯罪。²

在医疗保健领域，少数群体在数据中的代表性不足可能会扭曲预测性 AI 算法。例如，人们发现，计算机辅助诊断 (CAD) 系统对黑人患者的诊断准确率比白人患者低。

Amazon 在发现一款 AI 招聘工具系统性地歧视女性求职者后放弃了该工具。开发人员使用过去员工的简历来训练招聘算法，这些员工主要是男性。结果，该算法不公平地偏爱男性简历中的关键字和特征。³

金融服务中的偏见可能会对人们的生活产生严重后果，因为历史数据可能包含影响信誉、贷款审批等的人口统计学偏见。例如，加利福尼亚大学伯克利分校的一项研究表明，与白人借款人相比，AI 抵押贷款系统经常向少数族裔借款人就相同贷款收取更高的利率。⁴

学术研究人员在 AI 图像生成器 Midjourney 中发现了性别偏见。在分析超过 100 张生成的图像期间，他们还发现结果中存在种族、阶级和年龄偏见的实例。例如，当被要求创作从事专门职业的人的形象时，它显示了年轻人和老年人，但老年人总是男性，这强化了工作场所对妇女的性别偏见。⁵

麻省理工学院的研究发现，一些通用商用面部识别系统（例如用于匹配照片中的面部）无法识别深色皮肤的人。对于肤色较深的女性来说，认可度更低。与真实人口统计情况不符的培训数据 使结果出现偏见。⁶

在芝加哥的一项法律强制乘车公司公开其收费标准后，研究人员发现，Uber 和 Lyft 的定价算法对非白人人口较多的社区收取了更多的费用。⁷

缓解人工智能系统的偏见始于人工智能治理，指的是确保人工智能工具和系统安全和合乎道德的护栏。它 建立了指导 AI 研究、开发和应用，以帮助确保安全、公平和尊重人权的框架、规则和标准。

组织可以考虑以下 AI 治理原则，以避免在整个系统生命周期中潜在的 AI 偏见：

• 多样化和具有代表性的数据
• 检测和减少偏见
• 透明度 和可解释性
• 全纳设计与发展

机器学习的好坏完全取决于训练它的数据。为了让 AI 更好地反映其所服务的社区的多元化，就必须在模型中表示更广泛的人类数据。输入机器学习模型和深度学习系统的数据必须全面、平衡，代表所有人群，反映社会的实际人口统计数据。

没有一个计算机系统是经过完全“训练”或“完成”的。持续的监控和测试（通过影响评估、算法审计和因果关系测试等举措）可以帮助在潜在偏见造成问题之前发现并纠正它们。“人机回路”等流程要求在决策做出人工审核建议，以增加一层质量保障。

AI 系统可能是“黑匣子”，这使得很难理解它们的结果。透明的 AI 系统清楚地记录和解释了底层算法的方法以及训练者。人们越了解 AI 系统如何训练和调整以及如何做出决策，个人利益相关者和整个社会就越能信任 AI 的准确性和公平性。

包容性 AI 应始于一支由 AI 程序员、开发人员、数据科学家、ML 工程师等组成的多元化跨学科团队，他们在种族、经济、教育水平、性别、职位描述和其他人口指标方面各不相同。设计和开发中的多样性将带来不同的观点，有助于识别和减少可能被忽视的偏见。