什么是数据偏见？

AI 模型是在数据集上经过训练的程序，可以识别某些模式或做出某些决定。它们将不同的算法应用于相关的数据输入，以实现它们被编程的任务或输出。

在带有偏见（如历史或代表性偏见）的数据上训练 AI 模型，可能会导致输出结果带有 偏见或偏见，从而可能不公平地代表或歧视某些群体或个人。这些影响削弱了人们对 AI 和使用 AI 的组织的信任。它们还可能导致企业受到法律和监管处罚。

对于医疗保健、人力资源和金融等高风险行业来说，数据偏见是一个重要的考虑因素；这些行业越来越多地使用 AI 来帮助决策。组织可以通过了解不同类型的数据偏见及其发生方式，并通过在整个 AI 生命周期中识别、减少和管理这些偏见来减少数据偏见。

数据偏见会导致不公平、不准确和不可靠的 AI 系统，给个人、企业和社会带来严重后果。数据偏见的一些风险包括：

AI 系统内的数据偏见可能会使现有的社会偏见永久化存在，导致基于性别、年龄、种族或民族等特征的不公平待遇。边缘群体可能在数据中代表性不足或被排除在外，导致决策无法满足实际人群的需求。

例如，主要根据来自同质男性员工队伍的数据训练的招聘算法可能会偏向男性候选人，而不利于合格的女性申请人，从而使工作场所的性别不平等永久化。

根据有偏见的数据训练的 AI 模型可能会产生不正确的结果，从而导致组织做出错误的决策或提出无效的解决方案。例如，使用有偏见的预测性分析的企业可能会误解市场趋势，导致产品推出不力或资源分配不当。

数据偏见可能会使组织面临监管审查、法律违规和巨额罚款的风险。例如，根据欧盟 AI 法案，违反禁止的 AI 行为可能导致高达 35,000,000 欧元或全球年营业额 7％ 的罚款，以较高者为准。

违反当地和地区法律的组织也可能会受到声誉和客户信任的损害。假设有一家零售公司因使用人工智能驱动定价模型而被判犯有歧视罪，该模型向某些人口群体收取更高的价格。这种情况可能会导致公关危机，损害公司的品牌形象和客户忠诚度。

数据偏见会削弱对 AI 系统的信任。严重或反复出现有偏见或不准确的 AI 驱动型决策，可能会促使个人和社区质疑部署 AI 的组织的诚信。人们还可能对 AI 的可靠性和公平性越来越怀疑，导致更多的人不愿意接受这项技术。

使用有偏见的结果作为决策输入数据的 AI 系统会创建一个反馈循环，随着时间的推移，该循环也会加剧偏见。在这个循环中，算法不断学习并延续相同的偏见模式，导致结果越来越偏颇。

例如，负责银行贷款决策的 AI 模型的训练数据—可以反映出历史上的歧视现象，如红线—基于种族原因拒绝向人们提供金融服务。当 AI 系统使用这些数据处理申请时，可能会不公平地惩罚那些与过去几年红线政策受害者具有相同社会经济特征的个人。这些最近被拒绝的贷款数据可能会为未来的 AI 决策提供参考，从而导致 代表性不足群体的成员继续获得较少信贷机会的循环。

数据偏见、AI 偏见和算法偏见都可能导致扭曲的输出和潜在的有害结果，但这些术语之间存在微妙的区别。

AI 偏见，又称机器学习偏见，是与 AI 系统相关的各种偏见的总称。它指的是由于人为偏见导致原始训练数据或 AI 算法出现偏见，从而导致出现有偏结果。

算法偏见是 AI 偏见的一个子集，当机器学习算法中的系统性错误产生不公平或歧视性结果时，就会出现算法偏见。算法偏见不是由算法本身造成的，而是由开发人员收集和编写训练数据的方式造成的。

数据偏见也属于 AI 偏见的范畴，并且可能是算法偏见的原因之一。数据偏见具体指的是用于训练 AI 模型的数据偏颇或不具代表性。

了解和解决不同类型的偏见有助于创建准确、值得信赖的 AI 系统。常见的数据偏见类型包括

• 认知偏见
• 自动化偏见
• 确认偏见
• 排除偏见
• 历史 （时间）偏见
• 隐性偏见
• 测量偏见
• 报告偏见
• 选择偏见
• 抽样偏见

人们在处理信息和做出判断时，不可避免地会受到自身经验和偏好的影响。因此，人们可能会通过选择数据或数据加权的方式，在 AI 系统中加入这些偏见。认知偏见可能导致系统性错误，例如偏爱从美国人那里收集的数据集，而不是从全球各地的人群中取样。

当用户过度依赖自动化技术，导致不加批判地接受其输出结果时，就会出现自动化偏见，这可能会延续和扩大现有的数据偏见。例如，在医疗保健领域，医生可能会在很大程度上依赖 AI 诊断工具为患者提出治疗方案。如果不根据自己的临床经验验证工具的结果，医生就有可能误诊病人，因为工具的决定可能来自有偏见的数据。

当有选择地纳入数据以确认先前存在的信念或假设时，就会出现确认偏见。例如，当执法部门将数据收集重点放在历史上犯罪率较高的街区时，预测警务中就会出现确认偏见。由于选择性地纳入了支持该地区现有假设的数据，这导致了对这些社区的过度治安管理。

当重要数据被排除在数据集之外时，就会出现排除偏见。在经济预测中，系统性地排除低收入地区的数据会导致数据集不能准确代表人口，从而导致经济预测向富裕地区倾斜。

历史偏见，也称为时间偏见，是指数据反映了数据收集期间存在的历史不平等或偏见，而不是当前的情况。这类数据偏见的例子包括根据历史就业数据训练的 AI 招聘系统。在这些数据集中，有色人种在高级职位中的代表性可能不足，而该模型可能会使不平等现象长期存在。

当人们基于个人体验而不是更笼统的数据做出的假设被引入 ML 构建或测试时，就会出现隐性偏见。例如，受过评估求职者培训的 AI 系统可能会优先考虑使用男性特质语言的简历，这反映了开发者的潜意识偏见，尽管性别不是模型中的明确因素。

如果各组数据的准确性或质量不同，或者关键研究变量的测量或分类不准确，就会出现测量偏见。例如，以高 GPA 为主要录取因素的大学录取模式，并没有考虑到某些学校可能比其他学校更容易取得较高的成绩。在某所学校，GPA 较低但课程难度较大的学生可能比在其他学校，GPA 较高但课程难度较小的学生更有能力胜任。由于该模型强调 GPA，因此在决策过程中可能不会考虑这种可能性。

当数据集中的事件或结果的频率不能代表实际频率时，就会出现报告偏见。当人类参与数据选择时，往往会出现这种偏见，因为人们更倾向于记录那些看似重要或令人难忘的证据。

例如，对情感分析模型进行训练，以预测大型电子商务网站上的产品是被给予正面评价还是负面评价。训练数据集中类似产品的大多数评论都反映了极端意见，因为如果人们对评论的反应不强烈，他们就不太可能留下评论，从而使模型预测的准确性降低。

当用于培训的数据集不够有代表性、不够大或太不完整而无法充分培训系统时，就会出现选择偏见。例如，利用日间驾驶数据训练自动驾驶汽车并不能代表车辆在现实世界中可能遇到的全部驾驶场景。

抽样偏见是一种选择偏见，当以某种方式收集样本数据时，某些信息比其他信息更有可能被包含，且没有适当的随机化，就会出现这种偏见。例如，如果一个旨在预测心脏病风险的医疗 AI 系统完全根据中年男性患者的数据进行训练，它可能会提供不准确的预测。该系统尤其会影响女性和其他年龄层的人。

减少 AI 中的偏见首先要从人工智能治理开始。人工智能治理是指有助于确保 AI 工具和系统安全和道德的指导方针。负责任的 AI 实践强调透明度、问责制和道德考量，可以指导各组织驾驭减轻偏见的复杂性。

为减少数据偏见，各组织应实施强有力的战略和做法，以便在整个数据收集和分析过程中识别、减少和管理偏见，例如：

• 代表性数据收集
  
• 审计和评估
• 透明度
• 偏见检测工具
• 包容性团队
• 合成数据

数据源的广泛代表性有助于减少偏见。数据收集过程应涵盖广泛的人口统计、背景和条件，并充分体现这些因素。例如，如果为面部识别工具收集的数据主要包括白人图像，该模型可能无法准确识别或区分黑人面孔。

偏见审计使各组织能够定期评估其数据和算法是否存在潜在偏见，审查结果并检查数据来源，以发现不同人口群体之间的不公平待遇指标。对不同人口群体的持续绩效监测有助于发现和解决结果差异问题，有助于确保及时发现和消除任何存在的偏见。

记录数据收集方法以及算法如何做出决策可以提高透明度，特别是在如何识别和解决潜在偏见方面。开放数据政策可以促进外部评论和批评，促进收集和数据分析中的问责制，而这对于培养针对 AI 系统的信任至关重要。

使用算法公平性工具和框架有助于检测和减少机器学习模型中的偏见。AI Fairness 360 是 IBM 开发的开源工具包，它提供检测数据集和机器学习模型中偏见的各种指标，以及减少偏见和促进公平的算法。实施统计方法来评估不同人口群体预测的公平性可以进一步提高客观性。

培养数据科学和分析团队的多样性，可以引入各种视角，降低偏见风险。多元化的团队更有可能识别和解决数据集和算法中潜在的偏见，因为他们能借鉴更广泛的经验和观点。例如，由来自不同种族、性别和社会经济背景的成员组成的团队可以更好地识别数据可能误导或忽略某些人群的领域。

合成数据是通过计算机模拟或算法创建的人为生成的数据，用于取代从现实世界事件中收集的数据点。当数据不容易获得时，数据科学家通常会发现合成数据是有益的替代方案，因为它可以提供更多的数据隐私保护。合成数据允许有意创建平衡的数据集，包括代表性不足的群体和情景，从而帮助确保更公平的模型结果，从而减少偏见。