公平性评估的配置

您可以配置公平性评估，以确定您的模型是否会产生有偏差的结果。使用公平性评估来确定您的模型何时显示出更倾向于为一个群体而不是另一个群体提供有利的结果。

为机器学习模型配置公平性评估

您可以手动配置公平性评估，也可以运行定制 Notebook 以生成配置文件。您可以上载配置文件以指定评估的设置。

手动配置公平性评估时，可以指定期望表示有利结果的参考组 (值)。您还可以选择相应的模型属性 (功能部件) 以监视将与参考组进行比较的偏差 (例如，年龄或性别)。根据训练数据，您还可以指定最小和最大评估样本量。

选择有利和不利的结果

在配置公平性评价时，您必须指定有利和不利的结果。表示有利结果的值派生自训练数据中的 label 列。缺省情况下，predictedLabel 列设置为 prediction 列。上载训练数据时，必须使用 prediction 列的值作为字符串数据类型 (例如 0 或 1 ) 来指定有利值和不利值。

选择功能部件

您必须选择要评估的模型属性特征，以检测偏差。例如，您可以评估 Sex 或 Age 等特征的偏差。仅支持公平性数据类型为分类、数字（整数）、浮点值或双精度值的特征。

这些功能部件的值指定为引用组或受监视组。受监视组表示具有偏差结果风险最大的值。例如，对于 Sex 功能部件，可以将 Female 和 Non-binary 设置为受监视组。对于数字功能部件 (例如 Age) ，可以将 [18-25] 设置为受监视组。然后，将该功能部件的所有其他值视为参考组，例如 Sex=Male 或 Age=[26,100]。

设置公平阈值

您可以设置公平性阈值，以指定受监控组的有利结果百分比与参照组的有利结果百分比之间可接受的差异。例如，如果模型中某个组的有利结果百分比为 70% ，并且公平性阈值设置为 80% ，那么公平性监视器会检测模型中的偏差。

设置样本大小

样本量用于加快处理评估交易数量的速度。您必须设置最小样本量，以表示您要评估的最低交易数量。您还可以设置最大样本量，以表示要评估的最大事务数量。

间接偏差检验

如果您选择的字段不是训练特征（称为添加字段），则会通过在训练特征中查找相关值来识别间接偏差。例如，职业“学生”可能暗指年轻人，即使从模型训练中排除了“年龄”字段也是如此。有关配置公平性评估以考虑间接偏差的详细信息，请参阅为间接偏差配置公平性监控器。

缓解偏差

机器学习模型评估采用被动和主动去除法。被动去偏法能揭示偏见，而主动去偏法则通过针对当前应用实时调整模型，从而防止将这种偏见延续下去。有关解释模型中的结果和缓解偏差的详细信息，请参阅查看公平性评估的结果。

在 watsonx.governance 中配置公平性评估

评估提示模板时，您可以查看文本分类任务的公平性评估结果摘要。

选择有利和不利的结果

在配置公平性评价时，您必须指定有利和不利的结果。代表有利结果的值来自您提供的测试数据中的 label 列。缺省情况下，predictedLabel 列设置为 prediction 列。在上传训练数据时，必须使用 prediction 列的值作为字符串数据类型，如 0 或 1 来指定有利和不利值。

选择元字段

您必须选择元字段，才能让 watsonx.governance 识别在您提供的测试数据中未被指定为特征的字段。

设置公平阈值

要根据自己的设置配置公平性评估，可以为每个指标设置最小和最大样本量。最小或最大样本量表示要评估的模型事务的最小或最大数量。

您还可以为每个指标配置基线数据和设置阈值。阈值会在评估摘要页面上创建警报，当指标得分违反阈值时就会出现警报。您必须在 0 到 1 的范围内设置数值。指标得分必须低于阈值，以避免违规。

设置样本大小

Watsonx.governance使用样本量来了解如何处理评估期间的交易数量。您必须设置最小样本量，以指示您希望 watsonx.governance 评估的最低交易次数。您还可以设置最大样本量，以指示希望 watsonx.governance 评估的最大交易次数。