不同的影响评估指标
不同影响指标将受监测群体中有利结果的百分比与参考群体中有利结果的百分比进行比较。
度量详细信息
差异影响是一种公平性评估指标,可以帮助确定您的资产是否会产生偏差结果。
作用域
不同的影响指标用于评估生成式人工智能资产和机器学习模型。
- 人工智能资产的类型 :
- 提示模板
- 机器学习模型
- 生成式人工智能任务 :文本分类
- 机器学习问题类型 :二元分类
分数和数值
不同的影响指标分数表明参照组是否比监测组获得了更有利的结果。
- 价值范围 : 0.0-1.0
- 最佳成绩 : 0.0
- 比率:
- 在0点:两组赔率相同
- 0以下:受监测组的结果有偏差
- 超过0:参考组的偏差结果
数值计算
以下公式用于计算不同影响:
num_positives 值表示组中取得积极结果的人数, num_instances 值表示组中总人数。 privileged=False 标签表示非特权群体, privileged=True 标签表示特权群体。 积极的结果被定义为有利结果,消极的结果被定义为不利结果。 特权组指定为参考组,无特权组指定为受监视组。
计算结果是一个百分比,该百分比表明弱势群体获得积极结果的比例与优势群体获得积极结果的比例相同。 例如,如果信用风险模型对80%的无特权申请者和100%的特权申请者做出“无风险”的预测,那么该模型对80%的申请者的影响截然不同。