输出漂移评估指标
输出漂移指标用于测量模型置信度分布的变化。
度量详细信息
输出漂移是一种漂移 v2 评估指标，用于评估数据分布的变化。
作用域
输出漂移指标用于评估机器学习模型和生成式人工智能资产。
人工智能资产的类型 ：
- 机器学习模型
- 提示模板
分数和数值
输出漂移指标分数表示模型输出与您训练模型时相比的变化量。
- 最佳成绩 ： 0.0
- 比率：
- 0：模型输出无变化
- 超过0：模型输出变化增加
评估流程
对于回归模型，输出漂移是通过测量训练数据和有效载荷数据预测分布的变化来计算的。 对于分类模型，通过测量训练数据和有效载荷数据中类概率分布的变化，计算每个类概率的输出漂移。 对于多分类模型，通过测量加权平均值，将输出漂移汇总为每个类别的概率。
测算
以下公式用于计算输出漂移指标：
总变化距离用于测量两个概率分布（基线（B）和产量（P））对同一交易分配的概率的最大差异，如下式所示：
如果两个分布相等，则它们之间的总变化距离为0。
总变化距离的计算公式如下：
𝑥 是一系列等距样本，涵盖
域，从基准数据与生产数据的最低值之和到基准数据与生产数据的最高值之和。
是两个连续的𝑥样本之间的差值。
是样本点𝑥处生产数据密度函数的值。
是样本点𝑥的基线数据密度函数的值。
分母表示生产和基准数据密度函数图下的总面积。 这些总和是域空间积分的近似值，这两个项应该都是1，总和应该是2。
重叠系数是通过测量两个概率分布之间的交集总面积来计算的。 为了测量分布之间的差异，从1中减去交集或重叠区域，以计算漂移量。 重叠系数的计算公式如下：
𝑥 是一系列等距样本，涵盖
域，从基准数据与生产数据的最低值之和到基准数据与生产数据的最高值之和。- 是两个连续的𝑥样本之间的差值。
- 是样本点𝑥处生产数据的密度函数的值。
- 是样本点𝑥的基线数据密度函数的值。