输出元数据漂移评估指标
输出元数据漂移度量指标用于测量LLM输出文本元数据分布的变化。
度量详细信息
输出元数据漂移是一种漂移 v2 评估指标，可帮助测量数据随时间推移而发生的变化，以确保模型结果的一致性。
以下类型的 LLM 输出文本元数据通过输出元数据漂移进行测量：
字符计数 ：输出文本中的总字符数词汇计数：输出文本中的总词汇数标记计数：输出文本中的总标记数句子计数：输出文本中的总句子数平均词长：输出文本中单词的平均长度总词长：输出文本中单词的总长度平均句长：输出文本中句子的平均长度
作用域
输出元数据漂移仅评估生成式人工智能资产。
- 人工智能资产的类型 ：即时模板
- 生成人工智能任务 ：
- 文本摘要
- 文本分类
- 内容生成
- 问题回答
- 支持的语言 ：英语
分数和数值
输出元数据漂移分数表示LLM输出文本元数据分布的变化。
- 价值范围 ： 0.0-1.0
- 最佳成绩 ： 0.0
- 比率：
- 0：未检测到变化。
- 超过0：检测到变化正在增加。
评估流程
Watsonx.governance 通过测量元数据列分布的变化来计算输出元数据漂移。 如果有效载荷中存在输出令牌计数列，则该列也用于计算输出元数据漂移。 您也可以选择在向有效载荷表添加记录时指定任何元字段。 这些元字段还用于计算输出元数据漂移。
测算
以下二进制对数公式用于识别离散数值输出元数据列：
If the `distinct_values_count` is less than the binary logarithm of the `total_count`, the feature is identified as discrete.
For discrete output metadata columns, watsonx.governance uses the [Jensen Shannon distance](#jensen-shannon-distance) formula to calculate output metadata drift.
For continuous output metadata columns, watsonx.governance uses the [total variation distance](#total-variation-distance) and [overlap coefficient](#overlap-coefficient) formulas to calculate output metadata drift:
以下詹森·香农距离公式用于计算离散输出元数据列的输出元数据漂移：
詹森·香农距离是库勒巴克-李伯勒（KL）散度的标准化形式，用于衡量一个概率分布与另一个概率分布之间的差异。 詹森·香农距离是一个对称的分数，且总是具有有限值。
是KL分歧。
总变异距离和重叠系数公式用于计算连续输出元数据列的输出元数据漂移。
总变化距离用于测量两个概率分布（基线（B）和产量（P））对同一交易分配的概率之间的最大差异，如下式所示：
如果两个分布相等，则它们之间的总变化距离为0。
总变化距离的计算公式如下：
𝑥 是一系列等距样本，涵盖
域，从基准数据与生产数据的最低值之和到基准数据与生产数据的最高值之和。
是两个连续的𝑥样本之间的差值。
是样本点𝑥处生产数据密度函数的值。
是样本点𝑥的基线数据密度函数的值。
分母表示生产和基准数据密度函数图下的总面积。 这些总和是域空间积分的近似值，这两个项应该都是1，总和应该是2。
重叠系数是通过测量两个概率分布之间的交集总面积来计算的。 为了测量分布之间的差异，从1中减去交集或重叠区域，以计算漂移量。 重叠系数的计算公式如下：
𝑥 是一系列等距样本，涵盖
域，从基准数据与生产数据的最低值之和到基准数据与生产数据的最高值之和。- 是两个连续的𝑥样本之间的差值。
- 是样本点𝑥处生产数据密度函数的值。
- 是样本点𝑥的基线数据密度函数的值。