输入元数据漂移评估指标
输入元数据漂移度量指标用于测量LLM输入文本元数据分布的变化。
度量详细信息
输入元数据漂移是一种漂移 v2 评估指标，可帮助测量数据随时间推移而发生的变化，以确保模型结果的一致性。
以下类型的 LLM 输入文本元数据通过输入元数据漂移进行测量：
字符计数 ：输入文本中的总字符数词汇计数：输入文本中的总词汇数标记计数：输入文本中的总标记数句子计数：输入文本中的总句子数平均词长：输入文本中单词的平均长度总词长：输入文本中所有单词的总长度平均句长：输入文本中句子的平均长度
作用域
输入元数据漂移仅评估生成式人工智能资产。
- 人工智能资产的类型 ：即时模板
- 生成人工智能任务 ：
- 文本摘要
- 文本分类
- 内容生成
- 实体抽取
- 问题回答
- 支持的语言 ：英语
分数和数值
输入元数据漂移分数表示LLM输入文本元数据分布的变化。
- 价值范围 ： 0.0-1.0
- 最佳成绩 ： 0.0
- 比率：
- 0：未检测到变化。
- 超过0：检测到变化正在增加。
评估流程
Watsonx.governance 通过测量元数据列分布的变化来计算输入元数据漂移。 如果有效载荷中存在输入令牌计数列，则该列也用于计算输入元数据漂移。 您也可以选择在向有效载荷表添加记录时指定任何元字段。 这些元字段还用于计算输入元数据漂移。
测算
以下二进制对数公式用于识别离散数字输入元数据列：
如果 distinct_values_count 小于 total_count 的二进制对数，则该特征被识别为离散的。
以下詹森·香农距离公式用于计算离散输入元数据列的输入元数据漂移：
詹森·香农距离是库勒巴克-李伯勒（KL）散度的标准化形式，用于衡量一个概率分布与另一个概率分布之间的差异。 詹森·香农距离是一个对称的分数，且总是具有有限值。
是 KL 分歧。
总变异距离和重叠系数公式用于计算连续输入元数据列的输入元数据漂移。
总变化距离用于测量两个概率分布（基线（B）和产量（P））对同一交易分配的概率的最大差异，如下式所示：
如果两个分布相等，则它们之间的总变化距离为0。
总变化距离的计算公式如下：
𝑥是一系列等距样本，跨越
域，范围从基线数据和生产数据的最小值之和到基线数据和生产数据的最大值之和。
是连续两个 𝑥 样本之间的差值。
是 𝑥 样本处生产数据的密度函数值。
是基线数据在 𝑥 样本处的密度函数值。
的分母表示生产和基线数据密度函数图下的总面积。 这些总和是域空间积分的近似值，这两个项应该都是1，总和应该是2。
重叠系数是通过测量两个概率分布之间的交集总面积来计算的。 为了测量分布之间的差异，从1中减去交集或重叠区域，以计算漂移量。 重叠系数的计算公式如下：
𝑥是一系列等距样本，跨越
域，范围从基线数据和生产数据的最小值之和到基线数据和生产数据的最大值之和。- 是连续两个 𝑥 样本之间的差值。
- 是 𝑥 样本处生产数据的密度函数值。
- 是基线数据在 𝑥 样本处的密度函数值。