Métrica de avaliação de desvio de metadados de saída
A métrica de desvio de metadados de saída mede a alteração na distribuição dos metadados de texto de saída do LLM.
Detalhes da métrica
O desvio de metadados de saída é uma métrica de avaliação de desvio v2 que pode ajudar a medir as alterações em seus dados ao longo do tempo para garantir resultados consistentes para seu modelo.
Os seguintes tipos de metadados de texto de saída do LLM são medidos com o desvio de metadados de saída:
Contagem de caracteres : Número total de caracteres no texto de saída Contagem de palavras : Número total de palavras no texto de saída Contagem de tokens : Número total de tokens no texto de saída Contagem de frases : Número total de frases no texto de saída Comprimento médio das palavras: Comprimento médio das palavras no texto de saída Comprimento total das palavras: Comprimento total das palavras no texto de saída Comprimento médio das frases: Comprimento médio das frases no texto de saída
Escopo
O desvio de metadados de saída avalia apenas os ativos de IA generativa.
- Tipos de ativos de IA : Modelos de prompts
- Tarefas de IA generativa :
- Resumo de textos
- Classificação de texto
- Geração de conteúdo
- Resposta à pergunta
- Idiomas suportados : Inglês
Pontuações e valores
A pontuação de desvio de metadados de saída indica a alteração na distribuição dos metadados de texto de saída do LLM.
- Faixa de valores : 0.0-1.0
- Melhor pontuação possível : 0.0
- Proporções :
- Em 0: Nenhuma alteração é detectada.
- Acima de 0: É detectada uma mudança crescente.
Processo de avaliação
Watsonx.governance calcula o desvio de metadados de saída medindo a alteração na distribuição das colunas de metadados. A coluna de contagem de tokens de saída, se presente na carga útil, também é usada para calcular o desvio de metadados de saída. Você também pode optar por especificar quaisquer metacampos ao adicionar registros à tabela de carga útil. Esses metacampos também são usados para calcular o desvio de metadados de saída.
Fazer os cálculos
A fórmula de logaritmo binário a seguir é usada para identificar colunas de metadados de saída numérica discreta:
If the `distinct_values_count` is less than the binary logarithm of the `total_count`, the feature is identified as discrete.
For discrete output metadata columns, watsonx.governance uses the [Jensen Shannon distance](#jensen-shannon-distance) formula to calculate output metadata drift.
For continuous output metadata columns, watsonx.governance uses the [total variation distance](#total-variation-distance) and [overlap coefficient](#overlap-coefficient) formulas to calculate output metadata drift:
A seguinte fórmula de distância de Jensen Shannon é usada para calcular o desvio de metadados de saída para colunas discretas de metadados de saída:
A Distância de Jensen Shannon é a forma normalizada da Divergência de Kullback-Leibler (KL) que mede o quanto uma distribuição de probabilidade difere da segunda distribuição de probabilidade. A distância de Jensen Shannon é uma pontuação simétrica e sempre tem um valor finito.
é a Divergência KL.
As fórmulas de distância de variação total e coeficiente de sobreposição são usadas para calcular o desvio dos metadados de saída para colunas de metadados de saída contínuas.
A distância de variação total mede a diferença máxima entre as probabilidades que duas distribuições de probabilidade, linha de base (B) e produção (P), atribuem à mesma transação, conforme mostrado na fórmula a seguir:
Se as duas distribuições forem iguais, a distância de variação total entre elas será 0.
A fórmula a seguir é usada para calcular a distância de variação total:
𝑥 é uma série de amostras equidistantes que abrangem o domínio de
e que vão do mínimo combinado dos dados de linha de base e de produção ao máximo combinado dos dados de linha de base e de produção.
é a diferença entre duas amostras 𝑥 consecutivas.
é o valor da função de densidade para dados de produção em uma amostra de 𝑥.
é o valor da função de densidade para dados de linha de base para uma amostra de 𝑥.
O denominador 
representa a área total sob os gráficos da função de densidade para os dados de produção e de linha de base. Essas somas são uma aproximação das integrações no espaço do domínio e ambos os termos devem ser 1 e o total deve ser 2.
O coeficiente de sobreposição é calculado medindo-se a área total da interseção entre duas distribuições de probabilidade. Para medir a dissimilaridade entre as distribuições, a interseção ou a área de sobreposição é subtraída de 1 para calcular a quantidade de desvio. A fórmula a seguir é usada para calcular o coeficiente de sobreposição:
𝑥 é uma série de amostras equidistantes que abrangem o domínio de
e que vão do mínimo combinado dos dados de linha de base e de produção ao máximo combinado dos dados de linha de base e de produção.- é a diferença entre duas amostras 𝑥 consecutivas.
- é o valor da função de densidade para dados de produção em uma amostra de 𝑥.
- é o valor da função de densidade para dados de linha de base para uma amostra de 𝑥.