Métrica de avaliação de desvio de metadados de entrada
A métrica de desvio de metadados de entrada mede a alteração na distribuição dos metadados de texto de entrada do LLM.
Detalhes da métrica
O desvio de metadados de entrada é uma métrica de avaliação de desvio v2 que pode ajudar a medir as alterações em seus dados ao longo do tempo para garantir resultados consistentes para o seu modelo.
Os seguintes tipos de metadados de texto de entrada do LLM são medidos com o desvio de metadados de entrada:
Contagem de caracteres : Número total de caracteres no texto inserido Contagem de palavras : Número total de palavras no texto inserido Contagem de tokens : Número total de tokens no texto inserido Contagem de frases : Número total de frases no texto inserido Comprimento médio das palavras: Comprimento médio das palavras no texto inserido Comprimento total das palavras : Comprimento total das palavras no texto inserido Comprimento médio das frases : Comprimento médio das frases no texto inserido
Escopo
O desvio de metadados de entrada avalia apenas os ativos de IA generativa.
- Tipos de ativos de IA : Modelos de prompts
- Tarefas de IA generativa :
- Resumo de textos
- Classificação de texto
- Geração de conteúdo
- Extração de entidade
- Resposta à pergunta
- Idiomas suportados : Inglês
Pontuações e valores
A pontuação de desvio de metadados de entrada indica a alteração na distribuição dos metadados de texto de entrada do LLM.
- Faixa de valores : 0.0-1.0
- Melhor pontuação possível : 0.0
- Proporções :
- Em 0: Nenhuma alteração é detectada.
- Acima de 0: É detectada uma mudança crescente.
Processo de avaliação
Watsonx.governance calcula o desvio de metadados de entrada medindo a alteração na distribuição das colunas de metadados. A coluna de contagem de tokens de entrada, se presente no payload, também é usada para calcular o desvio de metadados de entrada. Você também pode optar por especificar quaisquer metacampos ao adicionar registros à tabela de carga útil. Esses metacampos também são usados para calcular o desvio de metadados de entrada.
Fazer os cálculos
A fórmula de logaritmo binário a seguir é usada para identificar colunas de metadados de entrada numérica discreta:
Se o distinct_values_count for menor que o logaritmo binário do total_count, o recurso será identificado como discreto.
A seguinte fórmula de distância de Jensen Shannon é usada para calcular o desvio de metadados de entrada para colunas discretas de metadados de entrada:
A Distância de Jensen Shannon é a forma normalizada da Divergência de Kullback-Leibler (KL) que mede o quanto uma distribuição de probabilidade difere da segunda distribuição de probabilidade. A distância de Jensen Shannon é uma pontuação simétrica e sempre tem um valor finito.
é a Divergência KL.
As fórmulas de distância de variação total e coeficiente de sobreposição são usadas para calcular o desvio dos metadados de entrada para colunas de metadados de entrada contínuas.
A distância de variação total mede a diferença máxima entre as probabilidades que duas distribuições de probabilidade, linha de base (B) e produção (P), atribuem à mesma transação, conforme mostrado na fórmula a seguir:
Se as duas distribuições forem iguais, a distância de variação total entre elas será 0.
A fórmula a seguir é usada para calcular a distância de variação total:
𝑥 é uma série de amostras equidistantes que abrangem o domínio de
e que vão do mínimo combinado dos dados de linha de base e de produção ao máximo combinado dos dados de linha de base e de produção.
é a diferença entre duas amostras 𝑥 consecutivas.
é o valor da função de densidade para dados de produção em uma amostra de 𝑥.
é o valor da função de densidade para dados de linha de base para uma amostra de 𝑥.
O denominador 
representa a área total sob os gráficos da função de densidade para os dados de produção e de linha de base. Essas somas são uma aproximação das integrações no espaço do domínio e ambos os termos devem ser 1 e o total deve ser 2.
O coeficiente de sobreposição é calculado medindo-se a área total da interseção entre duas distribuições de probabilidade. Para medir a dissimilaridade entre as distribuições, a interseção ou a área de sobreposição é subtraída de 1 para calcular a quantidade de desvio. A fórmula a seguir é usada para calcular o coeficiente de sobreposição:
𝑥 é uma série de amostras equidistantes que abrangem o domínio de
e que vão do mínimo combinado dos dados de linha de base e de produção ao máximo combinado dos dados de linha de base e de produção.- é a diferença entre duas amostras 𝑥 consecutivas.
- é o valor da função de densidade para dados de produção em uma amostra de 𝑥.
- é o valor da função de densidade para dados de linha de base para uma amostra de 𝑥.