Métrica de avaliação da contagem de tokens de entrada

A métrica de contagem de tokens de entrada calcula a contagem total, média, mínima, máxima e mediana de tokens de entrada em várias solicitações de pontuação durante as avaliações.

Detalhes da métrica

A contagem de tokens de entrada é uma métrica de contagem de tokens para avaliações do monitor de integridade do modelo que calcula o número de tokens que são processados em solicitações de pontuação.

Escopo

A métrica de contagem de tokens de entrada avalia apenas os ativos de IA generativa.

Tarefas de IA generativa :
- Resumo de textos
- Classificação de texto
- Geração de conteúdo
- Extração de entidade
- Resposta à pergunta
- Geração Aumentada de Recuperação (RAG)
Idiomas suportados : Inglês

Processo de avaliação

Para calcular a métrica de contagem de tokens de entrada, você deve especificar o campo input_token_count ao enviar solicitações de pontuação com o SDK Python para calcular as métricas de contagem de tokens de entrada e saída, conforme mostrado no exemplo a seguir:

request = {
            "fields": [
                "comment"
            ],
            "values": [
                [
                    "Customer service was friendly and helpful."
                ]
            ]
        }
response = {
            "fields": [
                "generated_text",
                "generated_token_count",
                "input_token_count",
                "stop_reason",
                "scoring_id",
                "response_time"
            ],
            "values": [
                [
                    "1",
                    2,
                    73,
                    "eos_token",
                    "MRM_7610fb52-b11d-4e20-b1fe-f2b971cae4af-50",
                    3558
                ],
                [
                    "0",
                    3,
                    62,
                    "eos_token",
                    "MRM_7610fb52-b11d-4e20-b1fe-f2b971cae4af-51",
                    3778
                ]
            ]
        }

from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord    
        client.data_sets.store_records(
            data_set_id=payload_data_set_id, 
            request_body=[
                PayloadRecord(
                    scoring_id=<uuid>,
                    request=request,
                    response=response,
                    response_time=<response_time>,
                    user_id=<user_id>). --> value to be supplied by user 
            ]
        )