Métrica de avaliação de usuários

A métrica de usuários calcula o número de usuários que enviam solicitações de pontuação para suas implantações de modelo.

Detalhes da métrica

Os usuários são uma métrica de avaliação da integridade do modelo que pode ajudá-lo a entender a eficiência com que o ativo processa as transações.

Escopo

A métrica de usuários avalia os ativos de IA generativa e os modelos de aprendizado de máquina.

Tarefas de IA generativa :
- Resumo de textos
- Classificação de texto
- Geração de conteúdo
- Extração de entidade
- Resposta à pergunta
- Geração Aumentada de Recuperação (RAG)
Tipo de problema de aprendizado de máquina :
- Classificação binária
- Classificação de multiclasse
- Regressão
Idiomas suportados : Inglês

Processo de avaliação

Para calcular o número de usuários, o user_id das solicitações de pontuação é usado para identificar os usuários que enviam as solicitações de pontuação que o seu modelo recebe.

Nas implantações do watsonx.ai Runtime, o valor user_id é detectado automaticamente quando você configura as avaliações.

Para implementações externas e personalizadas, é necessário especificar o valor user_id ao enviar solicitações de pontuação para calcular o número de usuários, conforme mostrado no exemplo a seguir do SDK Python :

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord    
        client.data_sets.store_records(
            data_set_id=payload_data_set_id, 
            request_body=[
                PayloadRecord(
                    scoring_id=<uuid>,
                    request=openscale_input,
                    response=openscale_output,
                    response_time=<response_time>,
                    user_id=<user_id>). --> value to be supplied by user 
            ]
        )