Avaliações do monitor de funcionamento do modelo

Você pode configurar avaliações do monitor de integridade do modelo para ajudá-lo a entender o comportamento e o desempenho do modelo. É possível usar métricas de funcionamento de modelo para determinar com que eficiência sua implementação de modelo processa suas transações.

Quando as avaliações de integridade do modelo são ativadas, um conjunto de dados de integridade do modelo é criado no data mart. O conjunto de dados de integridade do modelo armazena detalhes sobre suas solicitações de pontuação que são usadas para calcular as métricas de integridade do modelo.

Para configurar as avaliações do monitor de funcionamento do modelo, é possível configurar valores de limite para cada métrica, conforme mostrado no exemplo a seguir:

As avaliações de integridade do modelo não são suportadas para implantações de pré-produção.

Métricas de desempenho

Use o monitoramento de desempenho para saber a velocidade dos registros de dados processados por sua implementação. Você ativa o monitoramento de desempenho ao selecionar a implementação a ser controlada e monitorada.

As métricas de desempenho são calculadas com base nas informações a seguir:

• dados de carga útil de pontuação

Para fins de acompanhamento adequado, registre também todas as solicitações de pontuação. O registro de dados da carga útil é automatizado para os mecanismos de tempo de execução do IBM watsonx.ai. Para outros mecanismos de aprendizado de máquina, os dados de carga útil podem ser fornecidos usando o cliente Python ou a API de REST. O monitoramento de desempenho não cria nenhuma solicitação de pontuação adicional na implementação monitorada.

É possível revisar o valor de métricas de desempenho ao longo do tempo no painel Insights: