Cálculo da equidade

Como o viés é computado

O algoritmo do monitor de imparcialidade calcula a parcialidade de hora em hora usando os últimos registros N presentes na tabela de registro de carga útil e o valor de N é especificado quando você configura o monitor de imparcialidade. O algoritmo aplica um método chamado perturbação para avaliar diferenças nos resultados esperados nos dados.

A perturbação muda os valores do recurso do grupo de referência para o grupo monitorado, ou vice-versa. Os dados perturbados são, então, enviados para o modelo para avaliar seu comportamento. O algoritmo olha para os últimos N registros na tabela de carga útil, e o comportamento do modelo sobre os dados perturbados, para decidir se os resultados do modelo indicam a presença de viés.

Um modelo é tendencia se a porcentagem de resultados favoráveis para o grupo monitorado for menor do que a porcentagem de resultados favoráveis para o grupo de referência, por um valor de limite você especifica ao configurar o monitor de justiça.

Observe que os valores de equidade podem ser mais de 100%. Esse cálculo significa que o grupo monitorado recebeu mais resultados favoráveis do que o grupo de referência. Além disso, se mais nenhuma nova solicitação de pontuação for enviada, então o valor de justiça permanecerá constante.

Dados equilibrados e igualdade perfeita

Para conjuntos de dados balanceados, aplicam-se os seguintes conceitos:

• Para determinar o valor de igualdade perfeito, as transações do grupo de referência são sintetizadas mudando o valor de recurso monitorado de cada transação do grupo monitorado para todos os valores do grupo de referência. Essas novas transações sintetizadas são incluídas no conjunto de transações do grupo de referência e avaliadas pelo modelo.

Por exemplo, se o recurso monitorado for SEX e o grupo monitorado for FEMALE, todas as transações FEMALE são duplicadas como MALE transações. Outros valores de recursos permanecem inalterados. Essas novas transações sintetizadas do MALE são adicionadas ao conjunto de transações do grupo de referência original do MALE.

• A porcentagem dos resultados favoráveis é determinada a partir do novo grupo de referência. Essa porcentagem representa a imparcialidade perfeita para o grupo monitorado.
• As transações do grupo monitorado também são sintetizadas, mudando o valor do recurso de referência de cada transação do grupo de referência para o valor do grupo monitorado. Essas novas transações sintetizadas são incluídas no conjunto de transações do grupo monitorado e avaliadas pelo modelo.

Se o recurso monitorado for SEX e o grupo monitorado for FEMALE, todas as transações do MALE serão duplicadas como transações do FEMALE. Outros valores de recursos permanecem inalterados. Essas novas transações sintetizadas do FEMALE são adicionadas ao conjunto de transações do grupo monitorado original do FEMALE.

Perfect equality =   Percentage of favorable outcomes for all reference transactions,
                     including the synthesized transactions from the monitored group

Perfect equality for `SEX` =  Percentage of favorable outcomes for `MALE` transactions,
                                 including the synthesized transactions that were initially `FEMALE` but changed to `MALE`

Convertendo o tipo de dados de uma coluna de predição

Para o monitoramento de imparcialidade, a coluna de predição permite apenas um valor numérico inteiro, mesmo que o rótulo de predição seja categórico. A conversão do tipo de dados da coluna de predição é possível.

Por exemplo, os dados de treinamento podem ter etiquetas de classe como "Empréstimo Negado", "Empréstimo Concedido". O valor da previsão retornado pelo ponto final de pontuação do IBM watsonx.ai Runtime tem valores como "0.0", "1.0". O terminal de pontuação também possui uma coluna opcional que contém a representação de texto de predição. Por exemplo, se prediction=1.0, a coluna predictionLabel pode ter um valor de “Empréstimo Concedido”. Se tal coluna estiver disponível, ao configurar o resultado favorável e desfavorável para o modelo, especifique os valores de sequência “Empréstimo Concedido” e “Empréstimo Negado”. Se tal coluna não estiver disponível, será necessário especificar os valores de número inteiro e duplos de 1,0, 0,0 para as classes favoráveis e desfavoráveis.

IBM watsonx.ai Runtime tem um conceito de esquema de saída que define o esquema da saída do ponto final de pontuação do IBM watsonx.ai Runtime e a função para as diferentes colunas. As funções são usadas para identificar qual coluna contém o valor de predição, qual coluna contém a probabilidade de predição, e o valor do rótulo de classe, etc. O esquema de saída é configurado automaticamente para modelos que são criados utilizando-se construtor de modelos. Ele também pode ser definido usando o cliente IBM watsonx.ai Runtime Python. Os usuários podem usar o esquema de saída para definir uma coluna que contém a representação de sequência da predição. Configure o modeling_role para a coluna como 'decoded-target'. A documentação do cliente IBM watsonx.ai Runtime Python está disponível em: https://ibm.github.io/watsonx-ai-python-sdk/core_api.html#repository Procure "OUTPUT_DATA_SCHEMA" para entender o esquema de saída. A chamada da API a ser usada é a chamada store_model que aceita o OUTPUT_DATA_SCHEMA como um parâmetro.

Interpretando uma pontuação de justiça que é maior que 100 por cento

Dependendo de sua configuração de imparcialidade, sua pontuação de imparcialidade poderá exceder 100 por cento. Isso significa que seu grupo monitorado está obtendo resultados relativamente mais “justos” em comparação com o grupo de referência. Tecnicamente, significa que o modelo é injusto na direção contrária.

Saiba Mais

Configurando o monitor de Justiça para propensão indireta

Revisão das percepções do modelo