Personalizando e aprimorando seu algoritmo de correspondência no IBM Master Data Management
Ajuste e personalize o algoritmo de correspondência para controlar como o IBM Master Data Management combina registros para criar entidades de dados mestre.
- Permissões necessárias
- Para configurar uma instância de dados mestre, você deve ser membro do grupo DataEngineer de usuários do serviço IBMMaster Data Management.
Existem quatro etapas principais na configuração e no ajuste do algoritmo de correspondência:
Selecionando atributos correspondentes. Ao selecionar os atributos que serão comparados durante o processo de correspondência, você pode especificar quais pontos de dados são mais importantes para o algoritmo de correspondência. É importante escolher atributos que sejam diferenciais fortes. Identificadores únicos, como números de carteira de motorista, são excelentes atributos de correspondência. Você deve selecionar os atributos correspondentes antes de executar a correspondência pela primeira vez. Para mais detalhes, consulte “Seleção de atributos correspondentes ”.
Solicitar e concluir revisões em pares. Solicite uma revisão de pares para gerar recomendações de ajuste inteligentes que otimizam os pesos e os limites de correspondência do seu algoritmo de correspondência. Durante uma revisão de pares, um administrador de dados compara pares de registros para determinar se eles são compatíveis, talvez compatíveis ou incompatíveis. As respostas do administrador de dados informam as recomendações de ajuste resultantes. Para mais informações, consulte a seção “Solicitando revisões em pares ”.
Aplicando recomendações de ajuste. Após a conclusão de uma ou mais tarefas de revisão em pares, um engenheiro de dados pode gerar recomendações de ajuste, analisá-las juntamente com os resultados previstos e, então, decidir se as aplicará ou não. Para mais detalhes, consulte “Aplicação das recomendações de ajuste ”.
Definindo limites para autolink e revisão administrativa. Se você aceitar as recomendações de ajuste das revisões de pares, os limites de autolink e clerical serão determinados automaticamente, mas você sempre poderá substituir os limites manualmente, se necessário. Para mais detalhes, consulte a seção “Alteração manual dos limites de autolink e revisão administrativa ”.
Para obter informações sobre procedimentos avançados de ajuste de algoritmos que utilizam a API IBMMaster Data Management REST, consulte Ajuste avançado do algoritmo de correspondência.
Entendendo os limites do algoritmo de correspondência
Cada comparação entre registros realizada pelo site IBM Master Data Management gera uma pontuação de correspondência. Essa pontuação é um valor percentual entre 0 e 100, sendo que 0 indica uma incompatibilidade definitiva e 100, uma compatibilidade definitiva. Como parte da configuração do algoritmo de correspondência, um engenheiro de dados pode definir dois valores limite:
O limite do autolink define a pontuação mínima de correspondência para que o algoritmo tome uma decisão automática de correspondência entre quaisquer dois registros.
- Se o limite do autolink for baixo, você terá mais correspondências gerais, com provavelmente mais correspondências falsas positivas.
- Se o limite do autolink for alto, você terá menos correspondências gerais e mais entidades únicas (compostas por apenas um único registro de membro), com provavelmente mais falsos negativos sem correspondência.
O limite de revisão administrativa define a pontuação mínima necessária para uma correspondência potencial. Pontuações abaixo do limite de revisão administrativa são consideradas incompatíveis. Se configurado, o sistema encaminha as pontuações que se situam entre o limite de revisão manual e o limite de vinculação automática para o fluxo de trabalho de correspondências potenciais, a fim de que o responsável pelos dados possa corrigi-las.
Preparando-se para ajustar o algoritmo correspondente
Se você ainda não executou a correspondência nos seus dados, é necessário selecionar os atributos de correspondência antes de executar a correspondência. Você pode mudar suas seleções mais tarde se necessário.
Você só poderá alterar a sensibilidade do limite do autolink ou solicitar revisões de pares depois de ter executado a correspondência pelo menos uma vez. Essa restrição assegura que você tenha alguma base de comparação para mudar o limite da sensibilidade padrão. Por exemplo, se for observado que há muitos falsos positivos correspondentes nos dados, será possível aumentar a sensibilidade. Se houver muitos registros de singleton, será possível diminuir a sensibilidade.
Dica: Antes de alterar as configurações do algoritmo de correspondência, considere criar um novo instantâneo de configuração para salvar as configurações atuais. Ter um instantâneo facilitará reverter para a configuração anterior mais tarde, caso você não esteja satisfeito com os resultados das suas alterações. Para obter informações sobre como criar instantâneos, consulte “Como salvar e carregar configurações de dados mestre usando instantâneos ”.
Selecionando atributos correspondentes
Para selecionar os atributos que o algoritmo de IBMMaster Data Management correspondência utiliza:
No menu de navegação Dados mestre, clique em Tipos de dados.
Clique em “Tipos de entidade ”, selecione o tipo de entidade cujo algoritmo de correspondência você deseja ajustar e clique no ícone “Editar ”.Vá para a guia Configurações de correspondência e selecione Seleção de atributos na barra lateral para selecionar os atributos a serem usados na correspondência de dados. Na primeira vez que você abrir esta guia, IBM Master Data Management gera automaticamente sugestões de atributos correspondentes a partir dos seus tipos de dados.
Revise a lista dos atributos de correspondência e seus campos de componentes. O algoritmo de correspondência utiliza esses atributos e campos para comparar registros e criar entidades de dados mestre. Para incluir ou remover atributos da lista, clique em Editar atributos e, em seguida, selecione ou limpe atributos e seus campos de componentes conforme necessário.
Ao selecionar atributos correspondentes, use o indicador de força da correspondência para ver uma estimativa de como suas alterações afetam o algoritmo de correspondência.
Se você adicionou atributos personalizados às definições do tipo de dados, eles não serão selecionados para consideração na correspondência por padrão. Se você deseja usar um tipo de atributo customizado na correspondência, selecione-o e, em seguida, especifique quais de seus campos devem ser considerados. Se você não especificar nenhum campo, o algoritmo de correspondência não poderá usar o atributo.
Para tipos de atributos não customizados (predefinidos), se você não especificar quais campos devem ser considerados, o algoritmo de correspondência usará um conjunto de campos padrão.
Quando estiver satisfeito com os atributos de correspondência selecionados, clique em Salvar.
Gere novamente suas entidades correspondidas com base em suas configurações atualizadas. Clique no ícone
de correspondência na barra de ações.
O processo de correspondência leva um tempo para ser concluído. Ele é executado em segundo plano para que seja possível continuar trabalhando. Você será notificado quando estiver concluído e, em seguida, poderá revisar os detalhes dos resultados na guia Resultados da correspondência.
Solicitando revisões em pares para treinar o algoritmo de correspondência
Use revisões em pares para ajustar e treinar o algoritmo de correspondência. Os engenheiros de dados podem solicitar que revisões em dupla sejam realizadas por um gestor de dados, gerar recomendações de ajuste com base nessas revisões e, em seguida, decidir se aceitam ou não as recomendações.
Durante uma tarefa de revisão de pares, um gestor de dados analisa pares de registros para determinar se eles correspondem. A cada nova avaliação de pares, IBM Master Data Management obtém mais dados para suas recomendações de ajuste de algoritmos. Quanto mais pares forem analisados, melhores serão as recomendações de ajuste.
Cada organização tem diferentes níveis de tolerância de risco para correspondências falsas. As avaliações em dupla podem ajudar a determinar as configurações de emparelhamento mais adequadas.
Além dos resultados da revisão em pares, você também pode optar por incluir medidas concretas tomadas pelos seus gestores de dados para que sejam levadas em consideração quando IBM Master Data Management gerar as configurações recomendadas para o seu algoritmo.
Para solicitar uma revisão de pares:
- No menu de navegação Dados mestre, clique em Tipos de dados.
- Clique em “Tipos de entidade ”, selecione o tipo de entidade cujo algoritmo de correspondência você deseja ajustar e clique no ícone “Editar ”.
Selecione Ajuste do algoritmo na barra lateral para acessar as ferramentas de ajuste do algoritmo. Role a página até a seção “Análise de pares ”.
Na seção “Análise de pares ”, clique em “Solicitar revisão de pares ”.
Escolha o número de pares de registros que devem ser revisados como parte desta tarefa. A análise de mais pares resultará em recomendações de ajuste melhores. IBM Master Data Management Não é possível exibir as taxas de falsos positivos e falsos negativos até que você conclua algumas revisões em pares e execute a correspondência.
Observação: o número real de pares gerados pode não corresponder exatamente ao número definido nesta etapa. O número de pares de registros gerados depende da quantidade de dados disponíveis no sistema e de outros fatores.Selecione as fontes de registros das quais IBM Master Data Management irá extrair pares de registros de amostra para a análise. O atributo "fonte do registro" está incluído em todos os registros dos seus dados mestre.
Clique em Enviar solicitação.
IBM Master Data Management começa a gerar os pares de registros e a criar a tarefa de revisão dos pares. A seção “Análise de pares” da página mantém você informado sobre o status da revisão ( Pendente, Em andamento ou Concluída ) e também acompanha o andamento da tarefa de revisão atual.
Para obter informações sobre como concluir uma tarefa de revisão em pares como usuário administrador de dados, consulte Concluindo revisões em pares.
Geração e aplicação de recomendações de ajuste
Você pode usar os resultados das tarefas de revisão em pares para gerar recomendações de ajuste. Opcionalmente, você também pode optar por incluir ações concretas que os usuários responsáveis pela gestão de dados tenham realizado para manter os dados mestres em seu sistema, tais como ligações manuais, desvinculações manuais e tarefas de correção de possíveis correspondências.
Para gerenciar os resultados da revisão em pares e gerar recomendações de ajuste:
- No menu de navegação Dados mestre, clique em Tipos de dados.
- Clique em “Tipos de entidade ”, selecione o tipo de entidade cujo algoritmo de correspondência você deseja ajustar e clique no ícone “Editar ”.
Selecione Ajuste do algoritmo na barra lateral para acessar as ferramentas de ajuste do algoritmo. Role a página até a seção “Análise de pares ”.
Na seção “Análise de pares”, verifique o status das tarefas de revisão de pares pendentes, em andamento ou concluídas no sistema.
Selecione uma ou mais tarefas de revisão de pares na tabela para visualizar informações como o número total de pares revisados e o número de pares considerados correspondentes, não correspondentes ou de correspondência incerta.
Dica: Para excluir uma tarefa de revisão em dupla que não seja mais necessária ou que não esteja mais válida, selecione-a na tabela e clique em Excluir.Gerar uma nova recomendação de afinação:
- Na tabela, selecione uma ou mais tarefas de revisão em pares para IBM Master Data Management a serem consideradas durante a geração de suas recomendações de ajuste de algoritmos.
- Se você deseja que as recomendações levem em conta decisões de gestão no mundo real, selecione a opção “Considerar decisões de gestão ao gerar recomendações ”.
- Clique em “Iniciar ajuste ”. IBM Master Data Management leva algum tempo para gerar suas recomendações.
Quando as recomendações estiverem prontas, elas serão exibidas em um painel ao lado das configurações atuais. Você pode comparar os resultados previstos das recomendações com os resultados das configurações atuais.
Para obter mais previsões e estatísticas sobre os resultados de correspondência para as configurações atuais e recomendadas, role a página para baixo para visualizar a matriz de confusão. Use a matriz de confusão para visualizar e avaliar a precisão dos resultados previstos pelo seu algoritmo de correspondência em relação às seguintes métricas de desempenho:
- Positivos verdadeiros
- Falsos negativos
- Sensibilidade
- Falsos positivos
- Negativos verdadeiros
- Especificidade
- Precisão
- Precisão negativa
- Precisão
Consulte o glossário exibido na tela para obter as definições de cada métrica na matriz de confusão.
Para aplicar as recomendações de ajuste geradas:
Na seção “Configurações de limiar ativo” da página “Ajuste do algoritmo”, verifique as configurações atuais do algoritmo de correspondência, bem como as estimativas das taxas atuais de falsos positivos e falsos negativos.
O sistema não pode exibir as taxas de falsos positivos e falsos negativos até que você conclua um número suficiente de revisões de pares e execute a correspondência.
Na seção “Configurações recomendadas”, verifique as atualizações recomendadas para as configurações do algoritmo de correspondência. A recomendação representa o limite com as menores taxas de falsos positivos e falsos negativos, com base nos pares analisados e nas ações dos moderadores.
Para usar as configurações recomendadas, clique em Aplicar configurações. A aplicação da recomendação alterará a sensibilidade do autolink e os pesos de correspondência associados a cada atributo.
Opcional: para salvar uma cópia das configurações recomendadas, clique em “Exportar configurações recomendadas ”.
Gere novamente suas entidades correspondidas com base em suas configurações atualizadas. Vá até a guia “Resultados da partida ” e clique no ícone
de execução da correspondência na barra de ações.
O processo de correspondência leva um tempo para ser concluído. Ele é executado em segundo plano para que seja possível continuar trabalhando. Você será notificado quando estiver concluído e, em seguida, poderá revisar os detalhes dos resultados na guia Resultados da correspondência.
Alterar manualmente os limites de autolink e revisão administrativa
Se você não usar revisões em pares para gerar recomendações, encontrar o autolink correto e a sensibilidade de revisão administrativa adequada às suas necessidades pode exigir algumas tentativas e erros. Dependendo dos requisitos específicos de sua organização, poderá ser necessário repetir o processo de ajuste da sensibilidade e corresponder novamente seus dados mais de uma vez.
O sistema calcula o limite total do autolink multiplicando a sensibilidade do autolink (0-100) pela pontuação máxima possível de correspondência, que depende dos atributos de correspondência selecionados e de seus pesos máximos.
Para alterar manualmente os limites de autoligação e revisão manual do algoritmo de correspondência:
- No menu de navegação Dados mestre, clique em Tipos de dados.
- Clique em “Tipos de entidade ”, selecione o tipo de entidade cujo algoritmo de correspondência você deseja ajustar e clique no ícone “Editar ”.
Selecione Ajuste do algoritmo na barra lateral para acessar as ferramentas de ajuste do algoritmo.
Verifique as configurações atuais na seção “Limites ativos”, bem como as estimativas das taxas atuais de falsos positivos e falsos negativos.
O sistema não pode exibir as taxas de falsos positivos e falsos negativos até que você conclua um número suficiente de revisões de pares e execute a correspondência.
Use o controle deslizante ou digite valores numéricos para atualizar seus limites de autolink e revisão administrativa e, em seguida, clique em Aplicar limite. Você será solicitado a executar a correspondência para aplicar as alterações do algoritmo.
Opcionalmente, você pode desativar o intervalo de revisão administrativa usando o botão de alternância “Revisão administrativa ativada ”. Se você desativar o intervalo de revisão manual, o algoritmo poderá apenas tomar decisões de correspondência ou não correspondência e não poderá colocar em fila tarefas de possíveis correspondências para correção pelo responsável pelos dados.
Gere novamente suas entidades correspondidas com base em suas configurações atualizadas. Vá até a guia “Resultados da partida ” e clique no ícone
de execução da correspondência na barra de ações.
O processo de correspondência leva um tempo para ser concluído. Ele é executado em segundo plano para que seja possível continuar trabalhando. Você será notificado quando o processo estiver concluído e, em seguida, poderá consultar os detalhes dos resultados na guia “Resultados da correspondência ”.