Identificando relacionamentos

Para identificar relacionamentos chave entre ativos de dados ou para identificar dados de sobreposição ou redundantes em colunas, execute uma análise de relacionamento.

Relacionamentos são conexões entre ativos de dados que contêm informações relacionadas. Você cria esses relacionamentos indicando que os valores de chave em um ativo de dados correspondem aos valores de chaves em um ou mais outros ativos de dados Identificar essas conexões ajuda a descobrir como seus dados se encaixam.

Uma análise de relacionamento de chave identifica pares de chaves primárias e estrangeiras com um relacionamento de um para muitos entre dois ativos de dados em um banco de dados relacional. Uma chave primária é uma coluna ou um conjunto de colunas que identifica exclusivamente cada registro em um ativo de dados. Uma chave estrangeira é uma coluna ou um conjunto de colunas em um ativo de dados que faz referência às colunas de chave primária em outro ativo de dados.. É possível usar as informações de relacionamento para determinar como os ativos de dados podem ser unidos.

Uma sobreposição é quando o conteúdo está disponível de mais de uma origem. A análise de sobreposição procura estruturas idênticas ou semelhantes em ativos de dados comparando valores de coluna em um ativo de dados ou entre ativos de dados. Assim, a análise de sobreposição ajuda a determinar se os dados são exclusivos ou semelhantes e quanto os dados podem se sobrepor.

Os resultados das análises de relacionamento são cumulativos Cada vez que você executa uma análise, a análise inclui novos relacionamentos ou atualizam relacionamentos que foram identificados em execuções de análise anteriores

Pré-requisitos

O serviço DataStage deve ser implementado para executar análises de relacionamento.

Todas as operações que são executadas como parte de um aprimoramento de metadados requerem credenciais para autorização segura Geralmente, sua chave API do usuário é usada para executar essas operações de longa execução sem interrupção. Se as credenciais não estiverem disponíveis quando você tentar executar uma análise de relacionamento de chave ou uma análise de sobreposição, será solicitado que você crie uma chave de API Essa chave de API é então salva como suas credenciais de tarefa. Consulte Gerenciando a chave API do usuário.

Se qualquer uma das conexões com as origens de dados estiver bloqueada, será solicitado que você insira suas credenciais pessoais Esta etapa única desbloqueia permanentemente as conexões para você.

É possível executar análises de relacionamentos profundos sem criar perfis de ativos primeiro A análise de relacionamento de chave profunda ou de sobreposição não depende de informações do perfil, como a distribuição de frequência de valores de coluna Em vez disso, os dados da coluna são analisados diretamente

Executando uma análise de relacionamento de chave

Execute uma análise de relacionamento de chaves para identificar relacionamentos de chaves de coluna única ou relacionamentos de chaves compostas A análise determina os potenciais candidatos de relacionamento e sugere os melhores relacionamentos entre os ativos de dados com base na confiança para cada relacionamento potencial. Para calcular a confiança do relacionamento, as informações a seguir são consideradas:

  • O número de valores da chave primária presente na chave estrangeira
  • O número de valores órfãos na chave estrangeira
  • A similaridade entre os nomes das colunas entre a chave primária e a chave estrangeira
  • A posição das colunas nos ativos de dados.

Os relacionamentos podem ser detectados entre colunas de diferentes tipos de dados da seguinte forma:

  • Tipos de dados BIGINT e SMALLINT
  • Tipos de dados BIGINT e DECIMAL
  • Tipos de dados BIGINT e CHAR
  • Tipos de dados BIGINT e VARCHAR
  • Tipos de dados DECIMAL e VARCHAR
  • Tipos de dados CHAR e VARCHAR
  • Tipos de dados VARCHAR e LONG VARCHAR

Os pares com uma confiança que excede o limite de sugestão definido são listados como relacionamentos candidatos para um recurso. Você também pode ativar a atribuição automática de relacionamentos. Para obter mais informações sobre os limites, consulte Relacionamentos principais .

Este tipo de análise de relacionamento verifica colunas únicas nos ativos de dados selecionados para semelhança do nome da coluna e dos dados com perfil. Se você não executar uma análise detalhada, os limites definidos nas configurações de enriquecimento padrão serão aplicados.

Se você selecionar para executar uma análise detalhada, os dados da coluna real serão verificados para identificar as chaves primárias e estrangeiras. Também é possível optar por identificar relacionamentos de chave composta ou executar a análise em uma amostra de dados em vez do ativo de dados inteiro. Para uma análise aprofundada, os limites definidos nas configurações de enriquecimento não entram em vigor. Em vez disso, você pode definir limites para cada execução de análise individual.

A análise detalhada leva mais tempo para ser concluída do que a análise de relacionamento de chave padrão Se você também escolher identificar chaves compostas, o tempo de processamento aumentará significativamente. A análise pode ser executada por dias ou mais. Apenas colunas adjacentes são verificadas onde adjacente significa diretamente próximo umas das outras se o tipo de dado das colunas permitir a análise de chave ou próximo umas das outras quando as colunas entre elas forem ignoradas porque seus tipos de dados não permitem a análise de chave

Para executar uma análise de relacionamento chave para um ou mais ativos:

  1. Abra o ativo de enriquecimento de metadados.

  2. Na guia Ativos , selecione ativos conforme necessário.

  3. Selecione Enriquecer> Identificar relacionamentos na barra de ferramentas O tipo de análise padrão é Chave..

    Você executa esse tipo de análise de relacionamento geralmente em várias colunas nos ativos de dados selecionados Por padrão, o comprimento da chave composta é configurado como 2

    A análise de relacionamento de chave profunda verifica os dados da coluna real e, portanto, é um processo demorado Você pode desejar executar a análise em uma amostra de dados em vez do ativo de dados inteiro.

    As configurações de enriquecimento padrão para relacionamentos de chave não entram em vigor. Diferentes configurações padrão para sugestões e atribuição automática se aplicam à análise aprofundada do relacionamento:

    • O limite de sugestão padrão é 25%.
    • A atribuição automática de relacionamentos está habilitada. O limite de atribuição padrão é 90%.

    Você pode substituir essas configurações padrão para cada execução de análise individual.

    Para executar uma análise de relacionamento chave superficial em colunas únicas em seus ativos de dados, é possível usar a opção de enriquecimento Configurar relacionamentos .

  4. Clique em Executar .

Designando, removendo ou removendo relacionamentos de chaves

Após a conclusão da análise de relacionamento chave, é possível visualizar e gerenciar relacionamentos aqui:

  • Na guia Chaves do painel de detalhes do ativo, você verá um ícone de mais se os relacionamentos de candidatos foram detectadas Clique no ícone de mais, verifique os relacionamentos sugeridos para esse ativo e designe os mais adequados. Também é possível remover a designação ou remover relacionamentos para esse ativo

  • O link Visualizar relacionamentos de chaves na área de enriquecimento está ativo. Clique no link para ver uma lista de todos os relacionamentos de chaves detectada na guia Chaves Verificar e designar relacionamentos sugeridos ou remover designação de relacionamentos. Também é possível remover relacionamentos sugeridos e designados.

    Para ver apenas relacionamentos com uma chave primária designada, filtre a lista por Chave primária.

    Na tabela de relacionamentos de chaves, também é possível abrir uma visualização gráfica dos relacionamentos de cada chave para verificar e gerenciar os relacionamentos No menu overflow para uma chave, selecione Abrir diagramaou selecione Visualizar detalhes e, em seguida, clique em Visualizar diagrama no painel lateral.

Se você remover a designação de um relacionamento, seu status será reconfigurado para Sugerido Se você remover um relacionamento, ele será totalmente removido Um relacionamento removido pode ser sugerido novamente quando você executar novamente a análise

Executando uma análise de sobreposição

Execute uma análise de sobreposição para identificar dados de sobreposição ou potencialmente redundantes nas colunas de um ou mais ativos de dados

Para executar uma análise de relacionamento chave para um ou mais ativos:

  1. Abra o ativo de enriquecimento de metadados.

  2. Na guia Ativos , selecione ativos conforme necessário.

  3. Selecione Enriquecer> Identificar relacionamentos na barra de ferramentas

  4. Selecione Sobreposição como o tipo de análise Opcionalmente, é possível ajustar a configuração de amostragem Por padrão, todos os registros de um ativo de dados são analisados, o que pode consumir muito tempo. Talvez você queira escolher uma porcentagem mais baixa de dados a serem verificados Ao reduzir o tamanho da amostra, os registros incluídos na amostra são selecionados aleatoriamente.

    As configurações de enriquecimento padrão não entram em vigor. Diferentes configurações padrão para sugestões e atribuição automática se aplicam à análise de sobreposição:

    • O limite de sugestão padrão é 25%.
    • A atribuição automática de relacionamentos está habilitada. O limite de atribuição padrão é 90%.

    Você pode substituir essas configurações padrão para cada execução de análise individual.

Verificando resultados da análise de sobreposição

Visualize os resultados da análise para determinar como os dados da coluna estão relacionados

Para verificar e gerenciar relacionamentos de sobreposição:

  1. Clique no link Visualizar relacionamentos de chaves na área de enriquecimento. Na guia Sobreposição , é possível ver as seguintes informações para cada relacionamento detectado:

    • O ativo base e o ativo emparelhado
    • O status do relacionamento
    • O número máximo de valores distintos
    • O número total e a porcentagem de valores de colunas comuns

  2. Expanda uma entrada para ver mais informações:

    • Os nomes da coluna base e da coluna emparelhada que mostram dados de sobreposição

    • O tipo de sobreposição para a base e a coluna emparelhada:

      Igual
      A coluna base e emparelhada têm os mesmos valores As porcentagens para ambos são 100% e 100%.
      Subconjunto
      Todos os valores nesta coluna estão na outra coluna, mas a outra coluna contém mais valores. A porcentagem da primeira coluna é 100%, mas a porcentagem da outra coluna é menor que 100%.
      Superconjunto
      Todos os valores na outra coluna estão nessa coluna, mas nem todos os valores nessa coluna estão na outra coluna A porcentagem da outra coluna é 100%, mas a porcentagem da primeira coluna é menor que 100%.
      Sobreposição
      Alguns dos valores nas colunas têm alguma sobreposição, mas nem todos os valores em qualquer coluna são comuns. As percentagens de ambos são inferiores a 100%.

    • O número total de valores distintos na coluna base e o número e a porcentagem de valores que são comuns à coluna emparelhada

    • O número total de valores distintos na coluna pareada e o número e a porcentagem de valores que são comuns à coluna base

  3. Designar relacionamentos conforme necessário.

Acessando detalhes da execução da tarefa

Embora seja possível acessar os detalhes da tarefa para enriquecimento de metadados gerais do painel lateral, deve-se acessar a guia Tarefas do projeto para ver a tarefa de análise de relacionamento. A tarefa é do tipo Análise de chave para ativos de enriquecimento de metadados. O nome da tarefa segue o padrão metadata_enriquecment_name (Relationship Detection).

Saiba Mais