Adicionar dados e mapeá-los aos seus tipos de dados

Cada ativo de dados deve ser mapeado para as definições de tipos de dados do IBM Master Data Management e publicado no banco de dados IBM Master Data Management antes de poder ser utilizado em funções de gerenciamento de dados mestre, como a correspondência.

Permissões necessárias
Para adicionar, mapear e publicar ativos de dados em uma instância de dados mestre, você deve ser membro do grupo de usuários DataEngineer do serviço Master Data Management do IBM.
Se você estiver trabalhando com um catálogo controlado, só poderá visualizar ou incluir ativos do catálogo dos quais você é o proprietário do ativo de dados.

IBM Master Data Management inclui um recurso avançado de mapeamento automático que elimina a necessidade de os engenheiros de dados mapearem manualmente cada coluna de dados para os tipos de dados definidos. O recurso de mapeamento automático detecta, analisa e categoriza cada coluna de dados para os tipos de objetos, atributos ou campos correspondentes nas definições de tipo de dados. Para poder executar o mapeamento automático, deve-se criar o perfil de seus dados. A definição de perfis analisa e classifica os dados para que o processo de mapeamento automático possa ser executado.

A definição de perfis e o mapeamento automático são suportados apenas para os tipos de registro de pessoa e organização. Para outros tipos de registros, mapeie manualmente as colunas para os tipos de dados.

Neste tópico:

Como adicionar dados de registro de um arquivo de dados flat

Para adicionar dados de registros ao IBM Master Data Management a partir de um arquivo de dados CSV ou TSV:

  1. No menu de navegação de dados mestre, clique no ícone Assets (Ativos ) ícone de ativos.

  2. Na barra de ação da página Ativos, clique em Adicionar ativo.

  3. No painel Ativos de dados, escolha se deseja adicionar um ativo de dados por upload, do projeto ou do catálogo. Para fazer upload de um arquivo de dados, escolha Carregar.

    Para obter informações sobre como adicionar um ativo de um projeto, consulte Adição de dados ou fontes por meio de seu projeto.

  4. No seu computador local, selecione um arquivo de dados simples no formato CSV ou TSV e arraste-o para o painel “Recursos de dados ”.

    Quando o arquivo termina de ser carregado, o ativo é aberto automaticamente para que você possa começar a mapear suas colunas de dados para os tipos de dados definidos em seu modelo de dados.

  5. Depois de carregar um ativo pela primeira vez, é necessário informar ao sistema que tipo de conteúdo ele contém, como um tipo de registro específico. É importante atribuir o tipo de conteúdo correto a cada recurso para que IBM Master Data Management possa identificar o tipo de dados mais adequado. Os ativos em sua lista de ativos que não têm seu tipo de conteúdo de ativo definido têm um status de aviso que diz Definir conteúdo do ativo. Não é possível mapear um ativo sem antes definir seu tipo de conteúdo.

    Para definir o tipo de conteúdo de um recurso:

    1. Selecione o ativo no painel da lista de ativos e clique em Definir conteúdo do ativo.
    2. Na caixa de diálogo que se abre, selecione o tipo de dados correto para este ativo. Se não for possível encontrar um tipo de dados apropriado na lista, talvez seja necessário personalizar suas definições de tipo de dados. Para obter mais informações, consulte Personalização dos tipos de dados.
    3. Opcionalmente, se o controle de acesso baseado em token estiver ativado para esta implantação do IBM Master Data Management, selecione um token para atribuir aos dados contidos neste ativo. Se você não conseguir encontrar um token adequado na lista, talvez seja necessário criar um novo token de acesso. Para obter mais informações, consulte Configurando o controle de acesso baseado em token.
    4. Clique em Salvar.

Próxima etapa: Mapear colunas de dados para seus tipos de dados

Incluindo dados ou origens por meio do seu projeto

Você pode adicionar ativos de dados, fontes ou conexões ao IBM Master Data Management por meio do seu projeto.

Você pode usar IBM Master Data Management como fonte de dados ou destino conectado. Para obter informações sobre como configurar e usar a conexão IBM Master Data Management, consulte IBM Master Data Management connection.

Todos os arquivos de dados que você deseja carregar no IBM Master Data Management devem ter uma extensão de arquivo de um tipo compatível, como .csv ou .tsv. Esse requisito inclui ativos que já estão no projeto. Se um nome de ativo em seu projeto não incluir uma extensão de arquivo compatível, ele aparecerá acinzentado quando você tentar adicioná-lo. Para editar o nome de um ativo em seu projeto, vá para a página Ativos, selecione o ativo e, em seguida, edite o nome no painel Sobre este ativo.

Assista a este vídeo para ver como criar uma conexão e incluir dados conectados em um projeto.

Este vídeo fornece um método visual para aprender os conceitos e tarefas nesta documentação.

  • Transcrição de vídeo
    Horário Transcrição
    00:00 Este vídeo mostra como configurar uma conexão com uma fonte de dados e adicionar dados conectados a um projeto.
    00:08 Se você tiver dados armazenados em uma origem de dados, é possível configurar uma conexão com essa origem de dados a partir de qualquer projeto.
    00:16 A partir daqui, é possível incluir elementos diferentes ao projeto.
    00:20 Neste caso, você deseja adicionar uma conexão.
    00:24 Você pode criar uma nova conexão com um serviço do IBM, como IBM Db2 e Cloud Object Storage, ou com um serviço de terceiros, como Amazon, Microsoft ou Apache.
    00:39 E é possível filtrar a lista com base em serviços compatíveis.
    00:45 Também é possível incluir uma conexão que foi criada no nível da plataforma, que pode ser usada em projetos e catálogos
    00:54 Ou é possível criar uma conexão com um dos serviços provisionados do IBM Cloud .
    00:59 Neste caso, selecione o serviço IBM Cloud fornecido para o Db2 Warehouse on Cloud.
    01:08 Se as credenciais não forem pré-preenchidas, será possível obter as credenciais para a instância na página de ativação do serviço IBM Cloud.
    01:17 Primeiro, teste a conexão e, em seguida, crie a conexão
    01:25 A nova conexão agora é exibida na lista de ativos de dados.
    01h30 Em seguida, inclua ativos de dados conectados a este projeto.
    01:37 Selecione a origem-neste caso, é a conexão do Db2 Warehouse on Cloud recém-criada.
    01:43 Em seguida, selecione o esquema e a tabela.
    01:50 É possível ver que isso incluirá uma referência aos dados dentro desta conexão e o incluirá no projeto de destino.
    01:58 Forneça um nome e uma descrição e clique em "Criar".
    02:06 Os dados agora são exibidos na lista de ativos de dados.
    02:09 Abra o conjunto de dados para obter uma visualização; e a partir daqui é possível mover diretamente para refinar os dados.
    02:17 Encontre mais vídeos na documentação do Cloud Pak for Data as a Service.

Para obter mais informações sobre como incluir dados diretamente em seu projeto, consulte Incluindo dados em um projeto.

Depois de adicionar dados, você deve definir o tipo de conteúdo do ativo:

  1. Selecione o ativo no painel da lista de ativos e clique em Definir conteúdo do ativo.
  2. Na caixa de diálogo que se abre, selecione o tipo de dados correto para esse ativo e clique em Salvar. Se não for possível encontrar um tipo de dados apropriado na lista, talvez seja necessário personalizar suas definições de tipo de dados. Para obter mais informações, consulte Personalização dos tipos de dados.

Próxima etapa: Mapear colunas de dados para seus tipos de dados

Mapeamento de colunas de dados para seus tipos de dados

Antes de publicar um ativo de dados para ser usado no IBM Master Data Management, é necessário mapeá-lo. Cada uma das colunas de um ativo deve (a) ser mapeada para um atributo ou campo correspondente em seus tipos de dados ou (b) ser excluída do mapeamento.

Para mapear um ativo de dados, há várias opções:

  • É possível mapear manualmente cada coluna
  • Você pode mapear cada coluna com a ajuda da criação de perfis e do mapeamento automático.
  • É possível aplicar um padrão de mapeamento.

Lembre-se: para usar os recursos de criação de perfis e mapeamento automático do IBM Master Data Management, sua implantação do IBM Cloud Pak for Data deve incluir o IBM watsonx.data intelligence.

Para obter detalhes sobre o mapeamento manual ou o uso do mapeamento automático, leia o procedimento a seguir. Para obter detalhes sobre a aplicação de um padrão de mapeamento, consulte Aplicando um padrão de mapeamento a um ativo de dados.

Para mapear um ativo de dados para seus tipos de dados:

  1. No menu de navegação de dados mestre, clique no ícone Ativos ícone de ativos.

  2. No painel da lista de ativos, selecione o ativo de dados que você deseja mapear no sistema. As colunas de dados do ativo serão carregadas no painel de mapeamento.

    Para ajudá-lo a encontrar o ativo que está procurando, você pode pesquisar pelo nome do ativo ou filtrar com base no número de colunas, tipo de registro, status de mapeamento, status de publicação ou padrões de mapeamento disponíveis. Clique no ícone ícone de filtro Filtro para aplicar um filtro.

    Os dados do ativo selecionado são exibidos no formato tabular com um número de linhas e colunas. Cada coluna representa um atributo que deve ser mapeado para um tipo de atributo correspondente nas definições de tipo de dados. Ao abrir uma origem ou ativo de dados pela primeira vez, cada coluna é marcada com uma tag Não mapeada.

    Dica: é possível mapear manualmente cada coluna que você escolher, mas você poderá acelerar enormemente o processo de mapeamento, aproveitando o recurso de mapeamento automático.
  3. Clique no ícone de informações ícone de informações para abrir o painel “Sobre este recurso ”. No painel, revise os detalhes de mapeamento e as estatísticas desse ativo. Em um relance, você pode ver quantas colunas de dados desse ativo foram mapeadas, se houver.

  4. Para mapear manualmente uma coluna, selecione-a e, em seguida, use o painel de alvos de mapeamento que se abre para pesquisar e selecionar o atributo ou campo apropriado em suas definições de tipo de dados. Clique em Mapear e salvar o modelo de dados.

    Se não houver um atributo ou campo apropriado nas definições de tipo de dados, você poderá criar um no painel Metas de mapeamento. Clique em New > Create attribute ou New > Create field para definir e fornecer os detalhes de um novo atributo ou campo.

    Se você optar por criar um atributo simples em vez de atribuir um tipo de atributo existente, o novo atributo simples será adicionado diretamente ao modelo de dados desse tipo de registro. Ele não é categorizado em Tipos de atributo.

  5. Para excluir uma coluna do mapeamento, clique na coluna para abrir o painel Metas de mapeamento e, em seguida, clique em Excluir coluna.

    Se você precisar excluir mais de uma coluna, clique no ícone “Excluir fazer upload de ativo para ícone do projeto colunas” ao lado da barra de pesquisa ou no painel “Destinos de mapeamento ”. Selecione as colunas que deseja excluir e clique em Salvar.

  6. Para ativar o mapeamento automático para essa origem ou ativo, primeiro deve-se traçar o perfil dos dados. Clique em Dados do perfil.

    A definição de perfis analisa e classifica os dados para que o processo de mapeamento automático possa ser executado. A criação de perfil pode levar algum tempo para ser concluída, por isso ela é executada em segundo plano para que seja possível continuar trabalhando. Você talvez deseje começar a revisar e mapear manualmente algumas colunas.

    O mapeamento automático nunca irá sobrescrever qualquer mapeamento manual que você tenha feito.

  7. Quando a criação de perfil for concluída, clique em Automatizar ativo. IBM Master Data Management analisa seus dados e mapeia automaticamente o maior número possível de colunas para as definições de tipo de dados. Mesmo que não possa mapear uma coluna específica, a função de mapeamento automático pode sugerir algumas das seleções de mapeamento mais prováveis.

  8. Revise os resultados do mapeamento automático. Caso algum dos mapeamentos esteja incorreto ou se uma coluna permanecer não mapeada, faça o mapeamento correto manualmente. Como alternativa, se uma coluna específica não for necessária, você pode excluir-a do carregamento no IBM Master Data Management selecionando a opção “Excluir coluna ”.

  9. Role horizontalmente pelas colunas para assegurar que cada coluna no ativo ou origem de dados seja mapeado. Se alguma coluna não for mapeada, mapeada automaticamente ou explicitamente excluída do mapeamento, o ativo de dados permanecerá em um estado Parcialmente mapeado.

    Importante: Se o atributo record_source for mapeado para qualquer campo no ativo, esse campo deverá ser preenchido em todos os registros do ativo. Se algum registro não tiver um valor para o campo record_source , o ativo não poderá ser carregado com êxito. Se você não mapear o atributo record_source para um campo existente, um nome de origem de registro padrão será derivado usando o nome do ativo.

  10. Ao concluir o mapeamento do ativo de dados, você estará pronto para publicar os dados no sistema..

    • Se seus tipos de dados forem novos ou tiverem sido alterados, publique-os clicando no ícone “Publicar tipos ícone publicar tipos de dados de dados” na barra de ações. Aguarde a conclusão da tarefa de publicação.
    • Para publicar seus dados após publicar seus tipos de dados, clique no ícone de publicação ícone de dados publicar de dados na barra de ações. Aguarde a conclusão da tarefa de publicação.

Aplicando um padrão de mapeamento a um ativo de dados

Os padrões de mapeamento ajudam você a manter a consistência em ativos de dados semelhantes, facilitando a repetição de suas seleções de mapeamento de dados para ativos compatíveis

Um padrão de mapeamento é criado automaticamente quando você mapeia manualmente um ativo de dados O padrão salva suas seleções de mapeamento de coluna para que possam ser reutilizadas por outros ativos de dados que compartilham o mesmo formato de coluna e tipo de registro.. Ao aplicar um padrão de mapeamento, é possível evitar o mapeamento manual de ativos de dados que são semelhantes aos ativos existentes que você já mapeou

IBM Master Data Management identifica quando um novo ativo é compatível com um padrão de mapeamento existente no sistema e, em seguida, avisa que você pode usar esse padrão para evitar o trabalho de mapeamento manual.

Os padrões de mapeamento podem ser criados mapeando manualmente ativos de dados ou podem ser importados usando capturas instantâneas de configuração.

Para obter informações sobre como gerenciar e aplicar padrões de mapeamento usando capturas instantâneas de configuração, consulte Salvando e carregando capturas instantâneas de configuração.

Para aplicar um padrão de mapeamento a um ativo de dados mapeado ou não mapeado:

  1. No menu de navegação de dados mestre, clique no ícone Ativos ícone de ativos.

  2. No painel da lista de ativos, localize um ou mais ativos de dados aos quais você deseja aplicar um padrão de mapeamento.

    Para ajudá-lo a encontrar os ativos que está procurando, você pode pesquisar por nome ou filtrar com base no número de colunas, tipo de registro, status de mapeamento, status de publicação ou padrões de mapeamento disponíveis. Clique no ícone ícone de filtro Filtro para aplicar um filtro.

  3. Selecione os ativos de dados aos quais deseja aplicar um padrão de mapeamento.

    • Para aplicar um padrão de mapeamento a um único ativo de dados, clique no ícone “Aplicar padrão de ícone padrão de mapeamento mapeamento” ao lado do nome do ativo.
    • Para aplicar um padrão de mapeamento a um ou mais ativos de dados, marque a caixa de seleção ao lado do nome do ativo, em seguida, clique em Aplicar mapeamento na lista Ativos. Os ativos de dados selecionados devem compartilhar o mesmo formato de estrutura e coluna para poderem compartilhar um padrão de mapeamento.

    A página Aplicar padrões de mapeamento mostra uma lista de padrões de mapeamento disponíveis. Se houver um padrão de correspondência recomendado para este ativo, ele terá um ícone de ícone de sugestão de mapeamento selo ao lado.

  4. Reveja os padrões de mapeamento É possível ver a quais outros ativos o padrão de mapeamento se aplica atualmente, juntamente com o tipo de registro aplicável, data da última atualização e origem original.

    Para obter mais detalhes e comparar padrões de mapeamento entre si, selecione um padrão de mapeamento primário e, em seguida, clique em Comparar padrões de mapeamento. Role horizontalmente pelos padrões para compará-los com aquele selecionado. Role verticalmente na página para visualizar mais detalhes, como detalhes de captura instantânea, e mapeamentos de coluna

  5. Selecione o padrão de mapeamento que deseja aplicar aos ativos de dados selecionados, em seguida, clique em Avançar.

  6. Revise as mudanças de mapeamento selecionadas. Confirme se você escolheu os ativos corretos e o padrão de mapeamento

    Aplicar um padrão de mapeamento pode alterar o tipo de registro de um ativo. Tenha cuidado para não alterar erroneamente o tipo de registro As mudanças de mapeamento feitas pela aplicação de um padrão de mapeamento não podem ser desfeitas sem o remapeamento manual do ativo.

  7. Clique em Concluir para aplicar o padrão de mapeamento..

  8. Depois de aplicar o padrão de mapeamento, você estará pronto para publicar os dados no sistema

    • Se seus tipos de dados forem novos ou tiverem sido alterados, publique-os primeiro clicando no ícone de publicação de ícone publicar tipos de dados tipos de dados na barra de ações. Aguarde a conclusão da tarefa de publicação.
    • Para publicar seus dados após publicar seus tipos de dados, clique no ícone de publicação ícone de dados publicar de dados na barra de ações. Aguarde a conclusão da tarefa de publicação.

Adicionar dados de relacionamento a partir de um arquivo de dados simples

Antes de carregar um ativo de dados de relação no IBM Master Data Management, é necessário definir primeiro o tipo de relação correspondente nas definições de tipos de dados. Para obter detalhes, consulte Personalização dos tipos de dados.

Dica: não se esqueça de publicar os tipos de dados depois de definir um novo tipo de relacionamento.

Os ativos de dados de relacionamento são formatados em linhas delimitadas (formato CSV, ou TSV). Há várias colunas de dados necessárias:

  • IDs de registro para ambas as partes em cada relacionamento
  • Tipos de registro para ambas as partes em cada relacionamento
  • Fontes de registro para ambas as partes em cada relacionamento

Você pode criar o ativo de dados de relacionamento manualmente, através de um processo de ETL ou usando o aplicativo onde seus relacionamentos estão armazenados.

Para adicionar dados de relações ao IBM Master Data Management a partir de um arquivo de dados CSV ou TSV:

  1. No menu de navegação de dados mestre, clique no ícone Ativos ícone de ativos.

  2. Carregue, mapeie e publique os ativos de dados de registros no IBM Master Data Management. Esses ativos de dados devem conter os dados de registro que você deseja associar usando relacionamentos. Para obter detalhes, consulte Adição de dados de registro de um arquivo de dados simples e Mapeamento de dados para seus tipos de dados.

  3. Carregue seu arquivo de ativo de dados de relacionamento:

    a. Na barra de ação, clique em Adicionar ativo.

    b. No painel Ativos de dados, escolha se deseja adicionar ativos de dados por upload, do projeto ou do catálogo. Para fazer upload de um arquivo de dados, escolha Carregar.

    Nota: se seus dados incluírem catálogos controlados, talvez não seja possível visualizar ou incluir alguns ativos do catálogo. Dependendo de suas permissões, você pode ser capaz de apenas visualizar os ativos do catálogo que você possui ou gerencia.

    c. No seu computador, selecione um arquivo de dados simples contendo dados de relacionamento no formato CSV ou TSV e arraste-o para o painel “Recursos de dados ”. Quando o arquivo termina de ser carregado, ele é adicionado à sua lista de ativos.

  4. Defina o tipo de conteúdo do ativo:

    1. No painel da lista de ativos, clique em Definir conteúdo do ativo.
    2. Na caixa de diálogo que se abre, selecione Relações na lista de tipos de dados.
    3. Clique em Salvar.

    Se o tipo de relação apropriado não estiver na lista de tipos de dados de ativos, talvez seja necessário personalizar suas definições de tipos de dados para adicioná-lo. Para obter mais informações, consulte Personalização dos tipos de dados.

  5. Mapear e publicar seu ativo de dados de relacionamento. Para obter detalhes, consulte Mapeamento de dados para seus tipos de dados. Certifique-se de mapear cada uma das colunas de dados necessárias: from record ID, to record ID, from record type, to record type, from record sourcee to record source.

    Restrição: Os dados de relacionamento não suportam perfis e automatização. Mapeie manualmente suas colunas para os tipos de dados.

Próximas etapas

Saiba Mais