Tutorial de governança de dados: Curta dados de alta qualidade

Para visualizar esta tarefa, assista ao vídeo a partir de 02:49.

Antes de começar a trabalhar com dados, crie um catálogo onde você publicará dados para compartilhá-los com sua organização. Com o plano IBM watsonx.data intelligence Lite, você pode criar apenas dois catálogos. Se você já tem um catálogo, você pode pular esta etapa. Caso contrário, siga estas etapas para criar um catálogo:

1. No Menu de Navegação, selecione Catálogos > Ver todos os catálogos.

2. Se você vir um catálogo na página Catálogos , vá para Tarefa 2: Criar uma categoria. Caso contrário, siga estas etapas para criar um novo catálogo:

3. Clique em Criar Catálogo.

4. Para o Nome, copie e cole o nome do catálogo exatamente conforme mostrado sem espaços iniciais ou finais:

   Mortgage Approval Catalog
   

5. Selecione Aplicar regras de proteção de dados, confirme a seleção e aceite os padrões para os outros campos.

6. Clique em Criar.

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 03:13.

Você precisa de uma categoria para conter os termos de negócio que importará na próxima Tarefa. As categorias atuam como pastas para organizar seus artefatos de governança e as pessoas que podem ser autoras e gerenciar esses artefatos. Siga estas etapas para criar uma categoria:

1. No menu Cloud Pak for Data de navegação, selecione Governança > Categorias.

2. Clique em Incluir categoria > Nova categoria.

3. Para o nome, digite Banking.

4. Clique em Criar.

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 03:41.

Agora importe termos de negócio para a nova categoria. Você vai usá-los para enriquecer seus ativos de dados em uma etapa posterior. Os termos de negócio são definições padronizadas de conceitos de negócio para que seus dados sejam descritos de forma uniforme e de fácil entendimento em toda a sua empresa. Siga estas etapas para importar os termos de negócios de um arquivo:

1. No menu de navegação do Cloud Pak for Data, selecione Governança > Todos os artefatos. No painel esquerdo, selecione Termos comerciais.

2. Clique em Incluir termo de negócio > Importar a partir do arquivo.

3. Clique em Arrastar e soltar arquivo aqui ou fazer upload.

   1. Selecione o arquivo banking.csv transferido por download anteriormente.

   2. Clique em Abrir..

4. Clique em Avançar.

5. Selecione Substituir todos os valores, e clique em Avançar

6. Clique em Acessar a Tarefa para ver os termos de negócios de rascunho Se você perder a notificação, no menu Cloud Pak for Data de navegação, selecione Governança > Caixa de entrada de tarefas.

7. Marque a caixa de seleção Publicar termos de negócio e, em seguida, clique em Publicar. Clique em Publicar para confirmar..

8. No menu de navegação do Cloud Pak for Data, selecione Governança > Todos os artefatos. No painel esquerdo, selecione “Termos comerciais” para visualizar os termos comerciais publicados.

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 04:47.

O projeto de amostra inclui uma conexão com uma instância do Db2 Warehouse , que contém os ativos de hipoteca. Você pode importar metadados técnicos que estão associados com os ativos de dados em um projeto ou um catálogo para inventariar, avaliar e catalogar esses ativos. Os metadados técnicos descrevem a estrutura de objetos de dados.

Siga estas etapas para importar os ativos de dados:

1. No Menu de Navegação, selecione Projetos > Exibir todos os projetos.

2. Clique no projeto Data governance .

3. Clique na guia Ativos.

4. Clique Novo ativo > Importar metadados para ativos de dados .

5. Para o nome, copie e cole o texto a seguir:

   Mortgage data - metadata import
   

6. Clique em Avançar para continuar.

7. Na página Definir metas, siga estas etapas:

   1. Selecione Importar metadados de ativos para importar e visualizar ativos de vários tipos em um projeto ou catálogo.
   2. Para o destino, selecione Adicionar a este projeto.
   3. Clique em Avançar para continuar.

8. Na página Selecionar origem e escopo, siga estas etapas:

   1. Ao lado de Connection (Conexão ), clique em Select (Selecionar ).

   2. Selecione a conexão Data Fabric Trial - Db2 Warehouse e clique em Select.

   3. Ao lado de Scope, clique em Select > Select assets.

   4. Selecione o esquema WKC_MORTGAGE.

   5. Selecione as tabelas a seguir:

      • CLIENTE_COMERCIAL
      • CREDIT_SCORE
      • HOUSE_PRICE
      • MORTGAGE_APPLICANTS
      • MORTGAGE_APPLICATION

   6. Revise a lista de ativos no painel lateral e clique em Selecionar.

9. Clique em Next para continuar na página Definir detalhes do trabalho. Você pode executar manualmente a importação de metadados, portanto, mantenha o agendamento desativado.

10. Clique em Next para continuar na página Set advanced Options (Definir opções avançadas ).

11. Aceite os valores padrão na página Opções avançadas e clique em Avançar para continuar com a revisão.

12. Revise o resumo da importação e clique em Criar. O trabalho de importação de metadados começa.

13. Clique no ícone Atualizar para ver a mudança de status de Em fila para Em andamento e Importado. Quando a execução da tarefa for concluída, você verá os cinco ativos listados

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 06:07.

É possível enriquecer os ativos de dados com informações que ajudem os usuários a encontrar dados mais rápidos para decidir se os dados são apropriados para a tarefa em mãos, se podem confiar nos dados, e como trabalhar com os dados. Tais informações incluem, por exemplo, termos que definem o significado dos dados, regras que documentam a propriedade ou determinam padrões de qualidade, ou revisões. Siga estas etapas para enriquecer os dados importados:

1. Clique no nome do projeto de governança de dados na trilha de navegação.
   

2. No Ativos aba, clique Novo ativo > Enriquecer ativos de dados com metadados .

3. Para o nome, copie e cole o texto a seguir:

   Mortgage data - metadata enrichment
   

4. Clique em Avançar para continuar.

5. Clique em Selecionar dados do projeto.

   1. Selecione Metadata import.

   2. Clique na caixa de seleção ao lado de Dados de hipoteca-importação de metadados. Esse ativo inclui os seguintes ativos:

      • COMMERCIAL_CLIENT
      • CREDIT_SCORE
      • HOUSE_PRICE
      • MORTGAGE_APPLICANTS
      • MORTGAGE_APPLICATION

   3. Clique em Selecionar.

6. Clique em Avançar para continuar com o objetivo de enriquecimento.

7. Selecione todos os objetivos de enriquecimento:

   • Dados do perfil
   • Designar equipes
   • Executar análise de qualidade básica

8. Para Categorias, clique em Selecionar categorias.

   1. Selecione apenas [não categorizado] e Banking.

   2. Clique em Selecionar.

9. Para o Amostragem, selecione Básico.

10. Clique em Avançar para continuar com o planejamento. É possível executar manualmente a importação, portanto, mantenha o planejado desativado

11. Clique em Avançar para continuar na revisão.

12. Clique em Criar.

13. O ativo de enriquecimento de metadados exibe, mas o trabalho pode levar vários minutos para ser concluído. Clique no ícone Atualizar para ver a mudança de status de Não analisado para Em andamento e, por fim, Concluído. Quando a execução da tarefa for concluída, você verá os cinco ativos listados

Para visualizar esta tarefa, assista ao vídeo a partir dos 07:45.

Após a execução do enriquecimento de metadados ser concluída, siga estas etapas para visualizar os dados enriquecidos:

1. Na tela Enriquecimento de metadados de dados de hipoteca , selecione Colunas .

2. Na lista de Colunas, localize a coluna EMAIL_ADDRESS para o ativo MORTGAGE_ALMENTE .

   1. No final da linha EMAIL_ADDRESS para MORTGAGE_APPLICANTS, clique no menu Overflow e selecione Exibir detalhes da coluna.

   2. No painel lateral na guia Detalhes , você vê informações de criação de perfil como: Formato, Distribuição de frequência, Estatísticas.

   3. No painel lateral, clique na guia Controle . Esta guia inclui as classes de dados e os termos de negócio que foram auto-atribuídos durante o enriquecimento de metadados. Você também pode ver termos de negócios e classes de dados sugeridos e atribuí-los manualmente.

   4. Revise quaisquer termos de negócios ou classes de dados sugeridos e os designe manualmente. Por exemplo, você pode ver Endereço como um termo de negócios sugerido

      1. Clique em Termos de negócios sugeridos..

      2. Para Endereço, selecione Designar.

3. No final da coluna EMAIL_ADDRESS da linha de ativos MORTGAGE_APPLICANTS, clique no menu Overflow e selecione Exibir detalhes da qualidade dos dados.

   1. Visualizar as informações de qualidade de dados. IBM watsonx.data intelligence gera automaticamente uma pontuação de qualidade de dados para cada coluna e ativo de dados, analisando cada valor em cada registro de acordo com dimensões pré-construídas.

   2. Clique no X para fechar a janela Qualidade de dados

4. Na coluna CITY do ativo CREDIT_SCORE, clique no menu Overflow e selecione Marcar como revisado.

5. Clique na guia Ativos.

6. Na lista de Ativos, para o ativo MORTGAGE_APPLICANTS, clique no menu Overflow e selecione Exibir detalhes do ativo.

   1. No painel lateral, clique na guia Controle para ver a designação automática do termo de negócios.

   2. Clique no ícone Editar para atribuir manualmente os termos comerciais.

   3. Procure social. Se você não vir nenhum resultado, certifique-se de que a lista suspensa esteja configurada como Todos os termos em vez de Termos sugeridos

   4. Selecione Número de Seguridade Social

   5. Clique em Designar.

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 09:06.

Agora que você tem dados enriquecidos, deseja-se publicar esses ativos de dados a um catálogo para que cientistas de dados e analistas de dados possam utilizar os ativos de dados enriquecidos. Siga estas etapas para armazenar os ativos de dados enriquecidos em um catálogo para que outros tenham acesso aos dados confiáveis:

1. Clique no nome do projeto de Controle de Dados na trilha de navegação

2. Clique na guia Ativos.

3. Selecione Dados> Ativos de Dados

4. Selecione os ativos de dados COMMERCIAL_CLIENT, HOUSE_PRICE, MORTGAGE_APPLICANTS e MORTGAGE_APPLICATION na lista e clique em “Publicar no catálogo ”.

   1. Para o catálogo Destino , selecione Catálogo de Aprovação de Hipotecae clique em Avançar.

   2. Para as Tags, digite a tag trustede clique em + (sinal de mais) e, em seguida, clique em Avançar.

   3. Revise os ativos e clique em Publicar.

5. Desmarque todos os ativos marcados, em seguida, marque a caixa de seleção ao lado do ativo CREDIT_SCORE na lista e clique em Publicar no catálogo.

   1. Para o catálogo Destino , selecione Catálogo de Aprovação de Hipotecae clique em Avançar.

   2. Para Tags, digite a tag confidentiale clique em + (sinal de mais).

   3. Digite a tag trustede clique em + (sinal de mais) para obter uma segunda tag.

   4. Selecione a opção para Acessar o catálogo após publicá-loe clique em Avançar.

   5. Revise os ativos e clique em Publicar.

6. Filtre os ativos no Catálogo de Aprovação de Hipoteca

   1. Clique no ícone Filtro.

   2. Expanda a seção Tag ..

   3. Selecione confiávele clique em Aplicar.

   4. Verifique se os cinco ativos de dados foram adicionados ao catálogo

7. Altere o nome para o ativo de dados MORTGAGE_REQUERENTES

   1. Abra o ativo MORTGAGE_REQUERENTES

   2. Clique no ícone Editar nome.

   3. Altere o nome para:.

      MORTGAGE_APPLICANTS_TRUST
      

   4. Dê um clique em Aplicar.