Tutorial de controle de dados: Consuma seus dados

Use este tutorial para trabalhar com seus dados protegidos e de alta qualidade depois de concluir o tutorial Curar dados de alta qualidade e o tutorial Proteger seus dados com o caso de uso de inteligência de dados da avaliação da estrutura de dados. Seu objetivo é avaliar, compartilhar, dar forma e analisar dados no tecido de dados.

Início rápido: se você ainda não criou o projeto de amostra para este tutorial, acesse o Projeto de amostra de controle de dados no hub de Recurso.

A história para o tutorial é que o Golden Bank tem vários departamentos que precisam de acesso a dados de hipoteca de clientes de alta qualidade. Como um Analista de Dados, será necessário procurar e localizar os dados certos, entender e confiar em seu conteúdo e, em seguida, prepará-los para o uso de outros analistas de dados e cientistas de dados.

A imagem animada a seguir fornece uma visualização rápida do que você realizará até o final deste tutorial, no qual você visualizará ativos de catálogo, enriquecerá manualmente ativos e criará relacionamentos, visualizará dados e filtrará dados para melhorar a qualidade Clique na imagem para ver uma imagem maior.

Imagem animada

Visualizando o tutorial

Neste tutorial, você concluirá estas tarefas:

Assistir vídeo Assista a este vídeo para visualizar as etapas deste tutorial. Pode haver pequenas diferenças na interface do usuário mostrada no vídeo. O vídeo é destinado a ser um companheiro para o tutorial escrito.

Este vídeo fornece um método visual para aprender os conceitos e tarefas nesta documentação.





Dicas para concluir este tutorial
Aqui estão algumas dicas para concluir com sucesso este tutorial.

Use a imagem em vídeo

Dica: Inicie o vídeo, em seguida, à medida que você rola através do tutorial, o vídeo se move para o modo picture-in-picture. Feche a tabela de vídeos do conteúdo para a melhor experiência com foto-em-foto. Você pode usar o modo picture-in-picture para que você possa acompanhar o vídeo conforme concluir as tarefas neste tutorial. Clique nos timestamps para cada tarefa seguir junto.

A imagem animada a seguir mostra como usar os recursos de imagem em vídeo e de índice:

Como usar picture-in-picture e capítulos

Configure as janelas do navegador

Para uma experiência ideal ao concluir este tutorial, abra sua conta em uma janela do navegador e mantenha esta página do tutorial aberta em outra janela do navegador para alternar facilmente entre as duas janelas. Considere organizar as duas janelas do navegador lado a lado para facilitar o acompanhamento.

Tutorial lado-a-lado e UI

Dica: se você encontrar um tour guiado ao concluir este tutorial na interface com o usuário, clique em Talvez posterior.



Configure os pré-requisitos

Concluir tutoriais de pré-requisito

vídeo do tutorial de visualização Para visualizar esta tarefa, assista ao vídeo a partir do minuto 00:39.

Conclua os tutoriais Curar dados de alta qualidade e Proteger seus dados :

  • Curate high quality data tutorial para importar e enriquecer ativos de dados e publicá-los em um catálogo.
  • Tutorial Proteja seus dados para criar regras de proteção de dados e fluxos de mascaramento para proteger dados.



Tarefa 1: Entenda os ativos de dados

vídeo do tutorial de visualização Para ter uma prévia desta tarefa, assista ao vídeo a partir do minuto 01:12.

Os ativos de dados em catálogos são muito mais do que ponteiros para dados. Eles contêm informações sobre o formato e o significado dos dados e estatísticas sobre os valores dos dados. Siga estas etapas para entender o valor de ativos de dados:

  1. No menu de Menu de Navegaçãonavegação, selecione Catálogos > Ver todos os catálogos.

  2. Abra o Catálogo de aprovação de hipoteca.

    A seção de ativos em destaque mostra os ativos adicionados recentemente e os ativos com classificação alta que os colaboradores do catálogo classificaram e revisaram.

  3. Clique em Ocultar ativos de destaque para fechar essa seção.

  4. Procure mortgage.

  5. Clique em MORTGAGE_APPLICANTS_TRUST para visualizar esse ativo de catálogos A guia Visão Geral e o painel lateral fornecem informações básicas sobre o ativo, como a descrição, uma classificação, tags, em que o ativo está localizado, termos de negócios, classes de dados e itens relacionados

  6. Clique na guia Perfil. As informações do perfil ajudam a entender o conteúdo, a qualidade e a usabilidade dos dados.

  7. Role para a direita para localizar a coluna ZIP_CODE

  8. A classe de dados que foi designada automaticamente à coluna ZIP_CODE é Entidade comercial e governamental. Observe que a classe de dados designada automaticamente pode variar Como os valores são CEPs, é possível reclassificar facilmente essa coluna.. Clique na lista suspensa para ver outras classes de dados possíveis e seus níveis de confiança. Selecione CEP dos EUA.

  9. Clique na guia Ativo para consultar uma visualização dos dados.

  10. Retorne para a guia Visão geral para ver mais metadados sobre as colunas Na lista de colunas, procure a coluna EMPREGMENT_STATUS para ver os metadados, incluindo os termos de negócios designados.

ícone de ponto de verificação Verifique seu progresso

A imagem a seguir mostra o ativo MORTGAGE_APPLICANTS_TRUST no Catálogo. Você explorou o tipo de informação que o site IBM watsonx.data intelligence adiciona automaticamente aos ativos de dados durante o enriquecimento de metadados. Na próxima tarefa, você enriquecerá manualmente esse ativo de dados

MORTGAGE_APPLICANTS_TRUST ativo




Tarefa 2: Enrico ativos e criar relacionamentos

vídeo do tutorial de visualização Para ter uma prévia desta tarefa, assista ao vídeo a partir do minuto 02:49.

Você pode tornar os ativos mais valiosos adicionando informações a eles. Por exemplo, você pode adicionar a sua opinião sobre o ativo, atualizar propriedades de ativos e criar relacionamentos para vincular ativos. Siga estas etapas para enriquecer ativos e criar relacionamentos:

  1. Para o ativo do Catálogo MORTGAGE_APPLICANTS_TRUST , clique na guia Revisar Taxa e comentário sobre este ativo para que outros possam encontrar o ativo facilmente.

    1. Selecione 5 estrelas para a classificação.

    2. Para a revisão, copie e cole o texto a seguir:

      This contains high quality customer data from the mortgage system.
      
    3. Clique em Enviar.

  2. Clique na guia Visão Geral ..

  3. Clique no ícone Editar Editar ao lado do nome do recurso para editar o nome do recurso.

    1. Altere o nome para:.

      MORTGAGE_APPLICANTS_TRUST_PROTECT
      
    2. Dê um clique em Aplicar.

  4. Na seção Descrição, no painel lateral direito, clique no ícone IncluirAdicionar.

    Nota:

    Se este recurso já tiver uma descrição, você verá um ícone de Editar Editar em vez de um ícone de Adicionar.

    1. Copie e cole a seguinte descrição:

      Mortgage applicants from the Mortgage System
      
    2. Dê um clique em Aplicar.

  5. Como esse ativo está relacionado a empréstimos hipotecários, ao lado de “Termos comerciais ”, clique no ícone Incluir “Adicionar” ou no ícone “Editar Editar”.

    1. No campo Procurar , digite loan..

      Nota: não é necessário pressionar Enter após digitar o termo de procura. Você verá uma lista de resultados imediatamente após a digitação do termo de pesquisa.
    2. Selecione Empréstimos.

    3. Clique em Salvar.

  6. Como este recurso contém informações pessoais, ao lado de “Classificações”, clique no ícone Incluir “Adicionar” ou no ícone “Editar Editar”.

    1. Selecione Informações pessoalmente identificáveis.

    2. Clique em Salvar.

  7. Como esse ativo está relacionado a outros ativos hipotecários, próximo a Itens Relacionados, clique em Incluir itens relacionados> Incluir ativos relacionados.

    1. Selecione Está relacionado a, e clique em Avançar.

    2. Selecione os ativos CREDIT_SCORE e MORTGAGE_APPLICATION e clique em Incluir.

  8. Clique em MORTGAGE_APPLICATION para visualizar esse ativo relacionado.

ícone de ponto de verificação Verifique seu progresso

A imagem a seguir mostra a guia Visão Geral para o ativo MORTGAGE_APPLICANTS_TRUST_PROTECT no catálogo Você tornou esses ativos mais valiosos pela revisão, atualização de propriedades e inclusão de relacionamentos nos ativos. Na próxima tarefa, você incluirá o ativo enriquecido em um projeto.

.

MORTGAGE_APPLICANTS_TRUST com ativos relacionados




Tarefa 3: Adicionar dados enriquecidos a um projeto

vídeo do tutorial de visualização Para ter uma prévia desta tarefa, assista ao vídeo a partir dos 04:09.

A equipe de analistas de dados precisa dos dados dos requerentes de hipoteca no projeto de análise de hipotecas para refinar, visualizar, analisar e utilizar como dados de treinamento para modelos. Siga estas etapas para incluir os dados enriquecidos em um projeto:

  1. Clique em “Catálogo de aprovação de hipotecas” na barra de navegação.
    Trilha de navegação

  2. No final da linha do ativo do catálogo MORTGAGE_APPLICANTS_TRUST_PROTECT, clique no menu de opções Menu overflow e selecione “Adicionar ao projeto ”.

    1. Na lista suspensa Destino , selecione o projeto de Controle de Dados

    2. Clique em Incluir.

  3. Quando a notificação for exibida, clique em Acessar o projeto. Se você perder a notificação, então:

    1. Clique no menu de Menu de Navegaçãonavegação e selecione Projetos > Ver todos os projetos.

    2. Clique no projeto Data governance .

  4. No projeto, clique na aba Ativos para ver o ativo de dados MORTGAGE_APPLICANTS_TRUST_PROTECT .

ícone de ponto de verificação Verifique seu progresso

A seguinte imagem mostra o ativo MORTGAGE_APPLICANTS_TRUST_PROTECT no projeto. Agora você está pronto para visualizar os dados.

MORTGAGE_APPLICANTS_TRUST_PROTECT ativo no projeto




Tarefa 4: Visualize os dados

vídeo do tutorial de visualização Para ter uma prévia desta tarefa, assista ao vídeo a partir dos 04:39.

Você precisa limpar e refinar os dados dos requerentes de hipoteca para que ele esteja pronto para suas ferramentas e modelos analíticos. Uma maneira rápida e fácil de determinar como ela precisa ser modelada é visualizar os dados no Data Refinery.. A visualização é baseada nas primeiras 5.000 linhas dos dados. Siga estas etapas para visualizar os dados:

  1. Clique no ativo de dados MORTGAGE_APPLICANTS_TRUST_PROTECT para visualizar os dados..

  2. Clique em Preparar dados para abrir o ativo de dados em Data Refinerye aguarde os dados serem lidos e processados..

  3. No painel Sobre este ativo , clique no X para fechar o painel.

  4. No painel Etapas , clique no X para fechar o painel.

  5. Clique na guia Visualizações.

  6. Para a Coluna para visualizar, selecione EMPREGMENT_STATUS.

  7. Clique em Visualizar dados. A ferramenta seleciona um gráfico de pizza como o melhor tipo de gráfico para esta coluna, que mostra a distribuição dos candidatos por status de emprego. Observe os tipos de gráficos sugeridos que são indicados por um ponto azul ao lado de barra, nuvem de palavras e sunburst.

  8. Para o Tipo de gráfico, selecione o tipo de gráfico Bolhas O Bubble gráfico é uma maneira fácil de visualizar rapidamente a distribuição de valores em um determinado conjunto de dados.

  9. Na lista suspensa Tipo de gráfico , selecione o tipo de gráfico Relacionamento .

  10. Este tipo de gráfico requer duas colunas. Selecione estas colunas:

    1. Para a primeira coluna, selecione EMPREGMENT_STATUS

    2. Clique em Incluir outra coluna..

    3. Para a segunda Coluna, selecione EDUCAÇÃO

  11. Com o gráfico Relacionamento , é possível selecionar terminais para ver os relacionamentos.. Por exemplo, é possível ver o status de emprego dos candidatos por nível de educação

ícone de ponto de verificação Verifique seu progresso

A imagem a seguir mostra o ativo MORTGAGE_APPLICANTS_TRUST_PROTECT visualizado no Data Refinery Agora você está pronto para limpar os dados.

Visualização de Relacionamento




Tarefa 5: Preparar os dados para analytics e AI

vídeo do tutorial de visualização Para ter uma prévia desta tarefa, assista ao vídeo a partir dos 05:59.

Não se pode processar candidatos sem um número de previdência social, por isso é preciso rever os dados e remover quaisquer candidatos sem números de previdência social. Para preparar os dados MORTGAGE_APPLICANTS_TRUST_PROTECT, você irá:

  • Visualize a frequência de valores na coluna Social_Security_Number
  • Filtre os candidatos com valores ausentes da coluna Social_Security_Number

Siga estas etapas para preparar os dados:

  1. No Data Refinery, Clique na guia Perfil .

  2. Role para a direita para localizar a coluna Social_Security_Number Observe vários valores ausentes.

  3. Clique na guia Dados para filtrar esses registros Na barra de status na parte inferior da tela, Data Refinery indica que FULL DATA SET é 1101 linhas.

  4. Se o painel Etapas não estiver visível, clicar em Etapas para abrir o painel.

  5. Clique em Nova etapa.

    1. Na seção Cleanse , selecione Filtrar

    2. No campo Coluna , selecione a coluna Social_Security_Number ..

    3. No campo Operador , selecione Não Está Vazio

    4. Dê um clique em Aplicar. Aviso na barra de status na parte inferior da tela, Data Refinery agora indica que o FULL DATA SET é 1000 linhas porque as linhas com Números de Seguridade Social ausentes são filtradas. Observe que uma nova etapa é exibida no painel Etapas mostrando a operação de Filtro

  6. Clique na guia Perfil.

  7. Role para a direita para localizar a coluna Social_Security_Number Percebem que os valores em falta se foram.

  8. Na barra de ferramentas, clique no ícone SalvarSalvar.

  9. Na barra de ferramentas, clique no ícone Exportar e selecione Exportar dados atuais para CSV.
    Exportar como csv

    1. Salve o MORTGAGE_APPLICANTS_TRUST_PROTECT_shaped.csv em uma pasta local

    2. Acesse essa pasta e abra o arquivo ` CSV `, que contém 1.000 linhas e nenhum candidato sem número de segurança social.

  10. Volte para Cloud Pak for Data e clique no projeto “Governança de dados” na barra de navegação.
    Trilha de navegação

  11. Clique em Todos os ativose localize o novo ativo de fluxo Data Refinery com o nome MORTGAGE_APPLICANTS_TRUST_PROTECT_flow.

Dica: Você pode salvar o conjunto de dados refinados para o projeto ou para uma fonte de dados externa, como a instância do Db2 Warehouse onde os conjuntos de dados originais são armazenados. Para obter mais informações, consulte Criando empregos em Data Refinery.

ícone de ponto de verificação Verifique seu progresso

A imagem a seguir mostra o arquivo MORTGAGE_APPLICANTS_TRUST_PROTECT_shaped.csv refinado no Data Refinery. Este conjunto de dados contém as informações sobre os requerentes de hipoteca que forneceram um número de previdência social.

Ativo de dados refinado



Como um analista de dados para o Golden Bank, você aprendeu como procurar e localizar os dados certos, entender e confiar em seu conteúdo e, em seguida, prepará-lo para outros analistas de dados e cientistas de dados usarem.

Limpeza (Opcional)

Se você gostaria de reaproveitar os tutoriais no caso de uso de governança de Dados, exclua os seguintes artefatos.

Artefato Como excluir
Termos de negócios importados Excluir artefatos de governança
Categoria bancária Excluir uma categoria
Regras de proteção de dados: Informações Confidenciais e Número de Segurança Social Redact Excluir regras de proteção de dados
Catálogo de Aprovação de hipoteca Excluir um catálogo
Projeto amostra de controle de dados Excluir um Projeto

Próximas etapas

Saiba Mais