Tutorial de integração de dados: Integrar dados

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 02:29.

Comece com um fluxo básico do DataStage que junte os conjuntos de dados de candidatos a hipotecas e de pedidos de hipotecas e, em seguida, exporte esse resultado para um arquivo do CSV no projeto. Siga estas etapas para executar o fluxo “ DataStage ”:

1. Inicie no projeto de Integração de Dados Se você não tiver o projeto aberto, siga estas etapas:

   1. No menu Navegação , selecione Projetos > Exibir todos os projetos.

   2. Abra o projeto de Integração de Dados

2. Clique na aba Ativos para ver todos os ativos no projeto.

3. Clique em Fluxos> DataStage fluxos.

   Dica: se você não vir nenhum fluxo do DataStage , volte para visualizar suas instâncias de serviço para verificar sua instância do DataStage provisionada com sucesso. Consulte Provisionar os serviços necessários.

4. Clique no fluxo de Integração de Dados na lista para abri-lo, Este fluxo une as tabelas “Mortgage Applicants” e “Mortgage Applications”, armazenadas em Db2 Warehouse, filtra os dados para incluir apenas os registros do estado da Califórnia e cria um arquivo sequencial no formato CSV como resultado.

5. Clique no ícone de aumento e no ícone de redução na barra de ferramentas para definir sua visualização preferida da tela.

6. Clique duas vezes no nó MORTGAGE_APPLICATIONS_1 para visualizar as configurações.

   1. Expanda a seção Propriedades.

   2. Role para baixo e, em seguida, clique em Visualizar dados Este conjunto de dados inclui informações que são capturadas em um aplicativo de hipoteca.

   3. Clique em Fechar.

7. Clique duas vezes no nó MORTGAGE_APPLICANTS_1 para visualizar as configurações.

   1. Expanda a seção Propriedades.

   2. Role a tela para baixo, e clique em Visualizar dados. Este conjunto de dados inclui informações sobre os requerentes de hipoteca que se candidataram a um empréstimo.

   3. Opcional: Visualize os dados.

      1. Clique no painel Gráfico ..

      2. Na lista Colunas para visualizar , selecione STATE.

      3. Clique em Visualizar dados para ver um gráfico de pizza mostrando a distribuição dos dados por estado.

      4. Clique no ícone Treemap para ver os mesmos dados em um gráfico de mapa de árvore.

   4. Clique em Fechar.

8. Clique duas vezes no nó Join_on_ID para visualizar as configurações.

   1. Expanda a seção Propriedades.

   2. Observe que a chave de junção é a coluna ID.
      

   3. Clique em Cancelar para fechar as configurações..

9. Clique no ícone Registros na barra de ferramentas para acompanhar o progresso do fluxo.

10. Clique em Compilar e, em seguida, clique em Executar. Como alternativa, é possível clicar em Executar que compila e, em seguida, executa o fluxo DataStage . A execução pode levar cerca de um minuto para ser concluída.

11. Visualizar os logs. É possível usar o total de linhas e linhas / s para cada etapa no fluxo para verificar visualmente se o filtro está funcionando conforme esperado.

12. Quando a execução for concluída com sucesso, clique em Integração de dados na trilha de navegação para retornar ao projeto.
    

13. Na guia Ativos , clique em Dados> Ativos de dados

14. Abra o arquivo MORTGAGE_DATA.CSV. É possível ver que esse arquivo contém as colunas dos conjuntos de dados de solicitantes de hipoteca e de requisições de hipoteca.

Agora que você se associou aos dados do requerente de hipoteca e do aplicativo, você está pronto para editar o fluxo do DataStage para:

• Tarefa 2: especifique uma coluna-chave para o estágio Join.
• Tarefa 3: inclua dados de pontuação de crédito de um banco de dados PostgreSQL .
• Tarefa 4: Incluir um estágio de Junção para associar os dados de pontuação de crédito com os dados do candidato e do aplicativo.
• Tarefa 5: Incluir um estágio de Transformer para calcular a dívida total
• Tarefa 6: incluir dados de taxa de juro de um banco de dados MongoDB .
• Tarefa 7: Adicione um estágio de Consulta para consultar as taxas de juros para os candidatos com base em suas pontuações de crédito e as faixas de taxas de juros diárias do Golden Bank.

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 04:42.

Identificar uma coluna-chave indica ao DataStage que a coluna contém valores exclusivos. O Nó Join_on_ID une os conjuntos de dados de hipotecas e os conjuntos de dados de aplicações hipotecários utilizando a coluna ID para a chave de junção. A próxima fase é unir o conjunto de dados resultante com os dados da pontuação de crédito. Posteriormente, você se juntará aos dados filtrados resultantes com o conjunto de dados de pontuação de crédito. A segunda junção usará a coluna EMAIL_ADDRESS como chave de junção. Nesta tarefa, você edita o fluxo do DataStage para especificar a coluna EMAIL_ADDRESS como a coluna-chave para o conjunto de dados resultante quando ele é associado aos dados de pontuação de crédito.

A imagem animada a seguir fornece uma representação visual como uma alternativa para a descrição dos dois nós de junção. Clique na imagem para visualizar uma imagem maior.

Siga estas etapas para alterar as configurações do nó Junção:

1. Clique em Integração de dados na trilha de navegação para retornar ao projeto.
   

2. Na guia Ativos , clique em Fluxos> DataStage fluxos.

3. Abra o fluxo de Integração de Dados

4. Clique duas vezes no nó Join_on_ID para editar as configurações.

5. Clique na guia Saída, e expanda a seção Colunas para consultar uma lista das colunas no conjunto de dados unidos.

6. Clique em Editar.

7. Para o nome da coluna EMAIL_ADDRESS, selecione Chave.

8. Clique em Aplicar e retornar para retornar às configurações do nó Join_on_ID.

9. Clique em Salvar para salvar as configurações do nó Join_on_ID.

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 05:23.

Siga estas etapas para incluir os dados de pontuação de risco de crédito que são armazenados em um banco de dados PostgreSQL no fluxo DataStage :

1. Na paleta de nós, expanda a seção Conectores.

2. Arraste o conector do Navegador de ativos para a tela ao lado do nó MORTGAGE_APPLICANTS_1 .

3. Localize o ativo selecionando Conexão> Data Fabric Trial- Databases for PostgreSQL > BANKING> CREDIT_SCORE.

   Nota: Clique no nome da conexão ou do esquema em vez da caixa de seleção para expandir a conexão e o esquema

   

4. Clique no ícone Visualizar para visualizar os dados da pontuação de crédito de cada candidato.

5. Clique em Incluir.

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 05:54.

Siga estas etapas para incluir outro estágio de Junção para associar o aplicativo de hipoteca filtrado e os dados associados do requerente de hipoteca com os dados de pontuação de crédito no fluxo do DataStage :

1. Na paleta de nós, expanda a seção Estágios.

2. Arraste o estágio Associar na tela e solte o nó na linha de link entre os nós Filter_State_Code e Sequential_file_1 .

3. Passe o cursor do mouse sobre o conector CREDIT_SCORE_1 para ver a seta. Conecte a seta para o estágio Junção.

4. Clique duas vezes no nó CREDIT_SCORE_1 para editar as configurações.

   1. Clique na guia Saída, e expanda a seção Colunas para consultar uma lista das colunas no conjunto de dados unidos.

   2. Clique em Editar.

   3. Para os nomes de colunas EMAIL_ADDRESS e CREDIT_SCORE, selecione Chave.

   4. Clique em Aplicar e retornar para retornar às configurações do nó CREDIT_SCORE_1.

   5. Clique em Salvar para salvar as configurações do nó CREDIT_SCORE_1.

5. Clique duas vezes no nó Join_1 para editar as configurações.

   1. Expanda a seção Propriedades.

   2. Clique em Incluir chave.

      1. Clique em Incluir chave novamente.

      2. Selecione EMAIL_ADDRESS na lista de chaves possíveis.

      3. Dê um clique em Aplicar.

   3. Clique em Aplicar e retornar para retornar às configurações do nó Join_1.

   4. Mude o nome do nó Join_1 para Join_on_email.

   5. Clique em Salvar para salvar as configurações do nó Join_1.

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 07:08.

Siga estas etapas para incluir um estágio Transformer que cria uma nova coluna somando as colunas LOAN_AMOUNT e CREDITCARD_DEBT:

1. Na seção Estágios , arraste o estágio Transformer para a tela e solte o nó na linha de link entre os nós Join_on_email e Sequential_file_1 .

2. Clique duas vezes no nó Transformador para editar as configurações.

3. Clique na guia Saída.

   1. Clique em Incluir coluna.

   2. Role para baixo na lista de colunas para ver a nova coluna.

   3. Nomeia a coluna TOTAL_DEBT.

   4. Clique no ícone Editar na coluna Derivação da linha.

   5. Clique no ícone Calculadora na coluna Derivação para abrir o construtor de expressões.

   6. Procure por LOAN_AMOUNT, e clique duas vezes no nome da coluna para incluí-lo à expressão. Observe que o número do link é anexado ao nome da coluna.

   7. Digite um sinal de mais +.

   8. Procure CREDITCARD_DEBTe, em seguida, clique duas vezes no nome da coluna para incluí-la na expressão. Observe que o número do link é anexado ao nome da coluna.

   9. Verifique se a expressão final é Link_7.LOAN_AMOUNT + Link_7.CREDITCARD_DEBT.

      Nota: seu número de link pode ser diferente...

   10. Clique em Aplicar e retornar para retornar à página Transformador.

   11. Para o nome da coluna CREDIT_SCORE , selecione Chave..

4. Clique na guia Stage.

   1. Selecione a página Advanced.

   2. Altere o Modo de execução para Sequencial.

5. Clique em Salvar e retornar para retornar à tela.

Para visualizar esta tarefa, assista ao vídeo a partir dos 08:15.

Siga estas etapas para incluir as taxas de juros no fluxo incluindo um conector de ativo de dados em um banco de dados MongoDB :

1. Na paleta de nós, expanda a seção Conectores.

2. Arraste o conector Navegador de ativos em para a tela ao lado do nó CREDIT_SCORE_1.

3. Localize o ativo selecionando Conexão> Data Fabric Trial-Mongo DB> DOCUMENT> DS_INTEREST_RATES

4. Clique no ícone Visualizar para visualizar as taxas de juros para cada faixa de pontuação de crédito.
   
   Você pode usar os valores nas colunas STARTING_LIMIT e ENDING_LIMIT para procurar a taxa de juros apropriada com base na pontuação de crédito do candidato. A coluna ID não é necessária, portanto, você excluirá essa coluna na próxima etapa.

5. Clique em Incluir.

Para visualizar esta tarefa, assista ao vídeo a partir dos 09:00.

Com base na pontuação de crédito de cada candidato, você deseja consultar a taxa de juros apropriada.. Siga estas etapas para incluir um estágio de Consulta e especificar o intervalo para iniciar e terminar limites de pontuação de crédito para cada taxa de juros:

1. Na seção Estágios , arraste o estágio Consulta para a tela e solte o nó na linha de link entre os nós Transformer_1 e Sequential_file_1 .

2. Conecte o conector DS_INTEREST_RATES_1 ao estágio Lookup_1.

3. Clique duas vezes no nó DS_INTEREST_RATES_1 para editar as configurações.

4. Clique na guia Saída.

   1. Expanda a seção Colunas e clique em Editar.

   2. Selecione a coluna _ID.

   3. Clique no ícone Excluir para excluir a coluna _ID.

   4. Clique em Aplicar e retornar para retornar às configurações do nó DS_INTEREST_RATES_1.

   5. Clique em Salvar para salvar as mudanças no nó DS_INTEREST_RATES_1.

5. Clique duas vezes no nó Lookup_1 para editar as configurações.

6. Expanda a seção Propriedades.

   1. Para o campo Aplicar faixa em colunas, selecione CREDIT_SCORE. Os campos Links de Referência, Operadore Coluna de Intervalo são exibidos

   2. Para o Links de referência, selecione Link_9.

      Nota: seu número de link pode ser diferente...

   3. Para o primeiro Operador, selecione < =.

   4. Para o primeiro Coluna do intervalo, selecione ENDING_LIMIT.

   5. Para o segundo Operador, selecione > =.

   6. Para o segundo Coluna do intervalo, selecione STARTING_LIMIT.

7. Clique na guia Saída.

   1. Expanda a seção Colunas e clique em Editar.

   2. Selecione as colunas STARTING_LIMIT e ENDING_LIMIT ..

   3. Clique no ícone Excluir para excluir essas colunas STARTING_LIMIT e ENDING_LIMIT desnecessárias.

   4. Clique em Aplicar e retornar para retornar às configurações do nó Lookup_1.

   5. Clique em Salvar para salvar as mudanças no nó Lookup_1.

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 10:22.

Siga estas etapas para editar o nó do arquivo sequencial para criar um arquivo de saída final como um ativo de dados no projeto e, em seguida compilar e executar o fluxo do DataStage :

1. Clique duas vezes no nó Sequential_file_1 para editar as configurações.

2. Clique na guia Entrada.

3. Expanda a seção Propriedades.

4. Para o Arquivo de Destino, copie e cole MORTGAGE_APPLICANTS_INTEREST_RATES.CSV para o nome do arquivo

5. Selecione Criar ativo de dados.

6. Para o campo Primeira linha é nomes de colunas , selecione True.

7. Clique em Salvar.

8. Clique em Executar , que compila e, em seguida, executa o fluxo do DataStage O trabalho leva cerca de 1 minute minutos para ser concluído.

9. Clique em Logs na ferramentas para observar o progresso do fluxo. É normal ver avisos durante a execução e, em seguida, você vê que o fluxo foi executado com sucesso

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 11:00.

Outros engenheiros de dados e analistas de negócios do Golden Bank precisam de acesso às taxas de juros de hipoteca. Com o plano IBM watsonx.data intelligence Lite, você pode criar dois catálogos. Se você já tem um catálogo, ignore esta etapa. Caso contrário, complete as seguintes etapas para criar um catálogo para o qual você pode publicar o conjunto de dados de taxas de juros.

1. No menu Navegação , selecione Catálogos > Exibir todos os catálogos.

2. Se você vir um Catálogo de Aprovação de Hipoteca na página Catálogos , vá para Tarefa 10: Visualizar a saída e publicar em um catálogo. Caso contrário, siga estas etapas para criar um novo catálogo:

3. Clique em Criar Catálogo.

4. Para o Nome, copie e cole o nome do catálogo exatamente conforme mostrado sem espaços iniciais ou finais:

   Mortgage Approval Catalog
   

5. Selecione Aplicar regras de proteção de dados, confirme a seleção e aceite os padrões para os outros campos.

6. Clique em Criar.

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 11:31.

Siga estas etapas para visualizar o arquivo de saída no projeto e, em seguida, publicá-lo em um catálogo:

1. No menu Navegação , selecione Projetos > Exibir todos os projetos.

2. Abra o projeto de Integração de Dados

3. Na guia Ativos , clique em Dados> Ativos de dados

4. Abra o arquivo MORTGAGE_APPLICANTS_INTEREST_RATES.CSV.

5. Role para ver todas as colunas em seu conjunto de dados integrado com taxas de juros no final de cada entrada de dados.

6. Clique em Integração de dados na trilha de navegação e retorne ao projeto.

7. Na guia Ativos, clique no menu Excesso no final da linha do MORTGAGE_APPLICANTS_INTEREST_RATES.CSV arquivo e selecione Publicar no catálogo.

   1. Selecione o Catálogo de Aprovação de Hipoteca (ou o nome do catálogo) na lista e clique em Avançar.

   2. Selecione a opção para Acessar o catálogo após publicá-loe clique em Avançar.

   3. Revise os ativos e clique em Publicar.

8. No catálogo, procure por Mortgage

9. Abra o arquivo MORTGAGE_APPLICANTS_INTEREST_RATES.CSV.

10. Clique na guia Ativo para visualizar os dados.