Tutoriel d'intégration de données : Transformer les données par lots avec DataStage

Commencez par un flux de base DataStage qui joint les ensembles de données des demandeurs et des demandes de prêts hypothécaires, puis transmet le résultat à un fichier CSV dans le projet. Suivez les étapes suivantes pour exécuter le flux DataStage :

1. Démarrer dans le projet d' intégration de données. Si le projet n'est pas ouvert, procédez comme suit :

   1. Dans le menu Navigation , sélectionnez Projets > Afficher tous les projets.

   2. Ouvrez le projet d' intégration de données.

2. Cliquez sur l'onglet Actifs pour afficher tous les actifs du projet.

3. Cliquez sur Flux > DataStage flux.

4. Cliquez sur le flux d' intégration de données dans la liste pour l'ouvrir. Ce flux relie les tables Mortgage Applicants et Mortgage Applications qui sont stockées sur Db2 Warehouse, filtre les données sur les enregistrements de l'État de Californie et crée un fichier séquentiel au format CSV en sortie.

5. Cliquez sur l'icône d'agrandissement et l'icône de réduction dans la barre d'outils pour définir votre vue préférée de la toile.

6. Cliquez deux fois sur le noeud MORTGAGE_APPLICATIONS_1 pour afficher les paramètres.

   1. Développez la section Propriétés.

   2. Faites défiler vers le bas, puis cliquez sur Prévisualiser les données. Cet ensemble de données comprend les informations saisies dans une demande de prêt hypothécaire.

   3. Cliquez sur Fermer.

7. Cliquez deux fois sur le noeud MORTGAGE_APPLICANTS_1 pour afficher les paramètres.

   1. Développez la section Propriétés.

   2. Faites défiler vers le bas, puis cliquez sur Prévisualiser les données. Cet ensemble de données comprend des informations sur les demandeurs de prêts hypothécaires qui ont déposé une demande de prêt.

   3. Facultatif : Visualisez les données.

      1. Cliquez sur le panneau Graphique.

      2. Dans la liste des colonnes à visualiser, sélectionnez ÉTAT.

      3. Cliquez sur Visualiser les données pour afficher un diagramme circulaire montrant la répartition des données par État.

      4. Dans la section Type de graphique, cliquez sur l'icône Treemap pour afficher les mêmes données dans un graphique treemap.

   4. Cliquez sur Fermer.

8. Double-cliquez sur le nœud Join_on_ID pour afficher les paramètres.

   1. Développez la section Propriétés.

   2. Notez que la clé de jointure est la colonne ID.
      

   3. Cliquez sur Annuler pour fermer les paramètres.

9. Cliquez sur l'icône Journaux dans la barre d'outils pour suivre la progression du flux.

10. Cliquez sur Compiler, puis sur Exécuter. Vous pouvez également cliquer sur Exécuter, ce qui compile et exécute le flux DataStage. La course peut durer environ une minute.

11. Consulter les journaux. Vous pouvez utiliser le nombre total de lignes et le nombre de lignes/seconde pour chaque étape du flux afin de vérifier visuellement que le filtre fonctionne comme prévu.

12. Une fois l'exécution terminée, cliquez sur Intégration des données dans le chemin de navigation pour revenir au projet.
    

13. Dans l'onglet Actifs, cliquez sur Données > Actifs de données.

14. Ouvrir le MORTGAGE_DATA.CSV fichier. Vous pouvez constater que ce fichier contient les colonnes des ensembles de données des demandeurs d'hypothèque et des demandes d'hypothèque.

Maintenant que vous avez joint les données du demandeur d'hypothèque et de la demande, vous êtes prêt à modifier le flux DataStage :

• Tâche 2 : Spécifier une colonne clé pour l'étape Join.
• Tâche 3 : Ajouter des données de score de crédit à partir d'une base de données PostgreSQL.
• Tâche 4 : Ajouter une étape de jointure pour joindre les données du score de crédit aux données du demandeur et de la demande.
• Tâche 5 : Ajouter une étape Transformateur pour calculer la dette totale.
• Tâche 6 : Ajouter des données sur les taux d'intérêt à partir d'une base de données MongoDB.
• Tâche 7 : Ajouter une étape de recherche pour rechercher les taux d'intérêt pour les demandeurs en fonction de leurs scores de crédit et des fourchettes de taux d'intérêt quotidiens de la Golden Bank.

L'identification d'une colonne clé indique à DataStage que cette colonne contient des valeurs uniques. Le nœud Join_on_ID joint les ensembles de données des demandeurs d'hypothèque et des demandes d'hypothèque en utilisant la colonne ID comme clé de jointure. La phase suivante consiste à joindre l'ensemble de données ainsi obtenu aux données relatives au score de crédit. Plus tard, vous joindrez les données filtrées qui en résultent à l'ensemble des données relatives à la solvabilité. La deuxième jointure utilisera la colonne EMAIL_ADDRESS comme clé de jointure. Dans cette tâche, vous modifiez le flux DataStage pour spécifier la colonne EMAIL_ADDRESS comme colonne clé pour l'ensemble de données résultant lorsqu'il est joint aux données de score de crédit.

Procédez comme suit pour modifier les paramètres du nœud Join :

1. Cliquez sur Intégration des données dans le chemin de navigation pour revenir au projet.
   

2. Dans l'onglet Actifs, cliquez sur Flux > DataStage flux.

3. Ouvrez le flux d' intégration de données.

4. Cliquez deux fois sur le noeud ID_joint_joint_joint_jointes pour modifier les paramètres.

5. Cliquez sur l'onglet Sortie et développez la section Colonnes pour afficher la liste des colonnes du fichier joint.

6. Cliquez sur le bouton Editer.

7. Pour le nom de colonne EMAIL_ADDRESS, sélectionnez Clé.

8. Cliquez sur Appliquer et renvoyer pour revenir aux paramètres du noeud Join_on_ID.

9. Cliquez sur Sauvegarder pour enregistrer les paramètres du noeud Join_on_ID.

Procédez comme suit pour ajouter au flux DataStage les données relatives à l'évaluation du crédit qui sont stockées dans une base de données PostgreSQL :

1. Dans la palette de nœuds, développez la section Connecteurs.

2. Faites glisser le connecteur du navigateur d'actifs sur le canevas à côté du nœud MORTGAGE_APPLICANTS_1 nœud.

3. Localisez l'actif en sélectionnant Connection > Data Fabric Trial - Databases for PostgreSQL > BANKING > CREDIT_SCORE.

   Remarque : cliquez sur le nom de la connexion ou du schéma au lieu de la case à cocher pour développer la connexion et le schéma.

   

4. Cliquez sur l'icône Aperçu pour prévisualiser les données relatives à la cote de crédit de chaque candidat.

5. Cliquez sur Ajouter.

Suivez les étapes suivantes pour ajouter une autre étape de jointure afin de joindre les données filtrées de la demande de prêt hypothécaire et du demandeur de prêt hypothécaire aux données du pointage de crédit dans le flux DataStage :

1. Dans la palette de nœuds, développez la section Étapes.

2. Faites glisser l'étape Join sur le canevas et déposez le nœud sur la ligne de liaison entre les nœuds Filter_State_Code et Sequential_file_1 et le nœud

3. Survolez le connecteur CREDIT_SCORE_1 pour afficher la flèche. Connectez la flèche à l'étape de Jointure.

4. Cliquez deux fois sur le noeud CREDIT_SCORE_1 pour modifier les paramètres.

   1. Cliquez sur l'onglet Sortie et développez la section Colonnes pour afficher la liste des colonnes du fichier joint.

   2. Cliquez sur le bouton Editer.

   3. Pour les noms de colonne EMAIL_ADDRESS et CREDIT_SCORE, sélectionnez Clé.

   4. Cliquez sur Appliquer et renvoyer pour revenir aux paramètres du noeud CREDIT_SCORE_1.

   5. Cliquez sur Sauvegarder pour enregistrer les paramètres du noeud CREDIT_SCORE_1.

5. Cliquez deux fois sur le noeud Join_1 pour modifier les paramètres.

   1. Développez la section Propriétés.

   2. Cliquez sur Ajouter une clé.

      1. Cliquez à nouveau sur Ajouter une clé.

      2. Sélectionnez EMAIL_ADDRESS dans la liste des clés possibles.

      3. Cliquez sur Appliquer.

   3. Cliquez sur Appliquer et renvoyer pour revenir aux paramètres du noeud Join_1 .

   4. Remplacez le nom du noeud Join_1 par Join_on_email.

   5. Cliquez sur Sauvegarder pour enregistrer les paramètres du noeud Join_1.

1. Cliquez sur Appliquer et renvoyer pour revenir à la page de transformateur.

2. Pour le nom de la colonne CREDIT_SCORE, sélectionnez Clé.

3. Cliquez sur l'onglet Stage.

   1. Sélectionnez la page Avancé.

   2. Modifier le mode d'exécution en mode séquentiel.

4. Cliquez sur Enregistrer et renvoyer pour revenir au canevas.

Suivez ces étapes pour inclure les taux d'intérêt dans le flux en ajoutant un connecteur de ressources de données à une base de données MongoDB :

1. Dans la palette de nœuds, développez la section Connecteurs.

2. Faites glisser le connecteur Navigateur d'actifs sur la grille à coté du noeud CREDIT_SCORE_1.

3. Localisez l'actif en sélectionnant Connection > Data Fabric Trial - Mongo DB > DOCUMENT > DS_INTEREST_RATES.

4. Cliquez sur l'icône Aperçu pour obtenir un aperçu des taux d'intérêt pour chaque fourchette de cote de crédit.
   
   Vous pouvez utiliser les valeurs des colonnes STARTING_LIMIT et ENDING_LIMIT pour rechercher le taux d'intérêt approprié en fonction de la cote de crédit du demandeur. La colonne ID n'est pas nécessaire, vous devez donc supprimer cette colonne à l'étape suivante.

5. Cliquez sur Ajouter.

En fonction du score de crédit de chaque demandeur, vous devez rechercher le taux d'intérêt approprié. Suivez les étapes suivantes pour ajouter une étape de recherche et spécifier la fourchette des limites de début et de fin de la cote de crédit pour chaque taux d'intérêt :

1. Dans la section Stages, faites glisser le stage Lookup sur le canevas, et déposez le nœud sur la ligne de liaison entre les symboles Transformer_1 et Sequential_file_1 sur la ligne de liaison.

2. Connectez le connecteur DS_INTEREST_RATES_1 à l'étape Lookup_1.

3. Cliquez deux fois sur le noeud DS_INTEREST_RATES_1 pour modifier les paramètres.

4. Cliquez sur l'onglet Sortie.

   1. Développez la section Colonnes et cliquez sur Éditer.

   2. Sélectionnez la colonne _ID.

   3. Cliquez sur l'icône Supprimer pour supprimer la colonne _ID.

   4. Cliquez sur Appliquer et renvoyer pour revenir aux paramètres du noeud DS_INTEREST_RATES_1.

   5. Cliquez sur Sauvegarder pour enregistrer les modifications apportées au noeud DS_INTEREST_RATES_1.

5. Cliquez deux fois sur le noeud Lookup_1 pour modifier les paramètres.

6. Développez la section Propriétés.

   1. Dans la zone Appliquer la plage aux colonnes, sélectionnez CREDIT_SCORE. Les champs des colonnes Liens de référence, Opérateur et Plage s'affichent.

   2. Pour les liens de référence, sélectionnez Link_9.

      Note : Votre numéro de lien peut être différent.

   3. Pour le premier opérateur, sélectionnez <=.

   4. Pour la première Colonne de plage, sélectionnez ENDING_LIMIT.

   5. Pour le deuxième opérateur, sélectionnez >=.

   6. Pour la seconde colonne de plage, sélectionnez STARTING_LIMIT.

7. Cliquez sur l'onglet Sortie.

   1. Développez la section Colonnes et cliquez sur Éditer.

   2. Sélectionnez les colonnes STARTING_LIMIT et ENDING_LIMIT.

   3. Cliquez sur l'icône Supprimer pour supprimer ces colonnes STARTING_LIMIT et ENDING_LIMIT inutiles.

   4. Cliquez sur Appliquer et renvoyer pour revenir aux paramètres du noeud Lookup_1.

   5. Cliquez sur Sauvegarder pour enregistrer les modifications apportées au noeud Lookup_1.

Suivez ces étapes pour modifier le nœud Sequential file afin de créer un fichier de sortie final en tant que ressource de données dans le projet, puis compilez et exécutez le flux DataStage :

1. Cliquez deux fois sur le noeud Sequential_file_1 pour modifier les paramètres.

2. Cliquez sur l'onglet Entrée.

3. Développez la section Propriétés.

4. Pour le fichier cible, copiez et collez MORTGAGE_APPLICANTS_INTEREST_RATES.CSV comme nom de fichier.

5. Sélectionnez Créer un actif de données.

6. Dans le champ Première ligne est le nom des colonnes, sélectionnez Vrai.

7. Cliquez sur Sauvegarder.

8. Cliquez sur Exécuter, ce qui compile et exécute le flux DataStage. L'opération dure environ 1 minute.

9. Cliquez sur Logs dans la barre d'outils pour suivre la progression du flux. Il est normal de voir des avertissements pendant l'exécution, puis de constater que le flux s'est déroulé avec succès.