PostgreSQL configuration de la lignée

Pour importer des métadonnées de lignée depuis PostgreSQL,, créez une connexion, une définition de source de données et une tâche d'importation de métadonnées.

Ces informations s'appliquent au service IBM Manta Data Lineage.

Pour importer les métadonnées de lignée dans l' PostgreSQL,, procédez comme suit :

  1. Créer une définition de source de données.
  2. Établissez une connexion à la source de données dans un projet.
  3. Créer une importation de métadonnées.

Création d'une définition de source de données

Créer une définition de source de données. Sélectionnez « PostgreSQL » comme type de source de données.

Établir une connexion à PostgreSQL

Établissez une connexion à la source de données dans un projet. Pour plus d'informations sur la connexion, consultez la page PostgreSQL connection.

Création d'une importation de métadonnées

Créer une importation de métadonnées. En savoir plus sur les options spécifiques à la source de données « PostgreSQL » :

Mode de connexion

Vous pouvez vous connecter à PostgreSQL en utilisant l'un des modes de connexion suivants :

Listes d'inclusion et d'exclusion

Vous pouvez inclure ou exclure des actifs jusqu'au niveau du schéma. Fournir les bases de données et les schémas dans le format base de données/schéma. Chaque partie est évaluée comme une expression régulière. Les actifs ajoutés ultérieurement dans la source de données seront également inclus ou exclus s'ils répondent aux conditions spécifiées dans les listes. Exemples de valeurs :

  • myDB/: tous les schémas de myDB la base de données.
  • myDB2/.*: tous les schémas de myDB2 la base de données.
  • myDB3/mySchema1: mySchema1 schéma issu de myDB3 la base de données.
  • myDB4/mySchema[1-5]: tout schéma de ma myDB4 base de données dont le nom commence par mySchema et se termine par un chiffre compris entre 1 et 5.

Entrées externes

Si vous utilisez des scripts SQL provenant d' PostgreSQL s externes, vous pouvez les ajouter dans un fichier.zip en tant que fichier d'entrée externe. Vous pouvez organiser la structure d'un fichier .zip en sous-dossiers qui représentent des bases de données et des schémas. Une fois les scripts analysés, ils sont ajoutés sous les bases de données et les schémas respectifs dans le catalogue ou le projet sélectionné. Le fichier.zip peut présenter la structure suivante :

    <database_name>
        <schema_name>
           <script_name.sql>
    <database_name>
        <script_name.sql>
    <script_name.sql>
    replace.csv

Ce replace.csv fichier contient les remplacements des espaces réservés pour les scripts inclus dans le fichier.zip. Pour plus d'informations sur le format, consultez la section « Remplacement des espaces réservés ».

Options d'importation avancées

Extraire les attributs étendus
Vous pouvez extraire des attributs étendus tels que la clé primaire et les contraintes d'intégrité unique et référentielle des colonnes. Par défaut, ces attributs ne sont pas extraits.
Mode d'extraction
Vous pouvez choisir le mode d'extraction à utiliser pour les métadonnées importées. Vous disposez des options suivantes :
  • Prélecture : à utiliser pour les bases de données relationnelles.
  • Parallèle en bloc : à utiliser pour les moteurs de traitement analytique.
  • Unité d'exécution unique : à utiliser pour éviter le parallélisme et les grandes requêtes lors de l'extraction. Lorsque vous sélectionnez ce mode, les performances peuvent être faibles.
Profil de performances
Pour certaines sources de données, vous pouvez sélectionner un profil de performances. Selon vos besoins actuels, l'importation des métadonnées de lignée peut s'avérer plus rapide ou plus complète. Vous pouvez choisir parmi les profils suivants :
  • Rapidité : ce profil privilégie avant tout une faible consommation de temps et de mémoire. Si votre fichier d'entrée est volumineux, la généalogie risque de ne pas être complète.
  • Équilibre : tant les performances que l'exhaustivité de la lignée sont importantes. C'est un compromis entre l'exhaustivité de l'arborescence et le temps et la mémoire consacrés à l'importation de celle-ci.
  • Exhaustivité : l'exhaustivité de la lignée est la priorité de ce profil. Si votre fichier d'entrée est volumineux, l'importation de l'historique peut nécessiter beaucoup de ressources et prendre un certain temps.
  • Profil personnalisé : vous pouvez créer votre propre profil de performances en définissant les valeurs des propriétés suivantes :
    • Limite de délai d'analyse du flux de données : indique la durée maximale estimée (en secondes) au-delà de laquelle l'analyse du flux de données d'une entrée unique est interrompue. L'heure est vérifiée lors de l'ajout de chaque nœud ou, dans certains cas, lors de la création d'arêtes. Par conséquent, dans certains cas, le délai d'attente peut légèrement dépasser la limite spécifiée. Si vous définissez cette valeur sur 0, l'analyse ne s'arrête pas. Exemple de valeur : 60.
    • Limite du nombre d'arêtes dans l'analyse du flux de données : spécifie le nombre maximal d'arêtes autorisées pour une entrée donnée lors de l'analyse du flux de données. Si cette limite est dépassée, tous les bords de filtre sont supprimés et aucun autre bord de filtre n'est ajouté. Si la limite est toujours dépassée après cela, l'analyse est interrompue et l'entrée échoue. Pour désactiver la limite, réglez la valeur sur 0. Exemple de valeur : 2500.
Extraction de la logique de transformation
Vous pouvez activer la génération de descriptions de la logique de transformation à partir du code SQL dans les scripts SQL.

En savoir plus