Exemples de programmation d'un pipeline

Consultez des exemples pour la programmation d'un pipeline avec des scripts Bash, tels que l'installation de packages tiers, etc.

Utilisation de CPDCTL

Reportez-vous aux exemples pour vous initier à un exemple de code de bout en bout, notamment pour savoir comment déployer et surveiller des pipelines.

Programmation avec Bash

Il existe différents outils de développement que vous pouvez utiliser en exécutant des scripts Bash dans des pipelines.

Installation de packages avec Bash

Téléchargez les paquets (psql) requis sur n'importe quelle machine d' Linux ation en dehors du pod d'exécution, puis copiez les bibliothèques dans le volume monté par PXRuntime.

Remarque :

L'image RH UBI 9 est utilisée dans les pipelines 4.8.3 ou version ultérieure, tandis que RH UBI 8 est utilisée dans les pipelines 4.8.2 ou version antérieure. Vous devez extraire le package psql de Red-hat Package Manager.

  1. Téléchargez les paquets RPM d' PostgreSQL s sur une autre machine :
    yum install --downloadonly --downloaddir=/tmp/psql postgresql
  2. Extraire et reconstituer des paquets RPM :
    cd /tmp/psql
mkdir postgresql
cd postgresql
rpm2cpio ../openssh-*.rpm | cpio -idmv
# Repeat for each downloaded RPM package (cannot use wildcards)
  3. Créer une archive tar :
    cd /tmp/psql
tar -zcvf psql.tar.gz ./postgresql
  4. Copier vers le volume de stockage :
    # Copy files to px-runtime pod
oc cp psql.tar.gz <px-runtime-pod>:/px-storage/
  5. Extrait dans le pod d'exécution :
    # Remote shell into px-runtime pod
oc -n <cp4d-namespace> rsh <px-runtime-pod>
cd /px-storage
tar -xzf psql.tar.gz

Pour plus d'informations, consultez : Installation de bibliothèques tierces et création d'images personnalisées sur DataStage.

Configuration de l'environnement

  1. Créer un script « extra_config.sh » :
    # Create /px-storage/extra_config.sh with:
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/px-storage/postgresql/usr/lib64:/px-storage/postgresql/usr/lib:/px-storage/postgresql/usr/share
export PATH=$PATH:/px-storage/postgresql/usr/bin
  2. Appliquer la configuration au déploiement :
    oc set env deployment/<instance-name>-ibm-datastage-px-runtime DS_EXTRA_CONFIG_SH=/px-storage/extra_config.sh
oc set env sts/<instance-name>-ibm-datastage-px-compute DS_EXTRA_CONFIG_SH=/px-storage/extra_config.sh

Test et vérification

  1. Test dans un script Bash :
    # Verify installation
psql --version
pg_dump --version

# Test database connection
psql -U ${USER} -h ${HOST_IP} -p ${PORT} -d ${DB} -c "\l"

Utilisation des exemples d'API

Voir certains exemples d'utilisation de l'API Pipelines pour des cas tels que:

  • Répertorier tous les pipelines d'un projet.
  • Recherche un pipeline spécifique par ID.
  • Supprime un pipeline et ses versions.
  • Répertorie toutes les versions de pipeline d'un pipeline donné.
  • Obtient une version de pipeline par ID de version de pipeline.
  • Supprime une version de pipeline par ID de version de pipeline.
  • Télécharger un fichier de pipeline et créer un nouveau pipeline
  • Télécharger un fichier de pipeline et créer une nouvelle version de pipeline
  • Validez une version par défaut volatile préexistante à l'état Terminé.
  • Créez un nouveau pipeline à partir d'un pipeline existant.