Gestion d'un moteur distant pour DataStage Anywhere

DataStage® Anywhere prend en charge la maintenance, les mises à jour et d'autres considérations relatives aux données avec des moteurs d'exécution distants.

Maintenance

Vous êtes responsable de la gestion de votre plan de données via le moteur distant. Des scripts automatisés sont disponibles pour mettre à jour un moteur distant, ce que vous pouvez faire en téléchargeant l'image de conteneur dans vos registres internes et en effectuant le déploiement avec ces registres internes. https://github.com/IBM/DataStage/blob/main/RemoteEngine/docker/README pour des contrôles simples, y compris la création, l'exécution, le nettoyage et la mise à niveau d'un moteur à distance.

Mise à l'échelle

Vous pouvez ajouter ou supprimer des moteurs distants pour mettre à l'échelle des déploiements tout au long du mois. Il n'y a pas de limite de déploiement, mais vous êtes facturé pour la quantité maximale de VPC déployés chaque mois, qu'ils soient ou non utilisés.

Reprise après incident

Déployez des moteurs distants supplémentaires pour prendre en charge la reprise après incident.

Observabilité des données

Vous pouvez mettre en place une solution d'observabilité dans votre plateforme de gestion de conteneur. Databand est intégré à DataStage Anywhere et peut surveiller les pipelines DataStage.

Stockage

L'opérateur DataStage monte le stockage par défaut sur les pods Kubernetes du moteur distant. Pour ajouter du stockage supplémentaire avec des volumes persistants, voir https://www.ibm.com/docs/en/cloud-paks/cp-data/5.0.x?topic=administering-setting-up-nfs-mount.

Activation d'un autre emplacement de Cloud Object Storage pour les journaux des moteurs distants

Par défaut, les journaux d'exécution des tâches pour le moteur distant sont poussés vers le seau par défaut dans IBM Cloud Object Storage (COS). Vous pouvez activer un autre emplacement COS pour le stockage des journaux d'exécution des tâches.

Pour désactiver le transfert des journaux d'exécution des tâches vers le bac par défaut IBM COS pour le déploiement kubernetes, utilisez la commande suivante :

kubectl -n <namespace> set env deployment/<instance-name>-ibm-datastage-px-runtime DISABLE_REMOTE_LOG_PUSH=true

Pour activer le transfert des journaux vers l'emplacement COS alternatif, pour le déploiement kubernetes, utilisez la commande suivante qui crée le secret contenant le nouvel emplacement COS :

kubectl -n <namespace> create secret generic datastage-log-cos-location \
--from-literal=CUSTOM_S3_BUCKET_NAME=<bucket-name> \
--from-literal=CUSTOM_S3_REGION=<region> \
--from-literal=CUSTOM_S3_ENDPOINT=<endpoint> \
--from-literal=CUSTOM_S3_ACCESS_KEY=<access-key> \
--from-literal=CUSTOM_S3_SECRET_KEY=<secret-key>

Cette commande déclenche le redémarrage du pod. Si vous utilisez d'abord la commande de désactivation, vous devez redémarrer le pod manuellement.

Importation/exportation d'actifs

Pour éviter les problèmes de configuration de l'environnement de travail, utilisez la fonction DataStage la fonction spécifique d'importation/exportation.

Créer un nouveau projet et mettre à jour les paramètres du projet pour le lier au moteur distant.
Utilisez cpdctl dsjob pour exporter des éléments du projet d'origine.
Utilisez cpdct dsjob pour importer des ressources dans le nouveau projet lié au moteur distant.

Définition des informations sur le proxy

Le déploiement de conteneurs prend en charge les informations de proxy. Pour définir les informations de proxy sur un moteur distant pour DataStage Anywhere, définissez la variable d'environnement suivante dans le conteneur :

REMOTE_HTTPS_PROXY=http://username:password@host:port

Actuellement, la prise en charge du proxy n'est pas disponible pour le déploiement de Kubernetes.

Limitation des noms de ressources personnalisés

Lors de la création d'une ressource personnalisée (CR), veillez à ce que le nom de la CR ne comporte pas plus de 28 caractères.

Configuration des paramètres au niveau d'un travail ou d'un projet

Vous pouvez remplacer manuellement les paramètres au niveau d'un travail ou d'un projet en utilisant la commande cpdctl dans le module du moteur distant.

Au niveau d'un travail, vous pouvez fournir la variable d'environnement suivante : APT_PARAM_VALUE_FILE avec un fichier de paramètres à remplacer comme valeur. Exemple :

APT_PARAM_VALUE_FILE=/ds-storage/param.txt

Au niveau du projet, exécutez la commande suivante : /ds-storage/PXRuntime/Projects/<projectId>/.local_jpfile dans le répertoire suggéré.