Configurazione dei nodi pipeline

Parametri di input

Parametri di output

Parametri di input

Parametri di output

Note:

• Se si esportano gli asset del progetto che contengono un notebook, l'ultima versione del notebook viene inclusa nel file di esportazione. Se la pipeline con il nodo Esegui lavoro notebook è stata configurata per utilizzare una versione del notebook diversa dalla versione più recente, la pipeline esportata viene automaticamente riconfigurata per utilizzare la versione più recente quando viene importata. Ciò potrebbe produrre risultati imprevisti o richiedere una riconfigurazione dopo l'importazione.

• Se gli asset sono contenuti in modo autonomo nel progetto esportato, vengono conservati quando si importa un nuovo progetto. In caso contrario, potrebbe essere richiesta una certa configurazione in seguito ad un'importazione di asset esportati.

Parametri di input

Note: Dopo aver importato un file, i percorsi e i riferimenti ai beni importati vengono aggiornati, seguendo queste regole:

• I riferimenti agli asset dal progetto esportato o dallo spazio vengono aggiornati nel nuovo progetto o nello spazio dopo l'importazione.
• Se gli asset dal progetto esportato si riferiscono ad asset esterni (inclusi in un progetto diverso), il riferimento all'asset esterno persisterà dopo l'importazione.
• Se l'asset esterno non esiste più, il parametro viene sostituito con un valore vuoto ed è necessario riconfigurare il campo in modo che punti ad un asset valido.

Prerequisiti

• Gli utenti devono configurare le preferenze dell'utente per ricevere email.
• Il servizio SMTP deve essere configurato sul cluster Cloud Pak for Data . Per ulteriori informazioni, consultare Abilitazione delle notifiche email. Nota: è necessario configurare un amministratore per SMTP prima di completare l'installazione della posta.

Parametri di input

Parametri di output

Parametri di input

Parametri di output

Parametri di input

Parametri di output

Parametri di input

Parametri di output

Parametri di input

Parametri di output

Parametri di input

| Modalità di creazione (facoltativo) | Come gestire un caso in cui la pipeline tenta di creare uno spazio e ne esiste uno con lo stesso nome. Uno tra: ignore, fail, overwrite| | Descrizione spazio (facoltativo) | Descrizione spazio |

Parametri di output

Parametri di input

Parametri di output

Parametri di input

Parametri di output

Parametri di input durante l'iterazione dei tipi di elenco

Parametri di input durante l'iterazione dei tipi String

Se il tipo di elemento array di input è JSON o qualsiasi tipo rappresentato come tale, questo campo potrebbe decomporlo come dizionario. I tasti sono le chiavi elemento originali e i valori sono gli alias per i nomi di output.

Parametri di output

Parametri di input

Dopo aver configurato l'intervallo iterativo del loop, definire un flusso di pipeline secondaria all'interno del loop da eseguire fino a quando il loop non è completo. Ad esempio, può richiamare notebook, script o altri flussi per iterazione.

Parametri di output

Parametri di input

• Per le espressioni, utilizzare l'Expression Builder integrato per creare una variabile che deriva da un'espressione personalizzata.
• Per i parametri pipeline, assegnare un parametro pipeline e utilizzare il valore del parametro come input per la variabile utente.

Parametri di input

La modalità terminator può essere:

• Terminare la pipeline e tutti i lavori in esecuzione interromperla tutti i lavori e arresta la pipeline.
• Annulla tutti i lavori in esecuzione quindi termina la pipeline annulla qualsiasi lavoro in esecuzione prima di arrestare la pipeline.
• Terminate pipeline run dopo aver eseguito la finitura dei lavori attende che i lavori di esecuzione finiscano, quindi arresta la pipeline.
• Terminare pipeline che viene eseguito senza arrestare i lavori interromperla la pipeline ma consente di continuare i lavori in esecuzione.

Parametri di input

Parametri di output

Parametri di input

Parametri di output

Parametri di input

Parametri di output

Parametri di input

Parametri di output

Parametri di input

Parametri di output

Parametri di input

Parametri di output

Regole per l'output degli script della shell Bash o Korn

L'output di uno script è spesso il risultato di un'espressione calcolata e può essere di grandi dimensioni. Quando si esaminano le proprietà per uno script con un output di grandi dimensioni valido, è possibile visualizzare l'anteprima o scaricare l'output in un visualizzatore.

Queste regole gestiscono il tipo di output di grandi dimensioni valido.

• L'output di un list_expression è un'espressione calcolata, quindi è valido un output di grandi dimensioni.
• L'output della stringa viene trattato come un valore letterale piuttosto che come un'espressione calcolata, quindi deve seguire i limiti di dimensione che gestiscono le espressioni in linea. Ad esempio, si viene avvisati quando un valore letterale supera 1 KB e i valori di 2 KB e superiori risultano in un errore.
• È possibile includere messaggi di errore standard nell'output standard (standard_output) e visualizzarli, ad esempio con la funzione GetCommandOutput .

Riferimento a una variabile in uno script

Il modo in cui si fa riferimento a una variabile in uno script dipende dal fatto che la variabile sia stata creata come variabile di input o come variabile di output. Le variabili di emissione vengono create come un file e richiedono un percorso file nel riferimento. In particolare:

• Le variabili di input sono disponibili utilizzando il nome assegnato
• I nomi delle variabili di output richiedono che _PATH sia aggiunto al nome della variabile per indicare che i valori devono essere scritti nel file di output indicato dalla variabile {output_name}_PATH .

Utilizzo di SSH negli script Bash

La seguente procedura descrive come utilizzare ssh per eseguire lo script Bash remoto.

1. Creare una chiave privata e una chiave pubblica.
   

   ssh-keygen -t rsa -C "XXX"
   

2. Copiare la chiave pubblica sull'host remoto.
   

   ssh-copy-id USER@REMOTE_HOST
   

3. Sull'host remoto, verificare se il contenuto della chiave pubblica è stato aggiunto in /root/.ssh/authorized_keys.
   
4. Copiare le chiavi pubbliche e private in una nuova directory nel nodo Esegui script Bash .

   mkdir -p $HOME/.ssh
   
   #copy private key content
   echo "-----BEGIN OPENSSH PRIVATE KEY-----
   ... ...
   -----END OPENSSH PRIVATE KEY-----" > $HOME/.ssh/id_rsa
   
   #copy public key content
   echo "ssh-rsa ...... " > $HOME/.ssh/id_rsa.pub
   
   chmod 400 $HOME/.ssh/id_rsa.pub
   chmod 400 $HOME/.ssh/id_rsa
   
   ssh -o StrictHostKeyChecking=no -o UserKnownHostsFile=/get-started/null -o GlobalKnownHostsFile=/get-started/null -i $HOME/.ssh/id_rsa USER@REMOTE_HOST "cd /opt/scripts; ls -l; sh 1.sh"
   

Utilizzo dei programmi di utilità SSH negli script Bash

La seguente procedura descrive come utilizzare sshpass per eseguire lo script Bash remoto.

1. Inserire il file di password SSH nel percorso di sistema, ad esempio il percorso del volume di archiviazione montato.
2. Utilizzare la password SSH direttamente nel nodo Esegui script Bash :

   cd /mnts/orchestration
   ls -l sshpass
   chmod 777 sshpass
   ./sshpass -p PASSWORD ssh -o StrictHostKeyChecking=no USER@REMOTE_HOST "cd /opt/scripts; ls -l; sh 1.sh"
   

Parametri di input

Parametri di output

Parametri di input

Parametri di output

Parametri di input

Parametri di output

Parametri di input

Note:

• Le variabili d'ambiente definite in una pipeline non possono essere utilizzate per i lavori su notebook eseguiti al di fuori di Orchestration Pipelines.
• È possibile eseguire un notebook da un pacchetto di codice in un pacchetto regolare.

Parametri di output

Parametri di input

Parametri di output

Note per l'esecuzione di lavori di pipeline nidificati

Se si crea una pipeline con pipeline nidificate ed si esegue un job di pipeline dal livello superiore, le pipeline vengono denominate e salvate come asset di progetto che utilizzano questa convenzione:

• Il lavoro di pipeline di primo livello è denominato "Trial job - pipeline guid".
• Tutti i lavori successivi sono denominati "pipeline pipeline guid".

Parametri di input

Parametri di output

Parametri di input

Parametri di output

Input

Output

Input

Output

Input

Output