Configurazione degli oggetti globali per l' Orchestration Pipelines

Utilizzare oggetti globali per creare costanti configurabili per configurare la pipeline in fase di esecuzione. Utilizzare i parametri o le variabili utente nelle pipeline per specificare i valori in fase di runtime, piuttosto che codificare in modo rigido i valori. A differenza dei parametri pipeline, le variabili utente possono essere impostate dinamicamente durante il flusso.

Impara a creare:

Parametri della pipeline

Utilizzare i parametri della pipeline per specificare un valore al runtime della pipeline. Ad esempio, se vuoi che un utente immetta uno spazio di distribuzione per l'output della pipeline, utilizza un parametro per richiedere il nome dello spazio da utilizzare quando viene eseguita la pipeline. Specificando il valore del parametro ogni volta che si esegue il job si utilizzano le risorse corrette.

Informazioni sui parametri della pipeline:

  • può essere assegnato come valore di nodo o per il lavoro della pipeline.
  • può essere assegnato a qualsiasi nodo e un indicatore di stato avvisa l'utente.
  • può essere utilizzato per più nodi.

Definizione di un parametro pipeline

  1. Crea un parametro pipeline dal pannello di configurazione del nodo dalla barra degli strumenti.
  2. Immettere un nome e una descrizione facoltativa. Il nome deve essere in minuscolo snake con lettere minuscole, numeri e caratteri di sottolineatura. Ad esempio, lower_snake_case_with_numbers_123 è un nome valido. Il nome deve iniziare con una lettera. Se il nome non è conforme, si riceve un errore 404 quando si tenta di eseguire la pipeline.
  3. Assegnare un tipo di parametro. A seconda del tipo di parametro, potrebbe essere necessario fornire maggiori dettagli o assegnare un valore predefinito.
  4. Clicca su Aggiungi all'elenco per salvare il parametro pipeline.
Nota:


- È possibile definire un singolo parametro o creare una serie di parametri. I parametri che vengono definiti singolarmente possono essere aggiunti anche a una serie.
- È possibile utilizzare un parametro della pipeline in modi che possono produrre risultati non supportati in una pipeline. Se si assegna un parametro con un asset generico come valore, è possibile selezionare un asset come valore del parametro non supportato dal nodo Copia asset .

Tipi di parametri

I tipi di parametri sono categorizzati come:

  • Basic: inclusi i tipi di dati per strutturare l'input su una pipeline o le opzioni per la gestione della creazione di uno spazio o asset duplicato.
  • Risorsa: per selezionare un progetto, un catalogo, uno spazio o un asset.
  • Istanza: per selezionare un'istanza di machine learning o un'istanza Cloud Object Storage .
  • Altro: per specificare i dettagli, come la modalità di creazione o la politica di errore.

Esempio di utilizzo dei tipi di pipeline

Per creare un parametro di tipo Percorso:

  1. Creare una serie di parametri denominata MASTER_PARAMETRI.
  2. Creare un parametro denominato file_path e impostare il tipo su Percorso.
  3. Impostare il valore di file_path su mnts/workspace/masterdir. Ci sono diversi modi per impostare il valore:
    • Seleziona risorsa: ricercare il file negli ambiti con la UI.
    • Immettere il valore: un testo valido per il percorso relativo del file, ad esempio /mnts/sender.txt.
  4. Trascinare il nodo Attendi file nell'area e impostare il valore Ubicazione file su MASTER_PARAMETER_SET.file_path.
  5. Connettere il nodo Attendi il file con il nodo Esegui script Bash in modo che l'ultimo nodo venga eseguito dopo il primo.
  6. Facoltativo: verificare la variabile del parametro:
    1. Aggiungere il parametro della variabile di ambiente alla serie di parametri MASTER_PARAMETER_SET , ad esempio FILE_PATH.
    2. Incollare il seguente comando nel Codice script di Esegui script Bash:
      echo File: $FILE_PATH
      cat $FILE_PATH
      
  7. Eseguire la pipeline. Il percorso mnts/workspace/masterdir si trova in entrambi i log di esecuzione dei nodi per visualizzarne il corretto passaggio.

Parametri codificati

È possibile fornire valori segreti ai parametri del lavoro per garantire la privacy e la sicurezza dei dati. Utilizzando il tipo di parametro codificato, è possibile fornire i valori dei parametri localmente e i valori dei parametri non vengono mai esposti o scritti in origini esterne.

Pianificazione dell'utilizzo dei dati codificati

I tipi di dati codificati vengono mantenuti interni come parametri. Quando la passi come una variabile di ambiente, viene memorizzata come un file montato temporaneamente.

Quando si pianifica di utilizzare il tipo di dati codificati, considerare i tipi di dati codificati:

  • sono disponibili solo per parametri Pipelines, valori di serie di parametri e variabili di ambiente.
  • deve essere un singolo valore (nessun elenco codificato).

Procedure ottimali per l'utilizzo di dati codificati

  • Non utilizzare i valori predefiniti per i tipi di dati codificati poiché tali valori sono memorizzati in formato codificato.
  • Quindi, utilizzare i tipi di input e output dei dati in Expression Builder. I valori crittografati forniti come espressioni che producono valori letterali stringa (ad esempio, "my secret value") vengono utilizzati come testo semplice.

Esempio di utilizzo di parametri codificati

  1. Creare una serie di parametri denominata MASTER_PARAMETRI.
  2. Creare un parametro denominato dummy_pass e impostare il tipo su Codificato.
  3. Impostare il valore di dummy_pass su qualsiasi valore.
  4. Trascinare il nodo Esegui script Bash nell'area.
  5. Aggiungere una variabile di ambiente denominata DB2PASSWORD e assegnarne il valore a MASTER_PARAMETER_SET.dummy_pass.
  6. Facoltativo: verificare la variabile del parametro:
    1. Incollare il seguente comando nel Codice script di Esegui script Bash:
      PARAM_VAL=$(<"$DB2PASSWORD")
      echo $PARAM_VAL
      
  7. Eseguire la pipeline. Consultare la password fittizia nel log del nodo Esegui script Bash e a PARAM_VAL viene ora assegnato il valore di $DB2PASSWORD.

Configurazione di un nodo con un parametro pipeline

Quando si configura un nodo con un parametro pipeline, è possibile scegliere un parametro pipeline esistente o crearne uno nuovo come parte della configurazione di un nodo.

Ad esempio:

  1. Creare un parametro pipeline chiamato creationmode e salvarlo nella lista dei parametri.
  2. Configurare un nodo Crea spazio di distribuzione e clicca per aprire il pannello di configurazione.
  3. Scegliere il parametro Pipeline come input per l'opzione Modalità di creazione .
  4. Scegliere il parametro pipeline creationmode e salvare la configurazione.

Quando si esegue il flusso, il parametro pipeline viene assegnato quando lo spazio viene creato.

Insiemi di parametri

Le serie di parametri sono un gruppo di parametri correlati da utilizzare in una pipeline. Ad esempio, è possibile creare una serie di parametri da utilizzare in un ambiente di test e un'altra da utilizzare in un ambiente di produzione.

Le serie di parametri possono essere create come asset di progetto. Le serie di parametri create nel progetto sono quindi disponibili per l'utilizzo nelle pipeline in tale progetto.

Creazione di una serie di parametri come asset di progetto

È possibile creare una serie di parametri come asset di progetto riutilizzabile da utilizzare nelle pipeline.

  1. Aprire un progetto esistente o creare un progetto.
  2. Fai clic su "Nuova risorsa" > "Definisci insiemi di parametri riutilizzabili ".
  3. Assegnare un nome per la serie e specificare i dettagli per ciascun parametro nella serie, incluso:
    • Nome per il parametro
    • Tipo di dati
    • Richiesta
    • Valore predefinito
  4. Facoltativamente, creare serie di valori per i parametri nella serie di parametri. Le serie di valori possono essere valori differenti per contesti differenti. Ad esempio, è possibile creare una serie di valori di test con valori per un ambiente di test e una serie di produzione per valori di produzione.
  5. Salvare la serie di parametri dopo aver creato tutti i parametri, s. Diventa disponibile per l'utilizzo nelle pipeline create in quel progetto.

Aggiunta di una serie di parametri da utilizzare in una pipeline

Per aggiungere una serie di parametri da un progetto:

  1. Fare clic sull'icona degli oggetti globali e passare alla scheda Serie di parametri.
  2. Fare clic su Aggiungi serie di parametri per aggiungere serie di parametri dal progetto che si desidera utilizzare nella pipeline.
  3. È possibile aggiungere o rimuovere serie di parametri dall'elenco. Le serie di parametri che specifichi per l'utilizzo nella tua pipeline diventano disponibili quando assegni parametri come input nella pipeline.

Creazione di una serie di parametri dall'elenco di parametri nella tua pipeline

È possibile creare una serie di parametri dall'elenco di parametri per la pipeline

  1. Fai clic sull'icona degli oggetti globali e apri i parametri della pipeline.
  2. Selezionare i parametri desiderati nella serie, quindi fare clic sull'icona Salva come serie di parametri .
  3. Immettere un nome e una descrizione facoltativa per la serie.
  4. Salva per aggiungere la serie di parametri da utilizzare nella tua pipeline.

Utilizzo di un parametro impostato in una pipeline

Per utilizzare una serie di parametri:

  1. Scegliere Assegna parametro pipeline come tipo di input da un foglio delle proprietà del nodo.
  2. Scegliere il parametro da assegnare. Un elenco visualizza tutti i parametri disponibili del tipo per tale input. I parametri disponibili possono essere singoli parametri e parametri definiti come parte di un insieme. Il nome della serie di parametri precede il nome del parametro. Ad esempio, Parameter_set_name.Parameter_name.
  3. Eseguire la pipeline e selezionare un valore impostato per il valore corrispondente (se disponibile), assegnare un valore per il parametro o accettare il valore predefinito.
Nota: è possibile utilizzare una serie di parametri nel builder dell'espressione utilizzando il formato ` param_sets.`. Se il valore di un set di parametri contiene una variabile di ambiente, è necessario utilizzare questa sintassi nel generatore di espressioni: `param_sets.MyParamSet["$ICU_DATA"]`.

Utilizzo delle serie di parametri predefinite del progetto

Un progetto può avere un parametro impostato denominato PROJDEF. Questa serie di parametri contiene i parametri e i valori delle variabili di ambiente per un job o un'esecuzione del job Pipelines. Poiché è una serie di parametri, è possibile utilizzare l'interfaccia utente della serie di parametri esistente per gestire queste variabili. La serie di parametri può essere importata in altri progetti.

Diffida che PROJDEF:

  • È possibile fare riferimento a una serie di parametri PROJDEF con il valore PROJDEF del parametro della pipeline.
  • Il valore PROJDEF è supportato per i parametri di tutti i tipi, ma solo per le variabili di ambiente stringa e codificate PROJDEF definite dall'utente.
  • I parametri della serie di parametri PROJDEF devono utilizzare lo stesso nome dei parametri della pipeline che hanno il valore PROJDEF.

Per utilizzare PROJDEF in un progetto:

  1. Creare la serie di parametri PROJDEF.

  2. Aggiungere il parametro al set di parametri PROJDEF, ad esempio $DB2_USERID.

  3. Aggiungere una variabile definita dall'utente con lo stesso nome nel flusso Pipelines.

  4. Aggiungere una variabile definita dall'utente con lo stesso nome nel flusso Pipelines.

  5. Fare clic su Modifica parametri locali o su Modifica serie di parametri per questo job che dipende da dove viene creata la variabile.

  6. Fare clic su Assegna PROJDEF dal menu a discesa Valore originato da per la variabile. Se PROJDEF non è disponibile, l'opzione di menu non viene visualizzata.

  7. Facoltativo: per immettere un valore di variabile da un metodo alternativo, fare clic sull'icona di disconnessione.

Per assegnare PROJDEF a tutti i parametri in una serie:

  1. Modificare le serie di valori facendo clic su Modifica valori per questo lavoro o simili.
  2. Fare clic sul menu a discesa Serie di parametri di origine .
  3. Selezionare PROJDEF.
Attenzione: se si elimina un parametro, assicurarsi di rimuovere i riferimenti al parametro dalla progettazione del job. Se non si rimuovono i riferimenti, il job potrebbe avere esito negativo.

Modifica di un parametro impostato in un lavoro

Se si utilizza una serie di parametri quando si definisce un lavoro, è possibile scegliere una serie di valori per popolare le variabili con i valori in tale serie. Se si modificano e si salvano i valori, si modifica il lavoro e si salvano le modifiche, i valori della serie di parametri vengono reimpostati sui valori predefiniti.

Variabili utente

Creare le variabili utente per assegnare i valori quando viene eseguito il flusso. A differenza dei parametri pipeline, le variabili utente possono essere modificate durante l'elaborazione.

Definizione di una variabile utente

È possibile creare variabili utente per l'utilizzo nella pipeline. Le variabili utente, come i parametri, sono definite a livello globale e non sono specifiche di alcun nodo. Il valore iniziale per una variabile utente deve essere impostato quando lo si definisce e non può essere impostato dinamicamente come risultato di qualsiasi output del nodo. Quando si definisce una variabile utente, è possibile utilizzare il nodo Imposta variabili utente per aggiornarla con l'output del nodo.

Per creare una variabile utente:

  1. Creare una variabile dal pannello di configurazione del nodo Aggiorna variabile o dalla barra degli strumenti.
  2. Immettere un nome e una descrizione facoltativa. Il nome deve essere in minuscolo snake con lettere minuscole, numeri e caratteri di sottolineatura. Ad esempio, lower_snake_case_with_numbers_123 è un nome valido. Il nome deve iniziare con una lettera. Se il nome non è conforme, si riceve un errore 404 quando si tenta di eseguire la pipeline.
  3. Completare la definizione della variabile, inclusa la selezione di un tipo di variabile e di un tipo di input.
  4. Selezionare l'opzione per Rendi il valore della variabile utente disponibile come risultato della pipeline. L'opzione abilita l'utilizzo del valore come output da qualsiasi nodo Esegui lavoro pipeline eseguito in questa pipeline. Vedi Variabili utente nei risultati della pipeline per dettagli sull'utilizzo.
  5. Clicca su Aggiungi per aggiungere la variabile all'elenco. Ora è disponibile per l'utilizzo in un nodo.

Variabili utente nei risultati della pipeline

Se una variabile utente può essere utilizzata come risultato, diventa disponibile come output in qualsiasi lavoro associato a questa pipeline.

Un caso d'uso comune è quello di poter utilizzare un valore calcolato in una pipeline da un'altra pipeline che lo esegue. Puoi archiviare il nome file in una variabile utente ed eseguire quindi la pipeline da un'altra pipeline con il nome file come input per uno script Bash.

Configurazione delle caratteristiche della mappa

Le seguenti sono funzioni della pipeline che vengono attivate aggiornando le impostazioni della mappa di configurazione.

Configurazione del limite di dimensione per una variabile utente


È possibile modificare la dimensione delle variabili utente nella mappa di configurazione Pipelines.
  1. Apri la tua configmap eseguendo il comando kubectl edit -n <namespace> configmap watson-pipelines-config dove namespace è il tuo spazio dei nomi dell'istanza Cloud Pak for Data .
  2. Imposta il valore per user_variables_size_limit con il valore in formato quantità Kubernetes .
  3. Riavvia i tuoi pod Tekton eseguendo il comando kubectl -n <namespace> delete pod -l 'app=tekton-extensions-controller'.

Imposta un fuso orario

È possibile impostare il fuso orario nella propria configmap.

  1. Apri la tua configmap eseguendo il comando kubectl edit -n <namespace> configmap watson-pipelines-config dove namespace è il tuo spazio dei nomi dell'istanza Cloud Pak for Data .
  2. Imposta il valore per il tuo fuso orario con il seguente esempio di codice:
    apiVersion: v1
    kind: ConfigMap
    metadata:
       name: watson-pipelines-config
       namespace: zen
    data:
       default_container_env: |
          - name: TZ
            value: America/New_York
    
  3. Impostare il valore del fuso orario in Pipelines CR:
    oc patch wspipelines wspipelines-cr -p '{"spec":{"timezone":"America/New_York"}}' --type=merge
    
  4. Attendi il completamento della riconciliazione con:
    oc get wspipelines wspipelines-cr