CLI del servizio Spark

La CLI Analytics Engine con tecnologia Apache Spark fornisce opzioni della linea di comando per interagire con le istanze. Puoi gestire le istanze e le applicazioni Spark utilizzando la CLI.

Prima di iniziare

Prima di iniziare a utilizzare la CLI Apache Spark , devi definire la seguente variabile di ambiente perché lo spazio nomi analytics-engine è nascosto dietro un indicatore di funzione.

È necessario definire la variabile di ambiente CPDCTL_ENABLE_ANALYTICS_ENGINE come segue:

CPDCTL_ENABLE_ANALYTICS_ENGINE=1

Comando della guida CLI

Il comando della guida della CLI del servizio Spark ti mostra i comandi di supporto CLI supportati per:

cpdctl analytics-engine --help

Per informazioni su un particolare comando, utilizzare:

cpdctl analytics-engine [command] --help

Comandi di gestione istanze

Il comando della guida per la gestione dell'istanza mostra i comandi CLI di gestione dell'istanza supportati per:

cpdctl analytics-engine instance  --help

Per informazioni su un particolare comando di gestione dell'istanza, utilizzare:

cpdctl analytics-engine instance [command] --help

Istanza get

Utilizza questo comando per ottenere i dettagli dell'istanza, ad esempio il volume principale dell'istanza, la quota di risorse disponibili e altre configurazioni di un'istanza di cui è stato eseguito il provisioning. Per la guida sulla sintassi del comando, immettere:

cpdctl analytics-engine instance get --help

Esempio di utilizzo del get comando istanza

cpdctl analytics-engine instance get --instance-id 62f8f5de-6c56-499a-a01a-744c6e16caa1 --output json

{
  "configs": {},
  "context_id": "d57ea5e1-fbca-44ea-b72a-bb63ebecae9c",
  "context_type": "space",
  "home_volume": "volumes-silpi-test-vol-pvc",
  "instance_id": "62f8f5de-6c56-499a-a01a-744c6e16caa1",
  "resource_quota": {
    "avail_cpu_quota": 64,
    "avail_memory_quota_gibibytes": 200,
    "cpu_quota": 64,
    "memory_quota_gibibytes": 200
  }
}

Istanza set-quota

Utilizzare questo comando per impostare la quota dell'istanza (la quota di CPU e memoria).

cpdctl analytics-engine instance set-quota --help

Esempio di utilizzo del set-quota comando istanza

cpdctl analytics-engine instance set-quota --instance-id 62f8f5de-6c56-499a-a01a-744c6e16caa1 --cpu-quota 64 --memory-quota 200
...
OK

Comandi dell'applicazione Spark

Il comando della guida dell'applicazione Spark mostra i comandi CLI dell'applicazione Spark supportati per:

  • Inoltro delle applicazioni Spark
  • Arresto delle applicazioni Spark
  • Acquisizione dei dettagli di una applicazione in base all'ID applicazione
cpdctl analytics-engine spark-app --help

Per informazioni su un particolare comando spark - app, utilizzare:

cpdctl analytics-engine spark-app [command] --help

Con i comandi CLI dell'applicazione Spark, puoi effettuare le seguenti operazioni:

spark - app submit

Utilizzare questo comando per inoltrare un'applicazione Spark in un'istanza. Per la guida sulla sintassi del comando, immettere:

cpdctl ae spark-app submit --help

Esempio di utilizzo del submit comandospark - app:

cpdctl ae spark-app submit --instance-id 62f8f5de-6c56-499a-a01a-744c6e16caa1 --name "/opt/ibm/spark/examples/src/main/python/wordcount.py" --arguments "/opt/ibm/spark/examples/src/main/resources/people.txt" --output json
{
"application_id": "03ae6297-d6a6-4032-adc6-861ead5f3ad2",
"spark_application_id": "app-20220407090305-0000",
"start_time": "Thursday 07 April 2022 09:03:05.686+0000",
"state": "WAITING"
}

spark - app get

Utilizzare questo comando per visualizzare i dettagli di un'applicazione Spark inoltrata in un'istanza. Per la guida sulla sintassi del comando, immettere:

cpdctl analytics-engine spark-app get --help

Esempio di utilizzo del comando get spark - app

Il seguente esempio mostra i dettagli di un'applicazione Spark inoltrata:

cpdctl analytics-engine spark-app get --instance-id 62f8f5de-6c56-499a-a01a-744c6e16caa1 --application-id 4da21012-837b-4d61-b8c8-44140a4da956 --output json
{
  "application_details": {},
  "application_id": "4da21012-837b-4d61-b8c8-44140a4da956",
  "finish_time": "Tuesday 05 April 2022 16:35:42.355+0000",
  "mode": "stand-alone",
  "spark_application_id": "app-20220405163526-0000",
  "start_time": "Tuesday 05 April 2022 16:35:26.911+0000",
  "state": "FINISHED"
}

spark - app stop

Utilizzare questo comando per arrestare un'applicazione Spark inoltrata in un'istanza. Per la guida sulla sintassi del comando, immettere:

cpdctl analytics-engine spark-app stop --help

Esempio di utilizzo del stop comandospark - app:

Il seguente esempio mostra come arrestare un'applicazione Spark:

cpdctl analytics-engine spark-app stop --instance-id 62f8f5de-6c56-499a-a01a-744c6e16caa1 --application-id 63acf863-1aea-4aa8-a93d-08e30112fae9 --output json
""

Comandi del server della cronologia Spark

Il comando della guida del server della cronologia Spark mostra che la CLI supporta i comandi per:

cpdctl analytics-engine history-server --help

Per informazioni su un particolare comando spark - history, utilizzare:

cpdctl analytics-engine history-server [command] --help

cronologia - server start

Utilizzare questo comando per avviare il server della cronologia Spark. Per la guida sulla sintassi del comando, immettere:

cpdctl analytics-engine history-server start --help

Esempio di utilizzo del comando start spark - server

Il seguente esempio mostra come avviare il server della cronologia Spark:

cpdctl analytics-engine history-server start --instance-id 62f8f5de-6c56-499a-a01a-744c6e16caa1 --output json
{
  "message": "History server started successfully"
}

cronologia - server stop

Utilizzare questo comando per arrestare il server della cronologia Spark. Per la guida sulla sintassi del comando, immettere:

cpdctl analytics-engine history-server stop --help

Esempio di utilizzo del comando stop spark - server

L'esempio riportato di seguito mostra come arrestare il server della cronologia Spark:

cpdctl analytics-engine history-server stop --instance-id 62f8f5de-6c56-499a-a01a-744c6e16caa1 --output json
{
  "message": "History stopped successfully"
}