Sintassi, parametri e codici di ritorno dell'API Spark Jobs

In genere, un lavoro Spark viene inviato con un cURL comando.

La sintassi del cURL comando Spark job è:

curl -k -X POST <V4_JOBS_API_ENDPOINT> -H "Authorization: ZenApiKey <TOKEN> -d @input.json

Sostituisci le variabili come segue:

• <V4_JOBS_API_ENDPOINT>: L'endpoint dell'istanza che desideri utilizzare per inviare il tuo lavoro Spark. Si noti che sul IBM Cloud Pak for Data server possono esistere più Analytics Engine Powered by Apache Spark istanze e che ciascuna istanza ha un proprio endpoint per l'invio dei lavori. Per ottenere l'endpoint dei lavori Spark per l'istanza fornita, consulta Gestione Analytics Engine powered by Apache Spark delle istanze.
• <TOKEN>Per ottenere il token di accesso per l'istanza del servizio, consulta Generazione di un token di autorizzazione API.

Un esempio di payload di input per un Python lavoro:

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/src/main/python/wordcount.py",
    "arguments": [
      "/opt/ibm/spark/examples/src/main/resources/people.txt"
    ],
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.memory": "4G",
      "spark.driver.cores": 1,
      "spark.executor.memory": "4G",
      "spark.executor.cores": 1,
      "ae.spark.executor.count": 1
    },
    "env": {
      "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
    }
  }
}

Esempio di payload di input per un lavoro R:

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/src/main/r/dataframe.R",
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.memory": "4G",
      "spark.driver.cores": 1,
      "spark.executor.memory": "4G",
      "spark.executor.cores": 1,
      "ae.spark.executor.count": 1
    },
    "env": {
      "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
    }
  }
}

Esempio di payload di input per un Scala lavoro:

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/jars/spark-examples*.jar",
    "arguments": [
      "1"
    ],
    "class": "org.apache.spark.examples.SparkPi",
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.memory": "4G",
      "spark.driver.cores": 1,
      "spark.executor.memory": "4G",
      "spark.executor.cores": 1,
      "ae.spark.executor.count": 1
    },
    "env": {
      "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
    }
  }
}

Risposta restituita se il lavoro è stato inviato correttamente:

{
  "application_id": "<application_id>",
  "state": "ACCEPTED"
}

Suggerimento :

• Salva il valore restituito di "application_id" per ottenere lo stato del processo o per interromperlo.
• Salva il valore restituito da "spark_application_id" per monitorare e analizzare l'applicazione Spark sul server della cronologia Spark.

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/src/main/python/wordcount.py",
    "arguments": [
      "/opt/ibm/spark/examples/src/main/resources/people.txt"
    ],
    "runtime": {
      "spark_version": "3.4"
    }
  }
}

{
  "volumes": [
    {
      "name": "cpd-instance::myapp-vol",
      "mount_path": "/my-app"
    }
  ],
  "application_details": {
    "application": "/my-app/python-spark-pi.py",
    "packages":
      "org.apache.spark:spark-sql-kafka-0-10_2.12:3.4.0,org.apache.spark:spark-streaming-kafka-0-10_2.12:3.4.0",
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.cores": 4,
      "spark.driver.memory": "8G",
      "spark.executor.memory": "2G",
      "spark.executor.cores": 4,
      "ae.spark.driver.log.level": "ERROR",
      "ae.spark.executor.log.level": "WARN"
    }
  }
}