Syntaxe, paramètres et codes de retour de l'API Spark Jobs

Vous soumettez généralement un travail Spark avec une commande cURL .

La syntaxe de la commande cURL du travail Spark est la suivante:

curl -k -X POST <V4_JOBS_API_ENDPOINT> -H "Authorization: ZenApiKey <TOKEN> -d @input.json

Remplacez les variables comme suit:

• <V4_JOBS_API_ENDPOINT>: noeud final de l'instance que vous souhaitez utiliser pour soumettre votre travail Spark. Notez que plusieurs Analytics Engine Powered by Apache Spark instances peuvent exister sur le serveur IBM Cloud Pak for Data et que chaque instance a son propre point de terminaison pour soumettre des travaux. Pour obtenir le point de terminaison des tâches Spark de votre instance provisionnée, consultez la section « Gestion des instances d' Analytics Engine powered by Apache Spark ».
• <TOKEN>: Pour obtenir le jeton d'accès pour votre instance de service, voir Génération d'un jeton d'autorisation d'API.

Exemple de charge utile d'entrée pour une tâche de type « Python » :

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/src/main/python/wordcount.py",
    "arguments": [
      "/opt/ibm/spark/examples/src/main/resources/people.txt"
    ],
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.memory": "4G",
      "spark.driver.cores": 1,
      "spark.executor.memory": "4G",
      "spark.executor.cores": 1,
      "ae.spark.executor.count": 1
    },
    "env": {
      "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
    }
  }
}

Exemple de charge d'entrée pour un travail R:

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/src/main/r/dataframe.R",
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.memory": "4G",
      "spark.driver.cores": 1,
      "spark.executor.memory": "4G",
      "spark.executor.cores": 1,
      "ae.spark.executor.count": 1
    },
    "env": {
      "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
    }
  }
}

Exemple de charge utile d'entrée pour une tâche de type « Scala » :

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/jars/spark-examples*.jar",
    "arguments": [
      "1"
    ],
    "class": "org.apache.spark.examples.SparkPi",
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.memory": "4G",
      "spark.driver.cores": 1,
      "spark.executor.memory": "4G",
      "spark.executor.cores": 1,
      "ae.spark.executor.count": 1
    },
    "env": {
      "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
    }
  }
}

La réponse renvoyée si votre tâche a été soumise avec succès :

{
  "application_id": "<application_id>",
  "state": "ACCEPTED"
}

Suggestion:

• Sauvegardez la valeur renvoyée de "application_id" pour obtenir le statut du travail ou pour l'arrêter.
• Sauvegardez la valeur renvoyée de "spark_application_id" pour surveiller et analyser l'application Spark sur le serveur d'historique Spark.

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/src/main/python/wordcount.py",
    "arguments": [
      "/opt/ibm/spark/examples/src/main/resources/people.txt"
    ],
    "runtime": {
      "spark_version": "3.4"
    }
  }
}

{
  "volumes": [
    {
      "name": "cpd-instance::myapp-vol",
      "mount_path": "/my-app"
    }
  ],
  "application_details": {
    "application": "/my-app/python-spark-pi.py",
    "packages":
      "org.apache.spark:spark-sql-kafka-0-10_2.12:3.4.0,org.apache.spark:spark-streaming-kafka-0-10_2.12:3.4.0",
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.cores": 4,
      "spark.driver.memory": "8G",
      "spark.executor.memory": "2G",
      "spark.executor.cores": 4,
      "ae.spark.driver.log.level": "ERROR",
      "ae.spark.executor.log.level": "WARN"
    }
  }
}