Syntaxe d'API, paramètres et codes retour de travaux Spark

Vous soumettez généralement une tâche Spark à l'aide d'une cURL commande.

La syntaxe de la cURL commande Spark job est la suivante :

curl -k -X POST <V4_JOBS_API_ENDPOINT> -H "Authorization: ZenApiKey <TOKEN> -d @input.json

Remplacez les variables comme suit :

• <V4_JOBS_API_ENDPOINT>: Point de terminaison de l'instance que vous souhaitez utiliser pour soumettre votre tâche Spark. Notez que plusieurs Analytics Engine Powered by Apache Spark instances peuvent exister sur le IBM Cloud Pak for Data serveur et que chaque instance dispose de son propre point de terminaison pour soumettre des tâches. Pour obtenir le point de terminaison des tâches Spark pour votre instance provisionnée, consultez la section Gestion Analytics Engine powered by Apache Spark des instances.
• <TOKEN>: Pour obtenir le jeton d'accès pour votre instance de service, consultez la section Génération d'un jeton d'autorisation API.

Exemple de charge d'entrée pour un travail Python :

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/src/main/python/wordcount.py",
    "arguments": [
      "/opt/ibm/spark/examples/src/main/resources/people.txt"
    ],
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.memory": "4G",
      "spark.driver.cores": 1,
      "spark.executor.memory": "4G",
      "spark.executor.cores": 1,
      "ae.spark.executor.count": 1
    },
    "env": {
      "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
    }
  }
}

Exemple de charge utile d'entrée pour une tâche R :

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/src/main/r/dataframe.R",
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.memory": "4G",
      "spark.driver.cores": 1,
      "spark.executor.memory": "4G",
      "spark.executor.cores": 1,
      "ae.spark.executor.count": 1
    },
    "env": {
      "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
    }
  }
}

Exemple de charge d'entrée pour un travail Scala :

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/jars/spark-examples*.jar",
    "arguments": [
      "1"
    ],
    "class": "org.apache.spark.examples.SparkPi",
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.memory": "4G",
      "spark.driver.cores": 1,
      "spark.executor.memory": "4G",
      "spark.executor.cores": 1,
      "ae.spark.executor.count": 1
    },
    "env": {
      "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
    }
  }
}

Réponse renvoyée si votre travail a été soumis correctement :

{
  "application_id": "<application_id>",
  "state": "ACCEPTED"
}

Astuce :

• Enregistrez la valeur renvoyée par « application_id » pour obtenir le statut de la tâche ou pour l'arrêter.
• Enregistrez la valeur renvoyée de « spark_application_id » pour surveiller et analyser l'application Spark sur le serveur d'historique Spark.

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/src/main/python/wordcount.py",
    "arguments": [
      "/opt/ibm/spark/examples/src/main/resources/people.txt"
    ],
    "runtime": {
      "spark_version": "3.4"
    }
  }
}

{
  "volumes": [
    {
      "name": "cpd-instance::myapp-vol",
      "mount_path": "/my-app"
    }
  ],
  "application_details": {
    "application": "/my-app/python-spark-pi.py",
    "packages":
      "org.apache.spark:spark-sql-kafka-0-10_2.12:3.4.0,org.apache.spark:spark-streaming-kafka-0-10_2.12:3.4.0",
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.cores": 4,
      "spark.driver.memory": "8G",
      "spark.executor.memory": "2G",
      "spark.executor.cores": 4,
      "ae.spark.driver.log.level": "ERROR",
      "ae.spark.executor.log.level": "WARN"
    }
  }
}