Códigos de retorno, parámetros y sintaxis de API de trabajos Spark

Normalmente envía un trabajo Spark con un mandato cURL .

La sintaxis del mandato cURL del trabajo Spark es:

curl -k -X POST <V4_JOBS_API_ENDPOINT> -H "Authorization: ZenApiKey <TOKEN> -d @input.json

Sustituya las variables como se indica a continuación:

• <V4_JOBS_API_ENDPOINT>: el punto final para la instancia que desea utilizar para enviar el trabajo Spark. Tenga en cuenta que pueden existir varias instancias de Analytics Engine Powered by Apache Spark en el servidor IBM Cloud Pak for Data y que cada instancia tiene su propio endpoint para enviar trabajos. Para obtener el punto final de los trabajos de Spark para su instancia aprovisionada, consulte Gestión de instancias de Analytics Engine powered by Apache Spark.
• <TOKEN>: Para obtener la señal de acceso para la instancia de servicio, consulte Generación de una señal de autorización de API.

Un ejemplo de carga útil de entrada para un trabajo Python:

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/src/main/python/wordcount.py",
    "arguments": [
      "/opt/ibm/spark/examples/src/main/resources/people.txt"
    ],
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.memory": "4G",
      "spark.driver.cores": 1,
      "spark.executor.memory": "4G",
      "spark.executor.cores": 1,
      "ae.spark.executor.count": 1
    },
    "env": {
      "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
    }
  }
}

Un ejemplo de una carga útil de entrada para un trabajo R:

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/src/main/r/dataframe.R",
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.memory": "4G",
      "spark.driver.cores": 1,
      "spark.executor.memory": "4G",
      "spark.executor.cores": 1,
      "ae.spark.executor.count": 1
    },
    "env": {
      "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
    }
  }
}

Un ejemplo de carga útil de entrada para un trabajo Scala:

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/jars/spark-examples*.jar",
    "arguments": [
      "1"
    ],
    "class": "org.apache.spark.examples.SparkPi",
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.memory": "4G",
      "spark.driver.cores": 1,
      "spark.executor.memory": "4G",
      "spark.executor.cores": 1,
      "ae.spark.executor.count": 1
    },
    "env": {
      "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
    }
  }
}

La respuesta devuelta si el trabajo se ha sometido correctamente:

{
  "application_id": "<application_id>",
  "state": "ACCEPTED"
}

Sugerencia:

• Guarde el valor devuelto de "application_id" para obtener el estado del trabajo o para detener el trabajo.
• Guarde el valor devuelto de "spark_application_id" para supervisar y analizar la aplicación Spark en el servidor de historial de Spark.

{
  "application_details": {
    "application": "/opt/ibm/spark/examples/src/main/python/wordcount.py",
    "arguments": [
      "/opt/ibm/spark/examples/src/main/resources/people.txt"
    ],
    "runtime": {
      "spark_version": "3.4"
    }
  }
}

{
  "volumes": [
    {
      "name": "cpd-instance::myapp-vol",
      "mount_path": "/my-app"
    }
  ],
  "application_details": {
    "application": "/my-app/python-spark-pi.py",
    "packages":
      "org.apache.spark:spark-sql-kafka-0-10_2.12:3.4.0,org.apache.spark:spark-streaming-kafka-0-10_2.12:3.4.0",
    "conf": {
      "spark.app.name": "MyJob",
      "spark.eventLog.enabled": "true",
      "spark.driver.cores": 4,
      "spark.driver.memory": "8G",
      "spark.executor.memory": "2G",
      "spark.executor.cores": 4,
      "ae.spark.driver.log.level": "ERROR",
      "ae.spark.executor.log.level": "WARN"
    }
  }
}