Spark 作业 API 语法、参数和返回码

您通常使用 cURL 命令提交 Spark 作业。

Spark 作业 cURL 命令语法为:

curl -k -X POST <V3_JOBS_API_ENDPOINT> -H "Authorization: Bearer <ACCESS_TOKEN>" -d @input.json

Spark 作业 cURL 选项：

• -k 选项表示跳过证书验证，因为服务实例 Web 站点使用自签名 SSL 证书。
• <V3_JOBS_API_ENDPOINT> 是要用于提交 Spark 作业的实例的端点。 请注意， IBM Cloud Pak for Data 服务器上可以存在多个 Analytics Engine Powered by Apache Spark 实例，并且每个实例都有自己的端点用于提交作业。 要获取所供应实例的 Spark 作业端点，请参阅 管理服务实例。
• -H 选项是标头参数。 标头参数是键值对。 必须在授权标头中发送不记名令牌 (<ACCESS_TOKEN>)。 要获取服务实例的访问令牌，请参阅管理服务实例。

• -d 选项定义要在 POST 请求中发送到服务器的有效内容数据。 请参阅下面的输入有效内容示例。

  注: 如果应用程序创建 SparkContext ，那么 POST 方法将在创建 SparkSession 时返回。 如果应用程序未创建 SparkContext ，那么将阻止 POST 方法，直到应用程序终止为止。

  Python 作业的输入有效内容示例：

    {
        "template_id": "<template_id>",
        "application_details": {
                "application": "/opt/ibm/spark/examples/src/main/python/wordcount.py",
                "application_arguments": ["/opt/ibm/spark/examples/src/main/resources/people.txt"],
                "conf": {
                        "spark.app.name": "MyJob",
                        "spark.eventLog.enabled": "true"
                        },
                "env": {
                        "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
                        },
                "driver-memory": "4G",
                "driver-cores": 1,
                "executor-memory": "4G",
                "executor-cores": 1,
                "num-executors": 1
        }
    }
  

  Scala 作业的输入有效内容示例：

    {
        "template_id": "<template_id>",
        "application_details": {
                "application": "/opt/ibm/spark/examples/jars/spark-examples*.jar",
                "application_arguments": ["1"],
                "class": "org.apache.spark.examples.SparkPi",
                "conf": {
                        "spark.app.name": "MyJob",
                        "spark.eventLog.enabled": "true"
                        },
                "env": {
                        "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
                        },
                "driver-memory": "4G",
                "driver-cores": 1,
                "executor-memory": "4G",
                "executor-cores": 1,
                "num-executors": 1
                }
    }
  

  POST 方法在应用程序创建 SparkSession 时返回。 应用程序将继续运行，并且可以检索状态。

  如果提交作业成功，那么返回的响应为：

    {
        "application_id": "<application_id>",
        "state": "RUNNING",
        "start_time": "Monday' 07 June 2021 '14:46:23.237+0000",
        "spark_application_id": "app-20210607144623-0000"
    }
  

提示:

• 保存返回的 "application_id" 值以获取作业的状态或停止作业。
• 保存返回值 "spark_application_id" 以监视和分析 Spark 历史记录服务器上的 Spark 应用程序。

Spark 作业 API 参数

可以在 Spark 作业 API 中使用的参数如下所示：

响应码

Spark 作业 API 返回以下响应代码:

缺省 Spark 配置参数和环境变量

下表显示了 Analytics Engine Powered by Apache Spark 中常用的 Spark 配置参数和环境变量及其缺省值。

下表列出了 Spark 配置参数及其缺省值:

下表列出了环境变量及其缺省值:

父主题: 提交 Spark 作业