Spark 服务 CLI

Analytics Engine powered by Apache Spark CLI 提供了用于与实例交互的命令行选项。 您可以使用 CLI 来管理实例和 Spark 应用程序。

开始之前

在开始使用 Apache Spark CLI 之前，需要定义以下环境变量，因为 analytics-engine 名称空间隐藏在功能部件标志后面。

必须按如下所示定义 CPDCTL_ENABLE_ANALYTICS_ENGINE 环境变量:

CPDCTL_ENABLE_ANALYTICS_ENGINE=1

CLI help 命令

Spark 服务 CLI help 命令向您显示以下项的受支持 CLI 支持命令:

cpdctl analytics-engine --help

有关特定命令的信息，请使用:

cpdctl analytics-engine [command] --help

实例管理命令

实例管理帮助命令向您显示以下对象的受支持实例管理 CLI 命令:

cpdctl analytics-engine instance  --help

有关特定实例管理命令的信息，请使用:

cpdctl analytics-engine instance [command] --help

实例 get

使用此命令可获取实例详细信息，例如实例主卷，可用资源配额和已供应实例的其他配置。 有关命令语法的帮助，请输入:

cpdctl analytics-engine instance get --help

使用实例 get 命令的示例

cpdctl analytics-engine instance get --instance-id 62f8f5de-6c56-499a-a01a-744c6e16caa1 --output json

{
  "configs": {},
  "context_id": "d57ea5e1-fbca-44ea-b72a-bb63ebecae9c",
  "context_type": "space",
  "home_volume": "volumes-silpi-test-vol-pvc",
  "instance_id": "62f8f5de-6c56-499a-a01a-744c6e16caa1",
  "resource_quota": {
    "avail_cpu_quota": 64,
    "avail_memory_quota_gibibytes": 200,
    "cpu_quota": 64,
    "memory_quota_gibibytes": 200
  }
}

实例 set-quota

使用此命令来设置实例配额 (CPU 和内存配额)。

cpdctl analytics-engine instance set-quota --help

使用实例 set-quota 命令的示例

cpdctl analytics-engine instance set-quota --instance-id 62f8f5de-6c56-499a-a01a-744c6e16caa1 --cpu-quota 64 --memory-quota 200
...
OK

Spark 应用程序命令

Spark 应用程序帮助命令向您显示以下对象的受支持 Spark 应用程序 CLI 命令:

  • 提交 Spark 应用程序
  • 停止 Spark 应用程序
  • 按应用程序标识获取应用程序的详细信息
cpdctl analytics-engine spark-app --help

有关特定 spark-app 命令的信息，请使用:

cpdctl analytics-engine spark-app [command] --help

通过 Spark 应用程序 CLI 命令，可以执行以下操作:

spark-app submit

使用此命令在实例中提交 Spark 应用程序。 有关命令语法的帮助，请输入:

cpdctl ae spark-app submit --help

使用 spark-app submit 命令的示例:

cpdctl ae spark-app submit --instance-id 62f8f5de-6c56-499a-a01a-744c6e16caa1 --name "/opt/ibm/spark/examples/src/main/python/wordcount.py" --arguments "/opt/ibm/spark/examples/src/main/resources/people.txt" --output json
{
"application_id": "03ae6297-d6a6-4032-adc6-861ead5f3ad2",
"spark_application_id": "app-20220407090305-0000",
"start_time": "Thursday 07 April 2022 09:03:05.686+0000",
"state": "WAITING"
}

spark-app get

使用此命令可显示实例中已提交的 Spark 应用程序的详细信息。 有关命令语法的帮助，请输入:

cpdctl analytics-engine spark-app get --help

使用 spark-app get 命令的示例

以下示例显示了已提交的 Spark 应用程序的详细信息:

cpdctl analytics-engine spark-app get --instance-id 62f8f5de-6c56-499a-a01a-744c6e16caa1 --application-id 4da21012-837b-4d61-b8c8-44140a4da956 --output json
{
  "application_details": {},
  "application_id": "4da21012-837b-4d61-b8c8-44140a4da956",
  "finish_time": "Tuesday 05 April 2022 16:35:42.355+0000",
  "mode": "stand-alone",
  "spark_application_id": "app-20220405163526-0000",
  "start_time": "Tuesday 05 April 2022 16:35:26.911+0000",
  "state": "FINISHED"
}

spark-app stop

使用此命令可停止实例中已提交的 Spark 应用程序。 有关命令语法的帮助，请输入:

cpdctl analytics-engine spark-app stop --help

使用 spark-app stop 命令的示例:

以下示例显示如何停止 Spark 应用程序:

cpdctl analytics-engine spark-app stop --instance-id 62f8f5de-6c56-499a-a01a-744c6e16caa1 --application-id 63acf863-1aea-4aa8-a93d-08e30112fae9 --output json
""

Spark 历史记录服务器命令

Spark 历史记录服务器帮助命令向您显示 CLI 支持以下命令:

cpdctl analytics-engine history-server --help

有关特定 spark-history 命令的信息，请使用:

cpdctl analytics-engine history-server [command] --help

历史记录-服务器 start

使用此命令可启动 Spark 历史记录服务器。 有关命令语法的帮助，请输入:

cpdctl analytics-engine history-server start --help

使用 spark-server start 命令的示例

以下示例显示如何启动 Spark 历史记录服务器:

cpdctl analytics-engine history-server start --instance-id 62f8f5de-6c56-499a-a01a-744c6e16caa1 --output json
{
  "message": "History server started successfully"
}

历史记录-服务器 stop

使用此命令可停止 Spark 历史记录服务器。 有关命令语法的帮助，请输入:

cpdctl analytics-engine history-server stop --help

使用 spark-server stop 命令的示例

以下示例显示如何停止 Spark 历史记录服务器:

cpdctl analytics-engine history-server stop --instance-id 62f8f5de-6c56-499a-a01a-744c6e16caa1 --output json
{
  "message": "History stopped successfully"
}