Versioni Spark supportate e linguaggi applicativi

Versioni Spark supportate

IBM Cloud Pak for Data supporta le seguenti versioni di Spark runtime per l'esecuzione dei carichi di lavoro Spark.

Lingue supportate per le candidature

Gli esempi seguenti mostrano alcuni payload di esempio per l'invio di lavori Spark per diversi linguaggi.

• Payload per l'invio di un job Spark con Python 3.10:

  {
    "application_details": {
      "application": "<your application_file_path>",
      "arguments": [
        "<your_application_arguments>"
      ],
      "conf": {
        "spark.app.name": "MyJob",
        "spark.eventLog.enabled": "true"
      },
      "env": {
        "RUNTIME_PYTHON_ENV": "python310"
      }
    }
  }
  

• Payload per l'invio di un lavoro Spark Scala :

  {
    "application_details": {
      "application": "/opt/ibm/spark/examples/jars/spark-examples*.jar",
      "arguments": [
        "1"
      ],
      "class": "org.apache.spark.examples.SparkPi",
      "conf": {
        "spark.app.name": "MyJob",
        "spark.eventLog.enabled": "true",
        "spark.driver.memory": "4G",
        "spark.driver.cores": 1,
        "spark.executor.memory": "4G",
        "spark.executor.cores": 1,
        "ae.spark.executor.count": 1
      },
      "env": {
        "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
      }
    }
  }
  

• Payload per l'invio di un lavoro Spark R 4.2 :

  {
    "application_details": {
      "application": "/opt/ibm/spark/examples/src/main/r/dataframe.R",
      "class": "org.apache.spark.examples.SparkPi",
      "conf": {
        "spark.app.name": "MyJob",
        "spark.eventLog.enabled": "true",
        "spark.driver.memory": "4G",
        "spark.driver.cores": 1,
        "spark.executor.memory": "4G",
        "spark.executor.cores": 1,
        "ae.spark.executor.count": 1
      },
      "env": {
        "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
      }
    }
  }