Versões do Spark e linguagens de aplicação suportadas

Versões do Spark compatíveis

IBM Cloud Pak for Data suporta as seguintes versões do Spark runtime para executar cargas de trabalho do Spark.

Idiomas de aplicativos suportados

Os exemplos a seguir mostram exemplos de cargas úteis para enviar tarefas Spark para diferentes idiomas.

• Carga útil para enviar um trabalho Spark com Python 3.10:

  {
    "application_details": {
      "application": "<your application_file_path>",
      "arguments": [
        "<your_application_arguments>"
      ],
      "conf": {
        "spark.app.name": "MyJob",
        "spark.eventLog.enabled": "true"
      },
      "env": {
        "RUNTIME_PYTHON_ENV": "python310"
      }
    }
  }
  

• Payload para enviar uma tarefa Spark Scala :

  {
    "application_details": {
      "application": "/opt/ibm/spark/examples/jars/spark-examples*.jar",
      "arguments": [
        "1"
      ],
      "class": "org.apache.spark.examples.SparkPi",
      "conf": {
        "spark.app.name": "MyJob",
        "spark.eventLog.enabled": "true",
        "spark.driver.memory": "4G",
        "spark.driver.cores": 1,
        "spark.executor.memory": "4G",
        "spark.executor.cores": 1,
        "ae.spark.executor.count": 1
      },
      "env": {
        "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
      }
    }
  }
  

• Carga útil para enviar um trabalho R 4.2 Spark:

  {
    "application_details": {
      "application": "/opt/ibm/spark/examples/src/main/r/dataframe.R",
      "class": "org.apache.spark.examples.SparkPi",
      "conf": {
        "spark.app.name": "MyJob",
        "spark.eventLog.enabled": "true",
        "spark.driver.memory": "4G",
        "spark.driver.cores": 1,
        "spark.executor.memory": "4G",
        "spark.executor.cores": 1,
        "ae.spark.executor.count": 1
      },
      "env": {
        "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
      }
    }
  }