Versões do Spark e linguagens de aplicação suportadas

Versões do Spark suportadas

IBM Cloud Pak for Data suporta as seguintes versões do Spark runtime para executar cargas de trabalho do Spark.

Idiomas de aplicativos suportados

Os exemplos a seguir mostram exemplos de cargas úteis para enviar tarefas Spark para diferentes idiomas.

• Carga útil para enviar um trabalho Spark com Python 3.10:

  {
    "application_details": {
      "application": "<your application_file_path>",
      "arguments": [
        "<your_application_arguments>"
      ],
      "conf": {
        "spark.app.name": "MyJob",
        "spark.eventLog.enabled": "true"
      },
      "env": {
        "RUNTIME_PYTHON_ENV": "python310"
      }
    }
  }
  

• Carga útil para envio de uma tarefa do Spark Scala:

  {
    "application_details": {
      "application": "/opt/ibm/spark/examples/jars/spark-examples*.jar",
      "arguments": [
        "1"
      ],
      "class": "org.apache.spark.examples.SparkPi",
      "conf": {
        "spark.app.name": "MyJob",
        "spark.eventLog.enabled": "true",
        "spark.driver.memory": "4G",
        "spark.driver.cores": 1,
        "spark.executor.memory": "4G",
        "spark.executor.cores": 1,
        "ae.spark.executor.count": 1
      },
      "env": {
        "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
      }
    }
  }
  

• Carga útil para enviar um trabalho R 4.2 Spark:

  {
    "application_details": {
      "application": "/opt/ibm/spark/examples/src/main/r/dataframe.R",
      "class": "org.apache.spark.examples.SparkPi",
      "conf": {
        "spark.app.name": "MyJob",
        "spark.eventLog.enabled": "true",
        "spark.driver.memory": "4G",
        "spark.driver.cores": 1,
        "spark.executor.memory": "4G",
        "spark.executor.cores": 1,
        "ae.spark.executor.count": 1
      },
      "env": {
        "SAMPLE_ENV_KEY": "SAMPLE_VALUE"
      }
    }
  }