Supervisión de trabajos Spark a través de la interfaz de usuario de Spark

La interfaz de usuario (IU) de Spark le ayuda a supervisar diversos aspectos de la ejecución de una aplicación Spark.

Por ejemplo, puede comprobar qué etapa se está ejecutando, cuántas tareas se incluyen en una etapa, por qué determinadas etapas tardaron más en ejecutarse, si hay una tarea de extraños en una etapa y si todos los ejecutores de la aplicación se están utilizando de forma óptima. Además, puede analizar el consumo de memoria, CPU y disco de todos los controladores y ejecutores, y muchas otras métricas. Para obtener más información sobre lo que se puede supervisar en el servidor de datos de Spark ( Spark UI ), consulta las interfaces web de Spark.

IBM Analytics Engine powered by Apache Spark muestra el « Spark UI » de todos los trabajos de Spark en ejecución. Ten en cuenta que no se puede acceder a la página « Spark UI » en el caso de los trabajos ya finalizados. Si necesita investigar la ejecución de una aplicación Spark completada, puede comprobar los sucesos de Spark en el servidor de historial de Spark. Para más información. consulte Acceso y personalización del servidor de historial de Spark.

También puede ver la lista de trabajos Spark y el estado de un trabajo Spark determinado desde el cliente web de Cloud Pak for Data . Para obtener más información sobre cómo visualizar aplicaciones de Spark, consulta «Gestión de instancias de Analytics Engine powered by Apache Spark ».

Puedes obtener el punto final de Spark UI de un trabajo de Spark en ejecución utilizando una de las siguientes API de Analytics Engine powered by Apache Spark :

• Obtener el estado de un trabajo Spark determinado
• Listar todos los trabajos Spark activos

Para obtener instrucciones sobre cómo generar una clave de API, consulte Generación de una señal de autorización de API.

Por ejemplo, cuando se utiliza la API para obtener el estado de un trabajo de Spark concreto, la respuesta incluye el punto de acceso a Spark UI :

curl -k -X GET <V4_JOBS_API_ENDPOINT>/<job_id> -H "Authorization: ZenApiKey ${MY_TOKEN}"

Ejemplo de una respuesta con el punto final de Spark UI :

{
    "application_id": "<application_id>",
    "state": "RUNNING",
    "start_time": "Monday' 07 June 2021 '14:46:23.237+0000",
    "spark_application_id": "app-20210607144623-0000",
    "spark_ui":"<V4_JOBS_API_ENDPOINT>/<job_id>/spark_ui/"
}

Para obtener más información sobre las API de Analytics Engine powered by Apache Spark que puedes utilizar para acceder al punto final Spark UI de un trabajo en ejecución, consulta «Envío de trabajos de Spark a través de la API ».