Monitoraggio dei lavori Spark tramite l'interfaccia utente Spark

L'interfaccia utente (UI) di Spark consente di monitorare vari aspetti dell'esecuzione di un'applicazione Spark.

Ad esempio, è possibile verificare quale fase è in esecuzione, quanti task sono inclusi in una fase, perché alcune fasi hanno richiesto più tempo per essere eseguite, se in una fase è presente un task strangler e se tutti gli executor nell'applicazione vengono utilizzati in modo ottimale. Inoltre, è possibile analizzare il consumo di memoria, CPU e disco di tutti i driver e gli eseguitori, oltre a molte altre metriche. Per ulteriori dettagli su ciò che è possibile monitorare su Spark UI, consultare le interfacce web Spark.

IBM Analytics Engine powered by Apache Spark mostra l' Spark UI e di tutti i lavori Spark in esecuzione. Si noti che non è possibile accedere all' Spark UI e per i lavori completati. Se è necessario esaminare l'esecuzione di un'applicazione Spark completata, è possibile controllare gli eventi Spark sul server della cronologia Spark. Per ulteriori informazioni. vedere Accesso e personalizzazione del server della cronologia Spark.

È inoltre possibile visualizzare l'elenco dei lavori Spark e lo stato di un particolare lavoro Spark dal client Cloud Pak for Data web. Per ulteriori informazioni su come visualizzare le applicazioni Spark, consulta Gestione Analytics Engine powered by Apache Spark delle istanze.

È possibile ottenere l'endpoint di Spark UI un processo Spark in esecuzione utilizzando una delle seguenti Analytics Engine powered by Apache Spark API:

• Ottieni lo stato di un determinato processo Spark
• Elenca tutti i lavori Spark attivi

Per istruzioni sulla generazione di una chiave API, consulta Generazione di un token di autorizzazione API.

Ad esempio, quando si utilizza l'API per ottenere lo stato di un determinato processo Spark, la risposta include l'endpoint al Spark UI :

curl -k -X GET <V4_JOBS_API_ENDPOINT>/<job_id> -H "Authorization: ZenApiKey ${MY_TOKEN}"

Esempio di risposta con l'endpoint a Spark UI :

{
    "application_id": "<application_id>",
    "state": "RUNNING",
    "start_time": "Monday' 07 June 2021 '14:46:23.237+0000",
    "spark_application_id": "app-20210607144623-0000",
    "spark_ui":"<V4_JOBS_API_ENDPOINT>/<job_id>/spark_ui/"
}

Per ulteriori dettagli sulle Analytics Engine powered by Apache Spark API che è possibile utilizzare per accedere Spark UI all'endpoint di un processo in esecuzione, consultare Invio di processi Spark tramite API.