Zugriff auf den Spark-Verlaufsserver und dessen Anpassung

Protokollserver starten

Geben Sie den folgenden cURL-Befehl ein, um den Spark-Protokollserver zu starten:

curl -ik -X POST <HISTORY_SERVER_ENDPOINT> -H "Authorization: ZenApiKey ${TOKEN}"

Beispiel für die Antwort:

{
    "state": "started",
    "cores": "1",
    "memory": "4G",
    "start_time": "2022-06-08T11:28:16.521Z"
}

Eine der folgenden Rückgabecodes wird angezeigt:

Anzeigen des Status des Verlaufsservers

Um den Status des Spark-Verlaufsservers anzuzeigen, geben Sie den folgenden cURL Befehl ein:

curl -ik -X GET <HISTORY_SERVER_ENDPOINT> -H "Authorization: ZenApiKey ${TOKEN}"

Beispiel für die Antwort:

{
    "state": "started",
    "cores": "1",
    "memory": "4G",
    "start_time": "2022-06-08T11:28:16.521Z"
}

Eine der folgenden Rückgabecodes wird angezeigt:

Protokollserver stoppen

Geben Sie den folgenden cURL-Befehl ein, um den Protokollserver zu stoppen:

curl -ik -X DELETE <HISTORY_SERVER_ENDPOINT> -H "Authorization: ZenApiKey ${TOKEN}"

Eine der folgenden Rückgabecodes wird angezeigt:

Öffnen des Verlaufsservers Web UI

Gehen Sie wie folgt vor, um auf den Link zum Spark-Protokollserver für Ihre bereitgestellte Instanz zuzugreifen:

1. Klicken Sie im Navigationsmenü in Cloud Pak for Data auf „Services“ > „Instanzen“, suchen Sie die Instanz und klicken Sie darauf, um die Instanzdetails anzuzeigen.
2. Kopieren Sie den Endpunkt des Verlaufsservers.
3. Fügen Sie den Endpunkt des View-Protokollservers auf einer neuen Registerkarte in das Fenster "Cloud Pak for Data" ein, um die Benutzerschnittstelle des Protokollservers anzuzeigen.

Anmerkungen

• Stellen Sie sicher, dass der Spark-Verlaufsserver ausgeführt wird, bevor Sie die Datei Web UI öffnen.
• Die Protokoll-Links unter den Registerkarten „Stages“ und „Executors“ der Benutzeroberfläche des Spark-Verlaufsservers funktionieren nicht, da die Protokolle nicht mit den Spark-Ereignissen gespeichert werden.
• Die Protokolle stdout und stderr werden in der Benutzeroberfläche des Spark-Verlaufsservers nicht unterstützt.

Anpassen des Spark-Verlaufsservers

Standardmäßig verbraucht der Spark-Verlaufsserver während seines Betriebs 1 CPU-Kern und 4 GiB Speicher. Wenn Sie dem Spark-Verlaufsserver mehr Ressourcen zuweisen möchten, können Sie die folgenden Eigenschaften mithilfe der REST-API auf die gewünschten Werte setzen:

• ae.spark.history-server.cores für die Anzahl der CPU-Kerne
• ae.spark.history-server.memory für die Speichermenge

Aktualisieren der CPU-Kerne und Speichereinstellungen

Rufen Sie vom Endpunkt des History-Servers die Instanz-ID ab. Weitere Informationen dazu, wie Sie diese Informationen erhalten, finden Sie unter Verwalten von Analytics Engine powered by Apache Spark Instanzen.

Das Format des Endpunkts lautet: https://<CloudPakforData_URL>/v4/analytics_engines/<INSTANCE_ID>/spark_history_server.

Aktualisieren Sie die CPU-Kerne und Speichereinstellungen mithilfe der REST-API wie folgt:

curl --location --request PATCH <https://<CloudPakforData_URL>/v4/analytics_engines/<INSTANCE_ID>/default_configs -H "Authorization: ZenApiKey ${TOKEN}" --header 'Content-Type: application/json' --data-raw '{
        "ae.spark.history-server.cores": "2",
        "ae.spark.history-server.memory": "8G"
}'

Zusätzliche Anpassungen

Sie können den Spark-Verlaufsserver weiter anpassen, indem Sie Eigenschaften zur Standard-Spark-Konfiguration Ihrer Analytics Engine Power by Apache Spark Instanz hinzufügen. Siehe Standardkonfigurationsoptionen für den Spark-Verlauf.