Auf den Spark-Protokollserver zugreifen und ihn anpassen

Den History-Server starten

Um den Spark-Verlaufsserver zu starten, geben Sie folgenden cURL Befehl ein:

curl -ik -X POST <HISTORY_SERVER_ENDPOINT> -H "Authorization: ZenApiKey ${TOKEN}"

Beispiel für die Antwort:

{
    "state": "started",
    "cores": "1",
    "memory": "4G",
    "start_time": "2022-06-08T11:28:16.521Z"
}

Es wird einer der folgenden Rückgabecodes angezeigt:

Status des Protokollservers anzeigen

Geben Sie den folgenden cURL -Befehl ein, um den Status des Spark-Protokollservers anzuzeigen:

curl -ik -X GET <HISTORY_SERVER_ENDPOINT> -H "Authorization: ZenApiKey ${TOKEN}"

Beispiel für die Antwort:

{
    "state": "started",
    "cores": "1",
    "memory": "4G",
    "start_time": "2022-06-08T11:28:16.521Z"
}

Es wird einer der folgenden Rückgabecodes angezeigt:

Den History-Server anhalten

Um den Verlaufsserver zu stoppen, geben Sie folgenden cURL -Befehl ein:

curl -ik -X DELETE <HISTORY_SERVER_ENDPOINT> -H "Authorization: ZenApiKey ${TOKEN}"

Es wird einer der folgenden Rückgabecodes angezeigt:

Web UI des Protokollservers öffnen

So rufen Sie den Link zum Spark-History-Server für Ihre bereitgestellte Instanz auf:

1. Klicken Sie im Navigationsmenü in Cloud Pak for Dataauf Services > Instanzen, suchen Sie die Instanz und klicken Sie darauf, um die Instanzdetails anzuzeigen.
2. Kopieren Sie den Endpunkt des Ansichtsprotokollservers.
3. Fügen Sie den Endpunkt des Verlaufsservers in einen neuen Tab im selben Browserfenster von Cloud Pak for Data ein, um die Benutzeroberfläche des Verlaufsservers anzuzeigen.

Hinweise

• Stellen Sie sicher, dass der Spark-Protokollserver aktiv ist, bevor Sie die Web UIöffnen.
• Protokolllinks unter den Registerkarten Stages und Executors der Benutzerschnittstelle des Spark-Protokollservers funktionieren nicht, da Protokolle mit den Spark-Ereignissen nicht beibehalten werden.
• Die Protokolle stdout und stderr werden in der Benutzerschnittstelle des Spark-Protokollservers nicht unterstützt.

Spark-Protokollserver anpassen

Standardmäßig belegt der Spark-Protokollserver 1 CPU-Core und 4 GiB Speicher, während er ausgeführt wird. Wenn Sie dem Spark-Protokollserver weitere Ressourcen zuordnen möchten, können Sie die folgenden Eigenschaften mit der REST API auf die gewünschten Werte setzen:

• ae.spark.history-server.cores für die Anzahl der CPU-Cores
• ae.spark.history-server.memory für die Speicherkapazität

CPU-Cores und Speichereinstellungen aktualisieren

Rufen Sie vom Protokollserverendpunkt die Instanz-ID ab. Weitere Informationen dazu, wie Sie diese Informationen abrufen können, finden Sie unter „Verwalten von „ Analytics Engine powered by Apache Spark “-Instanzen “.

Der Endpunkt hat das folgende Format: https://<CloudPakforData_URL>/v4/analytics_engines/<INSTANCE_ID>/spark_history_server.

Aktualisieren Sie die Einstellungen für CPU-Cores und Speicher mithilfe der REST-API wie folgt:

curl --location --request PATCH <https://<CloudPakforData_URL>/v4/analytics_engines/<INSTANCE_ID>/default_configs -H "Authorization: ZenApiKey ${TOKEN}" --header 'Content-Type: application/json' --data-raw '{
        "ae.spark.history-server.cores": "2",
        "ae.spark.history-server.memory": "8G"
}'

Zusätzliche Anpassungen

Sie können den Spark-Protokollserver weiter anpassen, indem Sie der Spark-Standardkonfiguration Ihrer Instanz von Analytics Engine Power by Apache Spark Eigenschaften hinzufügen. Siehe Standardkonfigurationsoptionen für Spark-Protokolle.