Accéder au serveur d'historique Spark et le personnaliser

Démarrage du serveur de données historiques

Pour démarrer le serveur de données historiques Spark, entrez la commande cURL suivante :

curl -ik -X POST <HISTORY_SERVER_ENDPOINT> -H "Authorization: ZenApiKey ${TOKEN}"

Exemple de réponse :

{
    "state": "started",
    "cores": "1",
    "memory": "4G",
    "start_time": "2022-06-08T11:28:16.521Z"
}

L'un des codes retour suivants s'affiche :

Affichage de l'historique de l'état du serveur

Pour afficher l'état du serveur d'historique Spark, entrez la commande cURL suivante :

curl -ik -X GET <HISTORY_SERVER_ENDPOINT> -H "Authorization: ZenApiKey ${TOKEN}"

Exemple de réponse :

{
    "state": "started",
    "cores": "1",
    "memory": "4G",
    "start_time": "2022-06-08T11:28:16.521Z"
}

L'un des codes retour suivants s'affiche :

Arrêt du serveur de données historiques

Pour arrêter le serveur de données historiques, entrez la commande cURL suivante :

curl -ik -X DELETE <HISTORY_SERVER_ENDPOINT> -H "Authorization: ZenApiKey ${TOKEN}"

L'un des codes retour suivants s'affiche :

Ouverture du serveur d'historique Web UI

Pour accéder au lien vers le serveur de données historiques Spark pour votre instance mise à disposition :

1. Dans le menu de navigation, cliquez Cloud Pak for Data sur Services > Instances, recherchez l'instance et cliquez dessus pour afficher ses détails.
2. Copiez le point de terminaison du serveur d'historique des vues.
3. Collez le noeud final du serveur de données historiques de visualisation dans un nouvel onglet dans la même fenêtre de navigateur Cloud Pak for Data pour visualiser l'interface utilisateur du serveur de données historiques.

Remarques

• Assurez-vous que le serveur d'historique Spark est en cours d'exécution avant d'ouvrir le fichier Web UI.
• Les liens vers les journaux sous les onglets « Stages » (Étapes) et « Executors » (Exécuteurs) de l'interface utilisateur du serveur d'historique Spark ne fonctionneront pas, car les journaux ne sont pas conservés avec les événements Spark.
• Les journaux stdout et stderr ne sont pas pris en charge dans l'interface utilisateur du serveur d'historique Spark.

Personnalisation du serveur d'historique Spark

Par défaut, le serveur d'historique Spark utilise 1 cœur de processeur et 4 GiB de mémoire lorsqu'il est en cours d'exécution. Si vous souhaitez allouer davantage de ressources au serveur d'historique Spark, vous pouvez définir les propriétés suivantes sur les valeurs souhaitées à l'aide de l'API REST :

• ae.spark.history-server.cores pour le nombre de cœurs de processeur
• ae.spark.history-server.memory pour la quantité de mémoire

Mise à jour des paramètres des cœurs de processeur et de la mémoire

À partir du point de terminaison du serveur History, récupérez l'ID de l'instance. Pour plus d'informations sur la manière d'obtenir ces informations, consultez la section Gestion Analytics Engine powered by Apache Spark des instances.

Le format du point final est : https://<CloudPakforData_URL>/v4/analytics_engines/<INSTANCE_ID>/spark_history_server.

Mettez à jour les paramètres des cœurs de processeur et de la mémoire à l'aide de l'API REST comme suit :

curl --location --request PATCH <https://<CloudPakforData_URL>/v4/analytics_engines/<INSTANCE_ID>/default_configs -H "Authorization: ZenApiKey ${TOKEN}" --header 'Content-Type: application/json' --data-raw '{
        "ae.spark.history-server.cores": "2",
        "ae.spark.history-server.memory": "8G"
}'

Personnalisations supplémentaires

Vous pouvez personnaliser davantage le serveur d'historique Spark en ajoutant des propriétés à la configuration Spark par défaut de votre instance Analytics Engine Power Apache Spark by. Voir les options de configuration standard de l'historique Spark.