Surveillance d'Apache Spark

Le capteur est compatible avec les versions de Spark allant de 1.4.x à 3.5.x.

Le tableau suivant présente la dernière version prise en charge et la politique d'assistance :

Pour plus d'informations sur la politique d'assistance, consultez la section « Stratégie d'assistance pour les capteurs ».

Les deux composants principaux d'une application Spark sont le processus pilote et les processus exécuteur. Les processus exécuteur contiennent des données concernant uniquement l'exécution de la tâche. Le pilote est le processus principal, chargé de la coordination de l'exécution d'une application Spark. Par conséquent, il contient toutes les données sur les performances et l'exécution de l'application Spark et inclut également des données sur chaque programme d'exécution de l'application Spark.

Instana collecte toutes les données d'application Spark (y compris les données d'exécuteur) à partir de la machine virtuelle Java du pilote. Pour surveiller les applications Spark, l'agent Instana doit être installé sur l'hôte sur lequel le pilote Spark JVM est en cours d'exécution.

Notez qu'il existe deux manières de soumettre des applications Spark au gestionnaire de clusters. Selon la définition de cette option, l'emplacement où la machine virtuelle Java du pilote est en cours d'exécution peut varier.

• Mode de déploiement du cluster : lorsque vous effectuez une soumission avec l'option --deploy-mode cluster, par exemple ./spark-submit --class org.apache.spark.examples.JavaWordCount --master yarn --deploy-mode cluster /path/to/app.jar, le pilote Spark JVM s'exécute sur l'un des nœuds de travail de votre gestionnaire de cluster. Si l'agent Instana est installé sur des noeuds worker, l'application Spark (pilote) est reconnue automatiquement.
• Mode de déploiement du client : lorsque vous effectuez une soumission avec l'option --deploy-mode client, ou sans cette option --deploy-mode (la valeur par défaut est client), par exemple ./spark-submit --class org.apache.spark.examples.JavaWordCount --master yarn --deploy-mode client /path/to/app.jar ou ./spark-submit --class org.apache.spark.examples.JavaWordCount --master yarn /path/to/app.jar, le pilote Spark JVM s'exécute sur l'hôte sur lequel cette commande est exécutée. Pour que l' Instana e puisse surveiller cette application Spark, l'agent Instana doit être installé sur l'hôte où le processus Spark Submit est exécuté.

En fonction du type d'application Spark, Instana surveille différentes données collectées :

Instana détecte et surveille les applications Spark via le pilote Spark, ce qui permet d'obtenir une visibilité des applications Spark, d'installer l'agent sur des instances EC2 de votre cluster EMR. Lorsque vous déployez des applications Spark à partir du nœud principal et en mode de clientdéploiement, il suffit d'installer l'agent uniquement sur le nœud principal du cluster EMR.

Si vous ne souhaitez pas copier le fichier JAR de l'application Spark sur le nœud principal et que vous souhaitez déployer l'application Spark à cluster partir d'un autre emplacement, par exemple depuis un compartiment S3, vous devez installer l'agent sur tous les nœuds du cluster EMR. En effet, le pilote est planifié sur le noeud worker.

La meilleure méthode consiste à créer le cluster EMR, puis, dans la configuration avancée, à sélectionner l'image AMI personnalisée sur laquelle l'agent Instana a été installé. Pour plus d'informations sur la manière de démarrer le cluster EMR à l'aide de l'AMI personnalisée, consultez la documentation disponible à l'adresse AWS. Pour créer une image AMI sur laquelle l'agent « Instana » est installé, consultez la documentation disponible à l'adresse AWS. Lorsqu'on vous invite à vous connecter via SSH à l'instance d' EC2 pour installer le logiciel, utilisez la commande en une ligne qui se trouve sur la page Paramètres de Instana. Vous pouvez y accéder en cliquant sur Paramètres dans la barre latérale de l'interface utilisateur de Instana. Pour plus d'informations, consultez la section « Installation de l'agent hôte sur Amazon Elastic Compute Cloud » (Amazon EC2 ). Vous obtenez ainsi une vue d'ensemble de tous les nœuds de votre cluster EMR, vous pouvez surveiller les applications Spark quel que soit le mode de déploiement, et vous bénéficiez d'informations détaillées sur tous les composants sous-jacents d'EMR, tels qu' Hadoop YARN. Si vous souhaitez mesurer uniquement les indicateurs d' Hadoop YARN, consultez la documentation relative à la surveillance d'Amazon E ElasticMapReduce s (EMR).

Outre son exécution sur les gestionnaires de clusters YARN, Spark propose également un mode de déploiement autonome simple. Spark Stand-Alone est un gestionnaire de clusters composé de nœuds principaux et de nœuds de travail. Instana surveille l'ensemble du cluster autonome Spark via le nœud principal du cluster. Il collecte des données à l'échelle du cluster et des données pour chaque noeud worker d'un cluster.

• Hôte
• Port
• URI Rest
• Version
• Statut

• Workers actifs
• Workers inactifs
• Workers mis hors service
• Noeuds workers dans un état inconnu
• Mémoire utilisée
• Mémoire totale
• Coeurs utilisés
• Nombre total de coeurs
• Données et métriques par worker
• Applications les plus récentes
• Pilotes les plus récents