Surveillance d'Amazon ElasticMapReduce (EMR)

Modifier en ligne

Le capteur Amazon EMR ( ElasticMapReduce ) est automatiquement déployé et installé une fois que vous avez installé l'agent Instana.

Remarque : pour en savoir plus sur les autres services pris en charge par l' AWS, consultez la documentation sur l' AWS.

Ce capteur surveille les environnements AWS ElasticMapReduce (EMR) et leurs instances.

Capteur (collecte de données)

Modifier en ligne

Détails du cluster

Modifier en ligne
  • ID cluster
  • Nom du cluster
  • Heure de création du cluster
  • Version du cluster
  • Etat du cluster
  • Zone de regroupement (région)

Métriques

Modifier en ligne

Métriques du cluster

Modifier en ligne
Nom Description
Applications en cours d'exécution Nombre d'applications actuellement dans le cluster.
Applications en attente Nombre d'applications en attente pour le cluster.
Echec d'applications Nombre d'applications ayant échoué dans le cluster.
Mémoire allouée Quantité de mémoire allouée au cluster en octets.
Mémoire réservée Quantité de mémoire réservée en octets.
Mémoire disponible Quantité de mémoire disponible à allouer en octets.
Conteneurs en cours d'exécution Nombre de conteneurs dans le cluster.

Métriques de noeud

Modifier en ligne
Nom Description
Noeuds actifs Nombre de noeuds actuellement des tâches MapReduce dans le cluster.
Noeuds perdus Nombre de noeuds alloués aux tâches MapReduce avec un état LOST .
Noeuds non sains Nombre de noeuds alloués aux tâches MapReduce avec un état UNHEALTHY .
Noeuds mis hors service Nombre de noeuds alloués aux tâches MapReduce avec un état DECOMMISSIONED .

Métriques d'entrée/sortie

Modifier en ligne
Nom Description
Octets écrits dans S3 Nombre d'octets écrits dans le compartiment S3 par le cluster.
Octets lus à partir de S3 Nombre d'octets lus dans le compartiment S3 par le cluster.
Utilisation de HDFS Pourcentage de mémoire HDFS en cours d'utilisation.
Nombre total de chargements Nombre total de transferts de données simultanés.

Droits requis

Modifier en ligne
  • CloudWatch:GetMetricStatistics
  • CloudWatch:GetMetricData
  • elasticmapreduce:ListClusters
  • elasticmapreduce:DescribeCluster

Configuration

Modifier en ligne

Les métriques pour EMR sont extraites toutes les 300 secondes, qui peuvent être modifiées via la configuration d'agent dans <agent_install_dir>/etc/instana/configuration.yml:

com.instana.plugin.aws.emr:
  cloudwatch_period: 300

Pour désactiver la surveillance des instances EMR, utilisez la configuration suivante:

com.instana.plugin.aws.emr:
  enabled: false

Configuration de proxy

Modifier en ligne

Pour configurer le capteur AWS spécifique, afin d'utiliser la configuration du proxy, ajoutez les paramètres de configuration d'agent suivants :

com.instana.plugin.aws.emr:
  proxy_host: 'example.com' # proxy host name or ip address
  proxy_port: 3128 # proxy port
  proxy_protocol: 'HTTP' # proxy protocol: HTTP or HTTPS
  proxy_username: 'username' # OPTIONAL: proxy username
  proxy_password: 'password' # OPTIONAL: proxy password

Surveillance de plusieurs comptes AWS

Modifier en ligne

Reportez-vous à la documentation Surveillance de plusieurs comptes AWS pour configurer la surveillance de plusieurs comptes AWS avec un agent AWS dans la même région.

Approche des profils nommés AWS

Modifier en ligne

Pour définir manuellement les profils utilisés pour surveiller ElasticMapReduce,, utilisez la configuration suivante :

com.instana.plugin.aws.emr:
  profile_names:
    - 'profile2'
    - 'profile3'
Remarque : la définition de profils au niveau du service remplace la configuration globale des profils d' AWS.

Approche AWS STS

Modifier en ligne

Pour définir les rôles IAM utilisés pour surveiller ElasticMapReduce,, utilisez la configuration suivante :

com.instana.plugin.aws.emr:
  role_arns:
    - 'arn:aws:iam::<account_1_id>:role/<role_1_name>'
    - 'arn:aws:iam::<account_2_id>:role/<role_2_name>'
Remarque : la définition de rôles IAM au niveau du service remplace la configuration globale des rôles IAM sur AWS.

Filtrage

Modifier en ligne

Plusieurs balises séparées par des virgules peuvent être définies. Les balises sont fournies sous la forme d'une paire clé-valeur séparée par: Pour faciliter la configuration, il est possible de définir les balises à inclure dans la reconnaissance ou à exclure de la reconnaissance. Si vous définissez une balise dans les deux listes (inclusion et exclusion), la liste d'exclusion a une priorité plus élevée. S'il n'est pas nécessaire de filtrer les services, la configuration ne doit pas être définie. Il n'est pas obligatoire de définir toutes les valeurs pour activer le filtrage.

Les utilisateurs peuvent spécifier la fréquence à laquelle les détecteurs interrogent les ressources balisées AWS qui utilisent la propriété de configuration tagged-services-poll-rate (valeur par défaut: 300 secondes).

Remarque : les balises ne sont disponibles qu'avec l' agent « AWS ».

Pour définir la fréquence à laquelle les détecteurs interrogent les ressources balisées, utilisez la configuration suivante:

com.instana.plugin.aws:
  tagged-services-poll-rate: 60 #default 300

Pour inclure des services par balises dans la reconnaissance, utilisez la configuration suivante :

com.instana.plugin.aws.emr:
  include_tags: # Comma separated list of tags in key:value format (e.g. env:prod,env:staging)

Pour exclure des services par balises de la reconnaissance, utilisez la configuration suivante :

com.instana.plugin.aws.emr:
  exclude_tags: # Comma separated list of tags in key:value format (e.g. env:dev,env:test)

Les services AWS sans balises sont surveillés par défaut mais peuvent être exclus en définissant la zone include_untagged sur false:

com.instana.plugin.aws.emr:
  include_untagged: false # True value by default

Balises de l'agent Instana

Modifier en ligne

Veuillez noter que les balises ne sont disponibles qu'avec l 'agent « AWS ». Vous trouverez ici plus de détails sur l'utilisation des balises.