Monitoring Amazon ElasticMapRedukuj (EMR)

Czujnik Amazon ElasticMapRedukuj (EMR) jest automatycznie wdrażany i instalowany po zainstalowaniu agenta na Instana.

Uwaga: Informacje na temat innych obsługiwanych usług AWS można znaleźć w dokumentacji AWS .

Ten czujnik monitoruje środowiska AWS ElasticMapRedukuj (EMR) i ich instancje.

Czujnik (Gromadzenie Danych)

Szczegóły klastra

  • ID klastra
  • Nazwa klastra
  • Czas utworzenia klastra
  • Wersja klastra
  • Stan klastra
  • Strefa grupowania (region)

Metryki

Wielkości mierzone klastra

Nazwa Opis
Aplikacje działające Liczba aplikacji obecnie znajdujących się w klastrze.
Aplikacje oczekujące Liczba aplikacji oczekujących na klaster.
Nieudane aplikacje Liczba aplikacji, które nie powiodły się w klastrze.
Przydzielona pamięć Ilość pamięci, która jest przydzielona do klastra w bajtach.
Zarezerwowana pamięć Ilość pamięci zarezerwowanej w bajtach.
Dostępna pamięć Ilość dostępnej pamięci, która ma być przydzielona w bajtach.
Kontenery uruchomione Liczba kontenerów w klastrze.

Metryki węzła

Nazwa Opis
Aktywne węzły Liczba węzłów, które obecnie MapReduce (MapReduce) w klastrze.
Utracone węzły Liczba węzłów, które są przydzielone do zadań MapReduce ze stanem LOST .
Niezdrowe węzły Liczba węzłów, które są przydzielone do zadań MapReduce (MapReduce) z UNHEALTHY .
Węzły wycofane z eksploatacji Liczba węzłów, które są przydzielone do zadań MapReduce ze stanem DECOMMISSIONED .

Wielkości mierzone wejścia/wyjścia

Nazwa Opis
Bajty zapisane do S3 Liczba bajtów zapisanych w zasobniku S3 przez klaster.
Bajty odczytane z S3 Liczba bajtów odczytanych z zasobnika S3 przez klaster.
Użycie HDFS Procent pamięci masowej HDFS , która jest obecnie używana.
Łączne obciążenie Łączna liczba współbieżnych operacji przesyłania danych.

Wymagane Uprawnienia

  • CloudWatch: StatystykiGetMetric
  • CloudWatch: DaneGetMetric
  • elasticmapreduce:ListClusters
  • elasticmapreduce:DescribeCluster

Konfiguracja

Wielkości mierzone dla narzędzia EMR są pobierane co 300 sekund, które można zmienić za pomocą konfiguracji agenta w produkcie <agent_install_dir>/etc/instana/configuration.yml:

com.instana.plugin.aws.emr:
  cloudwatch_period: 300

Aby wyłączyć monitorowanie instancji EMR, należy użyć następującej konfiguracji:

com.instana.plugin.aws.emr:
  enabled: false

Konfiguracja serwera proxy

Aby skonfigurować konkretny czujnik AWS w celu korzystania z konfiguracji proxy, należy dodać następujące ustawienia konfiguracji agenta:

com.instana.plugin.aws.emr:
  proxy_host: 'example.com' # proxy host name or ip address
  proxy_port: 3128 # proxy port
  proxy_protocol: 'HTTP' # proxy protocol: HTTP or HTTPS
  proxy_username: 'username' # OPTIONAL: proxy username
  proxy_password: 'password' # OPTIONAL: proxy password

Monitorowanie wielu kont AWS

Zapoznaj się z dokumentacją Monitorowanie wielu kont AWS , aby skonfigurować monitorowanie wielu kont AWS z jednym agentem AWS w tym samym regionie.

AWS -podejście nazwane profile

Aby przesłonić, które profile są używane do monitorowania ElasticMap, należy użyć następującej konfiguracji:

com.instana.plugin.aws.emr:
  profile_names:
    - 'profile2'
    - 'profile3'

Uwaga: Definiowanie profili na poziomie usługi przesłania konfigurację globalnych profili AWS .

AWS podejście STS

Aby przesłonić, które role IAM są używane do monitorowania metody ElasticMap, należy użyć następującej konfiguracji:

com.instana.plugin.aws.emr:
  role_arns:
    - 'arn:aws:iam::<account_1_id>:role/<role_1_name>'
    - 'arn:aws:iam::<account_2_id>:role/<role_2_name>'

Uwaga: Definiowanie ról IAM na poziomie usługi przesłania konfigurację globalnych ról IAM AWS .

Filtrowanie

Można zdefiniować wiele znaczników, rozdzielając je przecinkami. Znaczniki są udostępniane w postaci par klucz-wartość oddzielonych od: Aby ułatwić konfigurację, możliwe jest zdefiniowanie znaczników, które mają zostać włączone do wykrywania, lub wykluczenia z wykrywania. Jeśli znacznik definiujący na obu listach (włączeń/wykluczenie), lista wykluczeń ma wyższy priorytet. Jeśli nie ma potrzeby filtrowania usług, konfiguracja nie powinna być zdefiniowana. Definiowanie wszystkich wartości w celu włączenia filtrowania nie jest obowiązkowe.

Użytkownicy są w stanie określić, jak często czujniki odpytywać AWS oznakowane zasobami, które używają właściwości konfiguracyjnej tagged-services-poll-rate (domyślnie 300 sekund).

Uwaga: Znaczniki są dostępne tylko w przypadku agenta AWS.

Aby zdefiniować, jak często czujniki odpytyją oznaczone zasoby, użyj następującej konfiguracji:

com.instana.plugin.aws:
  tagged-services-poll-rate: 60 #default 300

Aby włączyć usługi przez znaczniki do wykrywania, należy użyć następującej konfiguracji:

com.instana.plugin.aws.emr:
  include_tags: # Comma separated list of tags in key:value format (e.g. env:prod,env:staging)

Aby wykluczyć usługi według znaczników z wykrywania, należy użyć następującej konfiguracji:

com.instana.plugin.aws.emr:
  exclude_tags: # Comma separated list of tags in key:value format (e.g. env:dev,env:test)

Usługi AWS bez znaczników są domyślnie monitorowane, ale można je wykluczyć, ustawiając wartość w polu include_untagged na false:

com.instana.plugin.aws.emr:
  include_untagged: false # True value by default

Znaczniki agenta Instana

Należy pamiętać, że znaczniki są dostępne tylko w przypadku agenta AWS. Więcej informacji na temat używania znaczników zawiera sekcja tutaj.