Amazon ElasticMapReduce (EMR) のモニター

Amazon ElasticMapReduce (EMR)センサーは、 Instana エージェントをインストールすると自動的にデプロイおよびインストールされます。

注: サポートされるその他の AWS サービスについては、AWS の資料を使用してください。

このセンサーは、AWS ElasticMapReduce (EMR) 環境とそのインスタンスをモニターします。

センサー (データ収集)

クラスターの詳細

  • クラスター ID
  • クラスター名
  • クラスター作成時刻
  • クラスターのバージョン
  • クラスターの状態
  • グループ化ゾーン (リージョン)

メトリック

クラスター・メトリック

名前 説明
実行中のアプリケーション 現在クラスター内にあるアプリケーションの数。
保留中のアプリケーション クラスターで保留になっているアプリケーションの数。
失敗したアプリケーション クラスター内で失敗したアプリケーションの数。
割り当て済みメモリー  クラスターに割り振られているメモリーの量 (バイト単位)。
予約済みメモリー 予約されているメモリー容量 (バイト単位)。
使用可能なメモリー 割り当て可能なメモリー容量 (バイト単位)。
実行中のコンテナー クラスター内のコンテナーの数。

ノード・メトリック

名前 説明
アクティブ・ノード クラスター内の現在 MapReduce 個のノード・タスクの数。
喪失ノード LOST 」状態の MapReduce タスクに割り振られるノードの数。
正常でないノード  UNHEALTHY 」状態の MapReduce タスクに割り振られるノードの数。
廃止ノード DECOMMISSIONED 」状態の MapReduce タスクに割り振られるノードの数。

入出力メトリック

名前 説明
S3 に書き込まれたバイト数 クラスターによって S3 バケットに書き込まれたバイト数。
S3 から読み取られたバイト数 クラスターによって S3 バケットから読み取られたバイト数。
HDFS の使用法 現在使用中の HDFS ストレージの割合 (%)。
ロード合計 同時データ転送の合計数。

必要なアクセス権

  • CloudWatch:GetMetricStatistics
  • CloudWatch:GetMetricData
  • elasticmapreduce:ListClusters
  • elasticmapreduce:DescribeCluster

構成

EMR のメトリックは 300 秒ごとにプルされます。これは、 <agent_install_dir>/etc/instana/configuration.ymlのエージェント構成を使用して変更できます。

com.instana.plugin.aws.emr:
  cloudwatch_period: 300

EMR インスタンスのモニターを無効にするには、以下の構成を使用します。

com.instana.plugin.aws.emr:
  enabled: false

プロキシー構成

プロキシー構成を使用するように特定の AWS センサーを構成するには、以下のエージェント構成設定を追加します。

com.instana.plugin.aws.emr:
  proxy_host: 'example.com' # proxy host name or ip address
  proxy_port: 3128 # proxy port
  proxy_protocol: 'HTTP' # proxy protocol: HTTP or HTTPS
  proxy_username: 'username' # OPTIONAL: proxy username
  proxy_password: 'password' # OPTIONAL: proxy password

複数の AWS アカウントのモニター

同じリージョン内の 1 つの AWS エージェントを使用して複数の AWS アカウントのモニターをセットアップするには、 複数の AWS アカウントのモニター の資料を参照してください。

AWS 名前付きプロファイルを使用する方法

ElasticMapReduce, の監視に使用するプロファイルを上書きするには、以下の設定を使用してください:

com.instana.plugin.aws.emr:
  profile_names:
    - 'profile2'
    - 'profile3'
注: サービスレベルでプロファイルを定義すると、 AWS のプロファイルに関するグローバル設定が上書きされます。

AWS STS を使用する方法

ElasticMapReduce, の監視に使用する IAM ロールを上書きするには、以下の設定を使用してください:

com.instana.plugin.aws.emr:
  role_arns:
    - 'arn:aws:iam::<account_1_id>:role/<role_1_name>'
    - 'arn:aws:iam::<account_2_id>:role/<role_2_name>'
注: サービスレベルでIAMロールを定義すると、グローバルな AWS のIAMロール設定が上書きされます。

フィルタリング

複数のタグを定義するには、コンマで区切ります。 タグは、以下のように区切られたキーと値のペアとして提供されます。構成を容易にするために、ディスカバリーに含めるタグまたはディスカバリーから除外するタグを定義できます。 両方のリスト (包含と除外) にタグを定義すると、除外リストの優先順位が高くなります。 サービスをフィルタリングする必要がない場合は、構成を定義しないでください。 フィルタリングを有効にするためにすべての値を定義することは必須ではありません。

ユーザーは、tagged-services-poll-rate構成プロパティーを使用する AWS タグ付きリソースをセンサーがポーリングする頻度を指定できます (デフォルトは 300 秒)。

注: タグは、AWS エージェントでのみ使用可能です。

タグ付きリソースをセンサーがポーリングする頻度を定義するには、以下の構成を使用します。

com.instana.plugin.aws:
  tagged-services-poll-rate: 60 #default 300

タグごとのサービスをディスカバリーに含めるには、以下の構成を使用します。

com.instana.plugin.aws.emr:
  include_tags: # Comma separated list of tags in key:value format (e.g. env:prod,env:staging)

タグごとのサービスをディスカバリーから除外するには、以下の構成を使用します。

com.instana.plugin.aws.emr:
  exclude_tags: # Comma separated list of tags in key:value format (e.g. env:dev,env:test)

タグのない AWS サービスはデフォルトでモニターされますが、include_untaggedフィールドをfalseに設定することで除外できます。

com.instana.plugin.aws.emr:
  include_untagged: false # True value by default