Amazon ElasticMapReduce (EMR) のモニター
Amazon ElasticMapReduce (EMR)センサーは、 Instana エージェントをインストールすると自動的にデプロイおよびインストールされます。
このセンサーは、AWS ElasticMapReduce (EMR) 環境とそのインスタンスをモニターします。
センサー (データ収集)
クラスターの詳細
- クラスター ID
- クラスター名
- クラスター作成時刻
- クラスターのバージョン
- クラスターの状態
- グループ化ゾーン (リージョン)
メトリック
クラスター・メトリック
| 名前 | 説明 |
|---|---|
| 実行中のアプリケーション | 現在クラスター内にあるアプリケーションの数。 |
| 保留中のアプリケーション | クラスターで保留になっているアプリケーションの数。 |
| 失敗したアプリケーション | クラスター内で失敗したアプリケーションの数。 |
| 割り当て済みメモリー | クラスターに割り振られているメモリーの量 (バイト単位)。 |
| 予約済みメモリー | 予約されているメモリー容量 (バイト単位)。 |
| 使用可能なメモリー | 割り当て可能なメモリー容量 (バイト単位)。 |
| 実行中のコンテナー | クラスター内のコンテナーの数。 |
ノード・メトリック
| 名前 | 説明 |
|---|---|
| アクティブ・ノード | クラスター内の現在 MapReduce 個のノード・タスクの数。 |
| 喪失ノード | 「 LOST 」状態の MapReduce タスクに割り振られるノードの数。 |
| 正常でないノード | 「 UNHEALTHY 」状態の MapReduce タスクに割り振られるノードの数。 |
| 廃止ノード | 「 DECOMMISSIONED 」状態の MapReduce タスクに割り振られるノードの数。 |
入出力メトリック
| 名前 | 説明 |
|---|---|
| S3 に書き込まれたバイト数 | クラスターによって S3 バケットに書き込まれたバイト数。 |
| S3 から読み取られたバイト数 | クラスターによって S3 バケットから読み取られたバイト数。 |
| HDFS の使用法 | 現在使用中の HDFS ストレージの割合 (%)。 |
| ロード合計 | 同時データ転送の合計数。 |
必要なアクセス権
- CloudWatch:GetMetricStatistics
- CloudWatch:GetMetricData
- elasticmapreduce:ListClusters
- elasticmapreduce:DescribeCluster
構成
EMR のメトリックは 300 秒ごとにプルされます。これは、 <agent_install_dir>/etc/instana/configuration.ymlのエージェント構成を使用して変更できます。
com.instana.plugin.aws.emr:
cloudwatch_period: 300
EMR インスタンスのモニターを無効にするには、以下の構成を使用します。
com.instana.plugin.aws.emr:
enabled: false
プロキシー構成
プロキシー構成を使用するように特定の AWS センサーを構成するには、以下のエージェント構成設定を追加します。
com.instana.plugin.aws.emr:
proxy_host: 'example.com' # proxy host name or ip address
proxy_port: 3128 # proxy port
proxy_protocol: 'HTTP' # proxy protocol: HTTP or HTTPS
proxy_username: 'username' # OPTIONAL: proxy username
proxy_password: 'password' # OPTIONAL: proxy password
複数の AWS アカウントのモニター
同じリージョン内の 1 つの AWS エージェントを使用して複数の AWS アカウントのモニターをセットアップするには、 複数の AWS アカウントのモニター の資料を参照してください。
AWS 名前付きプロファイルを使用する方法
ElasticMapReduce, の監視に使用するプロファイルを上書きするには、以下の設定を使用してください:
com.instana.plugin.aws.emr:
profile_names:
- 'profile2'
- 'profile3'
AWS STS を使用する方法
ElasticMapReduce, の監視に使用する IAM ロールを上書きするには、以下の設定を使用してください:
com.instana.plugin.aws.emr:
role_arns:
- 'arn:aws:iam::<account_1_id>:role/<role_1_name>'
- 'arn:aws:iam::<account_2_id>:role/<role_2_name>'
フィルタリング
複数のタグを定義するには、コンマで区切ります。 タグは、以下のように区切られたキーと値のペアとして提供されます。構成を容易にするために、ディスカバリーに含めるタグまたはディスカバリーから除外するタグを定義できます。 両方のリスト (包含と除外) にタグを定義すると、除外リストの優先順位が高くなります。 サービスをフィルタリングする必要がない場合は、構成を定義しないでください。 フィルタリングを有効にするためにすべての値を定義することは必須ではありません。
ユーザーは、tagged-services-poll-rate構成プロパティーを使用する AWS タグ付きリソースをセンサーがポーリングする頻度を指定できます (デフォルトは 300 秒)。
タグ付きリソースをセンサーがポーリングする頻度を定義するには、以下の構成を使用します。
com.instana.plugin.aws:
tagged-services-poll-rate: 60 #default 300
タグごとのサービスをディスカバリーに含めるには、以下の構成を使用します。
com.instana.plugin.aws.emr:
include_tags: # Comma separated list of tags in key:value format (e.g. env:prod,env:staging)
タグごとのサービスをディスカバリーから除外するには、以下の構成を使用します。
com.instana.plugin.aws.emr:
exclude_tags: # Comma separated list of tags in key:value format (e.g. env:dev,env:test)
タグのない AWS サービスはデフォルトでモニターされますが、include_untaggedフィールドをfalseに設定することで除外できます。
com.instana.plugin.aws.emr:
include_untagged: false # True value by default
Instana エージェント・タグ
なお、タグ機能は AWS エージェントでのみ利用可能です。 タグの使用方法の詳細については、こちらをご覧ください。