Monitoring Amazon ElasticMapReduce (EMR)
在安裝 Instana 代理程式之後，會自動部署並安裝 Amazon ElasticMapReduce (EMR) 感應器。
附註: 請參閱 AWS 說明文件，以瞭解其他受支援的 AWS 服務。
此感應器會監視 AWS ElasticMapReduce (EMR) 環境及其實例。
感應器 (資料收集)
叢集詳細資料
- 叢集 ID
- 叢集名稱
- 叢集建立時間
- 叢集版本
- 叢集狀態
- 分組區域 (地區)
度量值
叢集度量值
| 名稱 | 說明 |
|---|---|
| 執行中的應用程式 | 目前在叢集中的應用程式數目。 |
| 擱置中的應用程式 | 叢集的擱置中應用程式數。 |
| 失敗的應用程式 | 叢集中失敗的應用程式數目。 |
| 已配置的記憶體 | 配置給叢集的記憶體數量 (以位元組為單位)。 |
| 保留的記憶體 | 保留的記憶體數量 (以位元組為單位)。 |
| 可用記憶體 | 可配置的記憶體數量 (以位元組為單位)。 |
| 儲存器執行中 | 叢集中的儲存器數目。 |
節點度量
| 名稱 | 說明 |
|---|---|
| 作用中節點 | 叢集內目前 MapReduce 作業的節點數目。 |
| 遺失的節點 | 配置給具有 LOST 狀態的 MapReduce 作業的節點數目。 |
| 不健全的節點 | 配置給具有 UNHEALTHY 狀態的 MapReduce 作業的節點數目。 |
| 已除役的節點 | 配置給具有 DECOMMISSIONED 狀態的 MapReduce 作業的節點數目。 |
輸入/輸出度量
| 名稱 | 說明 |
|---|---|
| 寫入 S3 的位元組數 | 叢集寫入 S3 儲存區的位元組數。 |
| 從 S3 讀取的位元組數 | 叢集從 S3 儲存區讀取的位元組數。 |
| HDFS 使用情形 | 目前正在使用的 HDFS 儲存體百分比。 |
| 負載總計 | 並行資料傳送總數。 |
必要許可權
- CloudWatch:GetMetric統計資料
- CloudWatch:GetMetric資料
- elasticmapreduce:ListClusters
- elasticmapreduce:DescribeCluster
配置
EMR 的度量值每 300 秒取回一次，可以透過 <agent_install_dir>/etc/instana/configuration.yml中的代理程式配置來變更:
com.instana.plugin.aws.emr:
cloudwatch_period: 300
若要停用 EMR 實例的監視，請使用下列配置:
com.instana.plugin.aws.emr:
enabled: false
Proxy 配置
若要配置特定的 AWS 感應器以使用 Proxy 配置，請新增下列代理程式配置設定:
com.instana.plugin.aws.emr:
proxy_host: 'example.com' # proxy host name or ip address
proxy_port: 3128 # proxy port
proxy_protocol: 'HTTP' # proxy protocol: HTTP or HTTPS
proxy_username: 'username' # OPTIONAL: proxy username
proxy_password: 'password' # OPTIONAL: proxy password
監視多個 AWS 帳戶
請參閱 監視多個 AWS 帳戶 文件，以設定監視相同區域中具有一個 AWS 代理程式的多個 AWS 帳戶。
AWS 具名設定檔方法
若要置換用來監視 ElasticMapReduce 的設定檔，請使用下列配置:
com.instana.plugin.aws.emr:
profile_names:
- 'profile2'
- 'profile3'
附註: 在服務層次定義設定檔會置換廣域 AWS 設定檔配置。
AWS STS 方法
若要置換用來監視 ElasticMapReduce 的「IAM 角色」，請使用下列配置:
com.instana.plugin.aws.emr:
role_arns:
- 'arn:aws:iam::<account_1_id>:role/<role_1_name>'
- 'arn:aws:iam::<account_2_id>:role/<role_2_name>'
附註: 在服務層次定義 IAM 角色會置換廣域 AWS IAM 角色配置。
過濾
可以定義多個標籤，以逗點區隔。 標籤以鍵值組形式提供，並以下列方式區隔: 為了使配置更容易，您可以定義要在探索中併入或從探索中排除哪些標籤。 如果在兩個清單中定義標籤 (包括及排除) ，則排除清單具有較高的優先順序。 如果不需要過濾服務，則不應定義配置。 不一定要定義所有值以啟用過濾。
使用者可以指定感應器輪詢使用 tagged-services-poll-rate 配置內容之 AWS 標籤資源的頻率 (預設為 300 秒)。
附註: 標籤僅適用於 AWS 代理程式。
若要定義感應器輪詢已標記資源的頻率，請使用下列配置:
com.instana.plugin.aws:
tagged-services-poll-rate: 60 #default 300
若要將依標籤的服務併入探索中，請使用下列配置:
com.instana.plugin.aws.emr:
include_tags: # Comma separated list of tags in key:value format (e.g. env:prod,env:staging)
若要從探索中排除依標籤的服務，請使用下列配置:
com.instana.plugin.aws.emr:
exclude_tags: # Comma separated list of tags in key:value format (e.g. env:dev,env:test)
依預設會監視沒有標籤的 AWS 服務，但可以透過將 include_untagged 欄位設為 false來排除:
com.instana.plugin.aws.emr:
include_untagged: false # True value by default