Amazon 모니터링 ElasticMapReduce (EMR)

Amazon ElasticMapReduce (EMR) 센서는 Instana 에이전트를 설치하면 자동으로 배포 및 설치됩니다.

참고: 지원되는 다른 AWS 서비스에 대한 자세한 내용은 AWS 문서에서 확인하세요.

이 센서는 AWS ElasticMapReduce (EMR) 환경과 해당 인스턴스를 모니터링합니다.

센서(데이터 수집)

클러스터 세부사항

  • 클러스터 ID
  • 클러스터 이름
  • 클러스터 작성 시간
  • 클러스터 버전
  • 클러스터 상태
  • 그룹화 영역(지역)

메트릭

클러스터 지표

이름 설명
실행 중인 앱 현재 클러스터에 있는 애플리케이션의 수입니다.
보류 중인 앱 클러스터에 보류 중인 애플리케이션 수입니다.
실패한 앱 클러스터에서 실패한 애플리케이션의 수입니다.
할당된 메모리 클러스터에 할당된 메모리 양(바이트)입니다.
예약된 메모리 예약된 메모리 양(바이트)입니다.
사용 가능한 메모리 할당할 수 있는 메모리 용량(바이트)입니다.
실행 중인 컨테이너 클러스터의 컨테이너 수입니다.

노드 메트릭

이름 설명
활성 노드 현재 클러스터 내에서 MapReduce 작업을 수행하는 노드 수입니다.
유실된 노드 LOST 상태의 MapReduce 작업에 할당된 노드 수입니다.
비정상 노드 UNHEALTHY 상태의 MapReduce 작업에 할당된 노드 수입니다.
사용중지된 노드 DECOMMISSIONED 상태의 MapReduce 작업에 할당된 노드 수입니다.

입력/출력 메트릭

이름 설명
기록 대상 바이트 S3 클러스터가 S3 버킷에 기록한 바이트 수입니다.
다음에서 읽은 바이트 S3 클러스터가 S3 버킷에서 읽은 바이트 수입니다.
HDFS 사용법 현재 사용 중인 HDFS 스토리지의 백분율입니다.
총 로드 총 동시 데이터 전송 횟수입니다.

필수 권한

  • CloudWatch:GetMetricStatistics
  • CloudWatch:GetMetricData
  • elasticmapreduce:ListClusters
  • elasticmapreduce:DescribeCluster

구성

EMR에 대한 메트릭은 300초마다 가져오며, <agent_install_dir>/etc/instana/configuration.yml 에서 상담원 구성을 통해 변경할 수 있습니다:

com.instana.plugin.aws.emr:
  cloudwatch_period: 300

EMR 인스턴스 모니터링을 비활성화하려면 다음 구성을 사용하세요:

com.instana.plugin.aws.emr:
  enabled: false

프록시 구성

특정 AWS 센서가 프록시 구성을 사용하도록 구성하려면 다음 에이전트 구성 설정을 추가합니다:

com.instana.plugin.aws.emr:
  proxy_host: 'example.com' # proxy host name or ip address
  proxy_port: 3128 # proxy port
  proxy_protocol: 'HTTP' # proxy protocol: HTTP or HTTPS
  proxy_username: 'username' # OPTIONAL: proxy username
  proxy_password: 'password' # OPTIONAL: proxy password

여러 AWS 계정 모니터링

같은 지역에 있는 한 명의 AWS 상담원이 여러 개의 AWS 계정을 모니터링하도록 설정하려면 여러 개의 AWS 계정 모니터링하기 문서를 참조하세요.

AWS 명명된 프로필 접근 방식

ElasticMapReduce, 모니터링에 사용되는 프로필을 재정의하려면 다음 구성을 사용합니다:

com.instana.plugin.aws.emr:
  profile_names:
    - 'profile2'
    - 'profile3'
참고: 서비스 수준에서 프로필을 정의하면 글로벌 AWS 프로필 구성이 재정의됩니다.

AWS STS 접근 방식

ElasticMapReduce, 모니터링에 사용되는 IAM 역할을 재정의하려면 다음 구성을 사용합니다:

com.instana.plugin.aws.emr:
  role_arns:
    - 'arn:aws:iam::<account_1_id>:role/<role_1_name>'
    - 'arn:aws:iam::<account_2_id>:role/<role_2_name>'
참고: 서비스 수준에서 IAM 역할을 정의하면 글로벌 AWS IAM 역할 구성이 재정의됩니다.

필터링

여러 개의 태그를 쉼표로 구분하여 정의할 수 있습니다. 태그는 쉼표로 구분된 키-값 쌍으로 제공됩니다: 구성을 더 쉽게 하기 위해 검색에 포함하거나 검색에서 제외할 태그를 정의할 수 있습니다. 두 목록(포함 및 제외)에 모두 태그를 정의하는 경우 제외 목록의 우선순위가 더 높습니다. 필터링 서비스가 필요하지 않은 경우에는 구성을 정의하지 않아야 합니다. 필터링을 활성화하기 위해 모든 값을 정의할 필요는 없습니다.

사용자는 tagged-services-poll-rate 구성 속성을 사용하는 AWS 태그가 지정된 리소스를 센서가 폴링하는 빈도(기본값 300초)를 지정할 수 있습니다.

참고: 태그는 AWS 에이전트에서만 사용할 수 있습니다.

센서가 태그가 지정된 리소스를 폴링하는 빈도를 정의하려면 다음 구성을 사용합니다:

com.instana.plugin.aws:
  tagged-services-poll-rate: 60 #default 300

태그별로 서비스를 검색에 포함하려면 다음 구성을 사용하세요:

com.instana.plugin.aws.emr:
  include_tags: # Comma separated list of tags in key:value format (e.g. env:prod,env:staging)

태그별로 서비스를 검색에서 제외하려면 다음 구성을 사용하세요:

com.instana.plugin.aws.emr:
  exclude_tags: # Comma separated list of tags in key:value format (e.g. env:dev,env:test)

AWS 태그가 없는 서비스는 기본적으로 모니터링되지만 include_untagged 필드를 false 으로 설정하여 제외할 수 있습니다:

com.instana.plugin.aws.emr:
  include_untagged: false # True value by default