기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon CloudWatch EMR 7.1.0용 에이전트 구성
Amazon EMR 7.1.0부터 Amazon EMR 구성을 API 사용하여 추가 시스템 지표를 사용하도록 Amazon CloudWatch 에이전트를 구성하고, 애플리케이션 지표를 추가하고, 지표 대상을 변경할 수 있습니다. 구성을 사용하여 클러스터의 애플리케이션을 구성하는 API 방법에 대한 자세한 내용은 애플리케이션 EMR 구성을 참조하십시오.
참고
7.1.0은 재구성 유형만 지원합니다. OVERWRITE 재구성 유형에 대한 자세한 내용은 인스턴스 그룹 재구성 시 고려 사항을 참조하십시오.
구성 스키마
emr-metrics다음과 같은 분류가 있습니다.
-
emr-system-metrics— 디스크CPU, 메모리와 같은 시스템 메트릭을 구성합니다. -
emr-hadoop-hdfs-datanode-metrics— 하둡 메트릭 DataNode JMX 구성 -
emr-hadoop-hdfs-namenode-metrics— 하둡 메트릭 구성 NameNode JMX -
emr-hadoop-yarn-nodemanager-metrics— Yarn 메트릭 구성 NodeManager JMX -
emr-hadoop-yarn-resourcemanager-metrics— Yarn ResourceManager JMX 메트릭 구성 -
emr-hbase-master-metrics— HBase 마스터 JMX 메트릭 구성 -
emr-hbase-region-server-metrics— HBase 지역 서버 JMX 지표 구성 -
emr-hbase-rest-server-metrics— HBase REST 서버 JMX 지표 구성 -
emr-hbase-thrift-server-metrics— HBase Thrift 서버 JMX 메트릭 구성
다음 표에는 모든 분류에 사용할 수 있는 속성 및 구성이 설명되어 있습니다.
emr-메트릭스 속성
| 속성 | 필수 | 설명 | 기본값 | 가능한 값 | 참고 |
|---|---|---|---|---|---|
metrics_destination |
선택 사항 | 클러스터 지표를 Amazon에 게시할지 아니면 Prometheus용 Amazon CloudWatch Managed Service에 게시할지를 결정합니다. | "CLOUDWATCH" | "CLOUDWATCH", "PROMETHEUS" | 이 속성은 대소문자를 구분하지 않습니다. 예를 들어, “클라우드워치”는 "“와 동일합니다. CLOUDWATCH |
prometheus_endpoint |
선택 사항 | metrics_destination이 "PROMETHEUS“로 설정된 경우 이 속성은 제공된 Prometheus용 Amazon Managed Service 원격 쓰기 엔드포인트로 지표를 보내도록 CloudWatch 에이전트를 구성합니다. |
N/A | Prometheus 원격 쓰기에 대한 모든 유효한 Amazon 관리형 서비스 URL 원격 쓰기 형식은 다음과 같습니다. URL
|
이 필드는 PROMETHEUS "“로 설정된 경우 필수 metrics_destination 필드입니다. 키를 제공하지 않거나 값이 빈 문자열인 경우 프로비저닝이 실패합니다. |
emr-system-metrics 속성
| 속성 | 필수 | 설명 | 기본값 | 가능한 값 | 참고 |
|---|---|---|---|---|---|
metrics_collection_interval |
선택 사항 | CloudWatch 에이전트로부터 지표가 수집되고 게시되는 빈도 (초) | “60" | 시간 (초) 을 지정하는 문자열. 정수만 입력할 수 있습니다. | 개별 메트릭 그룹의 속성으로 이 metrics_collection_interval 속성을 재정의할 수 있습니다. |
emr-system-metrics 구성
emr-hadoop-hdfs-datanode-메트릭 속성
| 속성 | 필수 | 설명 | 기본값 | 가능한 값 |
|---|---|---|---|---|
|
선택 사항 | N/A | MBean해당 CloudWatch 에이전트는 다음과 같은 Hadoop:service=DataNode,name=DataNodeActivity 메트릭을 수집해야 합니다. Amazon EMR 릴리스 7.0의 예제 JMX YAML 파일에서 |
와 관련된 쉼표로 구분된 지표 목록을 포함하는 문자열입니다. MBean 예: BlocksCached,BlocksRead. |
otel.metric.export.interval |
선택 사항 | Hadoop 메트릭을 수집하는 빈도 (밀리초) DataNode | “60000" | 밀리초 수를 지정하는 문자열. 정수만 입력할 수 있습니다. |
emr-hadoop-hdfs-namenode-메트릭 속성
| 속성 | 필수 | 설명 | 기본값 | 가능한 값 |
|---|---|---|---|---|
|
선택 사항 | N/A | MBean해당 CloudWatch 에이전트는 다음과 같은 Hadoop:service=NameNode,name=FSNamesystem 메트릭을 수집해야 합니다. Amazon EMR 릴리스 7.0의 예제 JMX YAML 파일에서 |
와 관련된 쉼표로 구분된 지표 목록을 포함하는 문자열입니다. MBean 예: BlockCapacity,CapacityUsedGB. |
otel.metric.export.interval |
선택 사항 | Hadoop 메트릭을 수집하는 빈도 (밀리초) NameNode | “60000" | 밀리초 수를 지정하는 문자열. 정수만 입력할 수 있습니다. |
emr-hadoop-yarn-nodemanager-메트릭 속성
| 속성 | 필수 | 설명 | 기본값 | 가능한 값 |
|---|---|---|---|---|
|
선택 사항 | N/A | MBean해당 CloudWatch 에이전트는 다음과 같은 Hadoop:service=NodeManager,name=NodeManagerMetrics 메트릭을 수집해야 합니다. Amazon EMR 릴리스 7.0의 예제 JMX YAML 파일에서 |
와 관련된 쉼표로 구분된 지표 목록을 포함하는 문자열입니다. MBean 예: MaxCapacity,AllocatedGB. |
otel.metric.export.interval |
선택 사항 | Hadoop 메트릭을 수집하는 빈도 (밀리초) YARN NodeManager | “60000" | 밀리초 수를 지정하는 문자열. 정수만 입력할 수 있습니다. |
emr-hadoop-yarn-resourcemanager-메트릭 속성
| 속성 | 필수 | 설명 | 기본값 | 가능한 값 |
|---|---|---|---|---|
|
선택 사항 | N/A | MBean해당 CloudWatch 에이전트는 다음과 같은 Hadoop:service=ResourceManager,name=PartitionQueueMetrics 메트릭을 수집해야 합니다. Amazon EMR 릴리스 7.0의 예제 JMX YAML 파일에서 |
와 관련된 쉼표로 구분된 지표 목록을 포함하는 문자열입니다. MBean 예: MaxCapacity,MaxCapacityVCores. |
otel.metric.export.interval |
선택 사항 | Hadoop 메트릭을 수집하는 빈도 (밀리초) YARN ResourceManager | “60000" | 밀리초 수를 지정하는 문자열. 정수만 입력할 수 있습니다. |
emr-hbase-master-metrics 속성
| 속성 | 필수 | 설명 | 기본값 | 가능한 값 |
|---|---|---|---|---|
|
선택 사항 | N/A | MBean해당 CloudWatch 에이전트는 다음과 같은 메트릭을 수집해야 Hadoop:service=HBase,name=Master,sub=AssignmentManager 합니다. Amazon EMR 릴리스 7.0의 예제 JMX YAML 파일에서 |
와 관련된 쉼표로 구분된 지표 목록을 포함하는 문자열입니다. MBean 예: AssignFailedCount,AssignSubmittedCount. |
otel.metric.export.interval |
선택 사항 | 마스터 지표를 수집하는 빈도 (밀리초) HBase | “60000" | 밀리초 수를 지정하는 문자열. 정수만 입력할 수 있습니다. |
emr-hbase-region-server-메트릭 속성
| 속성 | 필수 | 설명 | 기본값 | 가능한 값 |
|---|---|---|---|---|
|
선택 사항 | N/A | MBean해당 CloudWatch 에이전트는 다음과 같은 Hadoop:service=HBase,name=RegionServer,sub=IPC 메트릭을 수집해야 합니다. Amazon EMR 릴리스 7.0의 예제 JMX YAML 파일에서 |
와 관련된 쉼표로 구분된 지표 목록을 포함하는 문자열입니다. MBean 예: numActiveHandler,numActivePriorityHandler. |
otel.metric.export.interval |
선택 사항 | 지역 서버 측정치를 수집하는 빈도 (밀리초) HBase | “60000" | 밀리초 수를 지정하는 문자열. 정수만 입력할 수 있습니다. |
emr-hbase-rest-server-메트릭 속성
| 속성 | 필수 | 설명 | 기본값 | 가능한 값 |
|---|---|---|---|---|
|
선택 사항 | N/A | MBean해당 CloudWatch 에이전트는 다음과 같은 Hadoop:service=HBase,name=REST 메트릭을 수집해야 합니다. Amazon EMR 릴리스 7.0의 예제 JMX YAML 파일에서 |
와 관련된 쉼표로 구분된 지표 목록을 포함하는 문자열입니다. MBean 예: successfulPut,successfulScanCount. |
otel.metric.export.interval |
선택 사항 | Rest Server 메트릭을 수집하는 빈도 (밀리초) HBase | “60000" | 밀리초 수를 지정하는 문자열. 정수만 입력할 수 있습니다. |
emr-hbase-thrift-server-메트릭 속성
| 속성 | 필수 | 설명 | 기본값 | 가능한 값 |
|---|---|---|---|---|
|
선택 사항 | N/A | MBean해당 CloudWatch 에이전트는 다음과 같은 Hadoop:service=HBase,name=Thrift,sub=ThriftOne 메트릭을 수집해야 합니다. Amazon EMR 릴리스 7.0의 예제 JMX YAML 파일에서 |
와 관련된 쉼표로 구분된 지표 목록을 포함하는 문자열입니다. MBean 예: BatchGet_max,BatchGet_mean. |
otel.metric.export.interval |
선택 사항 | Thrift 서버 메트릭을 수집하는 빈도 (밀리초) HBase | “60000" | 밀리초 수를 지정하는 문자열. 정수만 입력할 수 있습니다. |
시스템 지표 구성 예제
다음 예제는 모든 시스템 메트릭 내보내기를 중지하도록 CloudWatch 에이전트를 구성하는 방법을 보여줍니다.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-system-metrics", "Properties": {}, "Configurations": [] } ] } ]
다음 예제는 기본 시스템 메트릭을 내보내도록 CloudWatch 에이전트를 구성합니다. 시스템 메트릭을 이미 한 번 이상 재구성한 경우 이렇게 하면 에이전트를 기본 시스템 메트릭만 내보내도록 재설정하는 빠른 방법이 됩니다. 이렇게 재설정하면 이전에 재구성된 애플리케이션 지표도 모두 제거됩니다.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [] } ]
다음 예에서는 cpumem, 및 지표를 내보내도록 클러스터를 구성합니다. disk
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-system-metrics", "Properties": { "metrics_collection_interval": "20" }, "Configurations": [ { "Classification": "cpu", "Properties": { "metrics": "cpu_usage_guest,cpu_usage_idle", "metrics_collection_interval": "30", "drop_original_metrics": "cpu_usage_guest" } }, { "Classification": "mem", "Properties": { "metrics": "mem_active" } }, { "Classification": "disk", "Properties": { "metrics": "disk_used_percent", "resources": "/,/mnt", "drop_original_metrics": "" } } ] } ] } ]
이전 예제 구성에는 다음과 같은 속성이 있습니다.
-
에이전트는 30초마다 모든
cpu_guest메트릭을 수집합니다CPUs. CloudWatch 네임스페이스CWAgent > cluster.id, instance.id, node.type, service.name아래에서 집계된 지표를 찾을 수 있습니다. -
에이전트는 30초마다 모든
cpu_idle메트릭을 수집합니다. CPUs CloudWatch 네임스페이스CWAgent > cluster.id, instance.id, node.type, service.name아래에서 집계된 지표를 찾을 수 있습니다. 에이전트는 또한 CPU당 메트릭을 수집합니다. 동일한 네임스페이스에서 찾을 수 있습니다.drop_original_metrics속성에 포함되지cpu_idle않기 때문에 에이전트가 이 메트릭을 수집하므로 에이전트가 메트릭을 무시하지 않습니다. -
에이전트는 20초마다
mem_active지표를 수집합니다. CloudWatch 네임스페이스CWAgent > cluster.id, instance.id, node.type, service.name아래에서 집계된 지표를 찾을 수 있습니다. -
에이전트는 20초마다
/및/mnt디스크 마운트에 대한disk_used_percent메트릭을 수집합니다. 네임스페이스에서 집계된 지표를 찾을 수 있습니다. CloudWatchCWAgent > cluster.id, instance.id, node.type, service.name에이전트는 또한 마운트별 메트릭을 수집합니다. 동일한 네임스페이스에서 찾을 수 있습니다.drop_original_metrics속성에 포함되지disk_used_percent않기 때문에 에이전트가 이 메트릭을 수집하므로 에이전트가 메트릭을 무시하지 않습니다.
애플리케이션 지표 구성 예제
다음 예제는 Hadoop Namenode 서비스에 대한 메트릭 내보내기를 중지하도록 CloudWatch 에이전트를 구성합니다.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-hadoop-hdfs-namenode-metrics", "Properties": {}, "Configurations": [] } ] } ]
다음 예제는 하둡 애플리케이션 메트릭을 내보내도록 클러스터를 구성합니다.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-hadoop-hdfs-namenode-metrics", "Properties": { "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB", "otel.metric.export.interval": "20000" }, "Configurations": [] }, { "Classification": "emr-hadoop-hdfs-datanode-metrics", "Properties": { "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM", "otel.metric.export.interval": "30000" }, "Configurations": [] }, { "Classification": "emr-hadoop-yarn-resourcemanager-metrics", "Properties": { "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps" }, "Configurations": [] } ] } ]
이전 예제에는 다음과 같은 속성이 있습니다.
-
에이전트는 20초마다 Hadoop Namenode 서비스를 실행하는 인스턴스로부터
BlockCapacity및CapacityUsedGB메트릭을 수집합니다. -
에이전트는 30초마다 Hadoop Datanode 서비스를 실행하는 인스턴스로부터
MemNonHeapUsedM지표를 수집합니다. -
에이전트는 30초마다 하둡을 실행하는 인스턴스로부터
AllocateNumOps및NodeUpdateNumOps지표를 수집합니다. YARN ResourceManaager
Prometheus용 아마존 매니지드 서비스 예제
다음 예제는 Amazon Managed Service for Prometheus로 지표를 내보내도록 CloudWatch 에이전트를 구성하는 방법을 보여줍니다.
현재 Prometheus용 Amazon Managed Service로 지표를 내보내고 있는데 클러스터의 지표를 재구성하고 계속해서 Amazon Managed Service for Prometheus로 지표를 내보내려면 속성 및 을 포함해야 합니다. metrics_destination prometheus_endpoint
[ { "Classification": "emr-metrics", "Properties": { "metrics_destination": "prometheus", "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write" }, "Configurations": [] } ]
CloudWatch 에이전트를 사용하여 지표를 내보내려면 다음 예제를 사용하십시오. CloudWatch
[ { "Classification": "emr-metrics", "Properties": { "metrics_destination": "cloudwatch" }, "Configurations": [] } ]
참고
CloudWatch 에이전트에는 특정 속성의 이름을 변경하는 Prometheus 익스포터가 있습니다. Prometheus용 Amazon 관리 서비스는 기본 지표 레이블의 경우 Amazon에서 사용하는 기간 대신 밑줄 문자를 사용합니다. CloudWatch Amazon Managed Grafana를 사용하여 Prometheus용 Amazon Managed Service에서 기본 지표를 시각화하는 경우 레이블은,, 및 로 표시됩니다. cluster_id instance_id node_type service_name
