클러스터 상태 및 세부 정보 보기

클러스터를 생성한 후에는 상태를 모니터링하고 실행이 종료된 후에도 발생할 수 있는 실행 및 오류에 대한 자세한 정보를 얻을 수 있습니다. Amazon EMR은 종료된 클러스터에 대한 메타데이터를 참조용으로 2개월 동안 저장하며, 그 이후에는 메타데이터가 삭제됩니다. 클러스터 내역에서 클러스터를 삭제할 수는 없지만 AWS Management Console을 사용하면 필터를 사용할 수 있고, AWS CLI를 사용하면 list-clusters 명령으로 옵션을 사용하여 관리하는 클러스터에 중점을 둘 수 있습니다.

클러스터가 실행 중이거나 종료되었는지 여부에 관계없이 기록된 시간으로부터 1주일 동안 클러스터에 저장된 애플리케이션 이력에 액세스할 수 있습니다. 또한 영구 애플리케이션 사용자 인터페이스는 클러스터가 종료된 후 30일 동안 애플리케이션 이력을 클러스터 외부에 저장합니다. 애플리케이션 기록 보기를 참조하세요.

대기 중 및 실행 중과 같은 클러스터 상태에 대한 자세한 내용은 클러스터 수명 주기 이해 섹션을 참조하세요.

AWS Management Console을 사용하여 클러스터 세부 정보 보기

https://console.aws.amazon.com/emr 클러스터 목록에는 종료된 클러스터를 포함하여 계정 및 AWS 지역의 모든 클러스터가 나열됩니다. 다음 목록에는 각 클러스터에 대한 이름 및 ID, 상태 및 상태 세부 정보, 생성 시간, 클러스터가 실행 중인 경과 시간, 클러스터의 모든 EC2 인스턴스에서 누적된 정규화된 인스턴스 시간이 나와 있습니다. 이 목록은 클러스터 상태의 모니터링을 위한 출발점입니다. 이 목록은 분석 및 문제 해결을 위해 각 클러스터의 세부 정보로 드릴다운할 수 있도록 설계되었습니다.

참고

보다 사용하기 쉽도록 Amazon EMR 콘솔을 재설계했습니다. 이전 콘솔과 새 콘솔 간 차이점에 대해서는 아마존 EMR 콘솔 섹션을 참조하세요.

New console

새 콘솔을 사용하여 클러스터 정보를 보는 방법

1. 에 로그인하고 AWS Management Console https://console.aws.amazon.com/emr 에서 Amazon EMR 콘솔을 엽니다.

2. 왼쪽 탐색 창의 EMR on EC2에서 클러스터를 선택하고 보려는 클러스터를 선택합니다.

3. 요약 패널을 사용하여 클러스터 상태, Amazon EMR이 클러스터에 설치한 오픈 소스 애플리케이션, 클러스터를 생성하는 데 사용한 Amazon EMR 버전 등 클러스터 구성의 기본 사항을 확인합니다. 다음 테이블에서 설명하는 바와 같이 요약 아래 각 탭을 사용하여 정보를 봅니다.

Old console

이전 콘솔을 사용하여 클러스터 정보를 보는 방법

1. 새 Amazon EMR 콘솔로 이동하고 측면 탐색에서 이전 콘솔로 전환을 선택합니다. 이전 콘솔로 전환할 때 예상되는 사항에 대한 자세한 내용은 이전 콘솔 사용을 참조하세요.

2. 클러스터 정보의 요약 정보를 보려면 이름에서 이름 아래 클러스터 링크 옆에 있는 아래쪽 화살표를 선택합니다. 클러스터의 행이 클러스터, 하드웨어, 단계 및 부트스트랩 작업에 대한 자세한 정보를 제공하도록 확장됩니다. 이 단원의 링크를 사용하여 특정 정보를 자세히 확인합니다. 예를 들어, Steps(단계)의 링크를 클릭하여 단계 로그 파일에 액세스하고, 해당 단계와 연결된 JAR을 확인하고, 해당 단계의 작업을 자세히 살펴보고, 로그 파일에 액세스합니다.

3. 자세한 클러스터 정보를 보려면 이름 아래 클러스터 링크를 선택하여 클러스터 세부 정보 페이지를 엽니다. 이전 콘솔의 클러스터 세부 정보 페이지에서 다음 정보를 확인할 수 있습니다.

탭(이전 콘솔)	설명(이전 콘솔)
속성	이 탭을 사용하여 클러스터의 운영 체제, 클러스터 종료 및 보안 구성, VPC 및 서브넷 정보, Amazon S3의 로그 저장 위치를 확인합니다.
Bootstrap actions(부트스트랩 작업)	이 탭을 사용하여 클러스터를 시작할 때 실행되는 모든 부트스트랩 작업의 상태를 봅니다. 부트스트랩 작업은 사용자 지정 소프트웨어 설치 및 고급 구성에 사용됩니다. 자세한 정보는 부트스트랩 작업을 생성하여 추가 소프트웨어 설치을 참조하세요.
모니터링(Monitoring)	이 탭을 사용하여 클러스터 작업의 주요 지표를 확인합니다. 클러스터 수준 데이터, 노드 수준 데이터, I/O 및 데이터 스토리지에 대한 정보를 볼 수 있습니다.
인스턴스	이 탭을 사용하여 EC2 인스턴스 ID, DNS 이름, EBS 볼륨 등 클러스터의 노드에 대한 정보를 확인합니다.
단계	이 탭을 사용하여 제출한 단계의 상태 및 로그 파일에 액세스합니다. 단계에 대한 자세한 정보는 클러스터에 작업 제출 단원을 참조하십시오.
애플리케이션	이 탭을 사용하여 클러스터 외부의 영구 YARN 타임라인 서버 및 Tez UI 애플리케이션 세부 정보를 볼 수 있습니다. 설치된 애플리케이션, 클러스터 구성 및 인스턴스 그룹에 대한 정보를 볼 수도 있습니다. 클러스터가 실행되는 동안 클러스터 내 애플리케이션 사용자 인터페이스를 사용할 수 있습니다.
이벤트	이 탭을 사용하여 클러스터의 이벤트 로그를 봅니다. 자세한 정보는 를 사용하여 Amazon EMR 이벤트를 모니터링합니다. CloudWatch 을 참조하세요.
태그	이 탭을 사용하여 클러스터에 적용한 모든 태그를 확인합니다.

를 사용하여 클러스터 세부 정보를 볼 수 있습니다. AWS CLI

다음 예제에서는 AWS CLI를 사용하여 클러스터 세부 정보를 가져오는 방법을 보여줍니다. 사용 가능한 명령에 대한 자세한 내용은 Amazon EMR에 대한AWS CLI 명령 참조를 참조하세요. describe-cluster 명령을 사용하여 상태, 하드웨어 및 소프트웨어 구성, VPC 설정, 부트스트랩 작업, 인스턴스 그룹 등을 비롯한 클러스터 수준의 세부 정보를 볼 수 있습니다. 클러스터 상태에 대한 자세한 내용은 클러스터 수명 주기 이해 섹션을 참조하세요. 다음 예제는 describe-cluster 명령의 사용과 list-clusters 명령의 예를 보여줍니다.

예 클러스터 상태 보기

describe-cluster 명령을 사용하려면 클러스터 ID가 필요합니다. 이 예제는 특정 날짜 범위 내에서 생성된 클러스터 목록을 가져온 다음, 반환된 클러스터 ID 중 하나를 사용하여 개별 클러스터의 상태에 대한 자세한 정보를 나열하는 데 사용하는 방법을 보여 줍니다.

다음 명령은 클러스터 ID로 바뀌는 클러스터 j-1K48XXXXXXHCB를 설명합니다.

aws emr describe-cluster --cluster-id j-1K48XXXXXXHCB

명령의 출력은 다음과 유사합니다.

{
    "Cluster": {
        "Status": {
            "Timeline": {
                "ReadyDateTime": 1438281058.061, 
                "CreationDateTime": 1438280702.498
            }, 
            "State": "WAITING", 
            "StateChangeReason": {
                "Message": "Waiting for steps to run"
            }
        }, 
        "Ec2InstanceAttributes": {
            "EmrManagedMasterSecurityGroup": "sg-cXXXXX0", 
            "IamInstanceProfile": "EMR_EC2_DefaultRole", 
            "Ec2KeyName": "myKey", 
            "Ec2AvailabilityZone": "us-east-1c", 
            "EmrManagedSlaveSecurityGroup": "sg-example"
        }, 
        "Name": "Development Cluster", 
        "ServiceRole": "EMR_DefaultRole", 
        "Tags": [], 
        "TerminationProtected": false, 
        "ReleaseLabel": "emr-4.0.0", 
        "NormalizedInstanceHours": 16, 
        "InstanceGroups": [
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281058.101, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "CORE", 
                "InstanceGroupType": "CORE", 
                "Id": "ig-2EEXAMPLEXXP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }, 
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281023.879, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "MASTER", 
                "InstanceGroupType": "MASTER", 
                "Id": "ig-2A1234567XP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }
        ], 
        "Applications": [
            {
                "Version": "1.0.0", 
                "Name": "Hive"
            }, 
            {
                "Version": "2.6.0", 
                "Name": "Hadoop"
            }, 
            {
                "Version": "0.14.0", 
                "Name": "Pig"
            }, 
            {
                "Version": "1.4.1", 
                "Name": "Spark"
            }
        ], 
        "BootstrapActions": [], 
        "MasterPublicDnsName": "ec2-X-X-X-X.compute-1.amazonaws.com", 
        "AutoTerminate": false, 
        "Id": "j-jobFlowID", 
        "Configurations": [
            {
                "Properties": {
                    "hadoop.security.groups.cache.secs": "250"
                }, 
                "Classification": "core-site"
            }, 
            {
                "Properties": {
                    "mapreduce.tasktracker.reduce.tasks.maximum": "5", 
                    "mapred.tasktracker.map.tasks.maximum": "2", 
                    "mapreduce.map.sort.spill.percent": "90"
                }, 
                "Classification": "mapred-site"
            }, 
            {
                "Properties": {
                    "hive.join.emit.interval": "1000", 
                    "hive.merge.mapfiles": "true"
                }, 
                "Classification": "hive-site"
            }
        ]
    }
}

예 생성 날짜별로 클러스터 나열

특정 데이터 범위 내에서 생성된 클러스터를 검색하려면 list-clusters 명령을 --created-after 및 --created-before 파라미터와 함께 사용합니다.

다음 명령은 2019년 10월 9일에서 2019년 10월 12일 사이에 생성된 모든 클러스터를 나열합니다.

aws emr list-clusters --created-after 2019-10-09T00:12:00 --created-before 2019-10-12T00:12:00

예 상태별로 클러스터 나열

상태별로 클러스터를 나열하려면 list-clusters 명령을 --cluster-states 파라미터와 함께 사용합니다. 유효한 클러스터 상태에는 STARTING, BOOTSTRAPPING, RUNNING, WAITING, TERMINATING, TERMINATED 및 TERMINATED_WITH_ERRORS가 있습니다.

aws emr list-clusters --cluster-states TERMINATED

다음 바로 가기 파라미터를 사용하여 지정된 상태의 모든 클러스터를 나열할 수도 있습니다.

• --active는 STARTING, BOOTSTRAPPING, RUNNING, WAITING 또는 TERMINATING 상태의 클러스터를 필터링합니다.

• --terminated는 TERMINATED 상태의 클러스터를 필터링합니다.

• --failed는 TERMINATED_WITH_ERRORS 상태의 클러스터를 필터링합니다.

다음은 동일한 결과를 반환하는 명령입니다.

aws emr list-clusters --cluster-states TERMINATED

aws emr list-clusters --terminated

클러스터 상태에 대한 자세한 내용은 클러스터 수명 주기 이해 섹션을 참조하세요.