클러스터에 연결 - Amazon EMR

클러스터에 연결

Amazon EMR 클러스터를 실행할 때 데이터를 분석하는 애플리케이션을 실행하고 Amazon S3 버킷의 출력을 수집하는 작업만 수행하면 되는 경우가 종종 있습니다. 다른 경우에는 클러스터가 실행되는 동안 프라이머리 노드와 상호 작용할 수도 있습니다. 예를 들어, 프라이머리 노드에 연결하여 대화형 쿼리를 실행하고, 로그 파일을 검사하며, 클러스터의 문제를 디버깅하고, 프라이머리 노드에서 실행되는 Ganglia 같은 애플리케이션을 사용하여 성능을 모니터링하는 등 다양한 작업을 수행할 수 있습니다. 다음 섹션에서는 프라이머리 노드에 연결하는 데 사용할 수 있는 기술을 설명합니다.

EMR 클러스터에서 프라이머리 노드는 태스크 및 코어 노드로 실행 중인 EC2 인스턴스를 조정하는 Amazon EC2 인스턴스입니다. 프라이머리 노드는 연결에 사용할 수 있는 퍼블릭 DNS 이름을 제공합니다. 기본적으로 Amazon EMR은 프라이머리 노드, 코어 노드 및 태스크 노드에 대한 보안 그룹 규칙을 생성하며 그러한 규칙에 따라 노드에 액세스하는 방법이 결정됩니다.

참고

클러스터가 실행 중일 때만 프라이머리 노드에 연결할 수 있습니다. 클러스터가 종료되면 프라이머리 노드 역할을 하는 EC2 인스턴스가 종료되고 더 이상 사용할 수 없습니다. 프라이머리 노드를 연결하려면 클러스터에 대한 인증을 수행해야 합니다. 이를 위해 인증용 Kerberos를 사용하거나 클러스터를 시작할 때 Amazon EC2 키 페어 프라이빗 키를 지정할 수 있습니다. Kerberos의 구성 및 연결에 대한 자세한 내용은 Amazon EMR을 통한 인증에 Kerberos 사용을 참조하십시오. 콘솔에서 클러스터를 시작할 때 Amazon EC2 키 페어 프라이빗 키는 클러스터 생성 페이지의 보안 및 액세스 섹션에 지정됩니다.

기본적으로 ElasticMapReduce-master 보안 그룹은 인바운드 SSH 액세스를 허용하지 않습니다. 따라서 액세스를 원하는 소스에서 SSH 액세스(TCP 포트 22)를 허용하는 인바운드 규칙을 추가해야 합니다. 보안 그룹 규칙 수정에 대한 자세한 내용은 Amazon EC2 Linux 인스턴스용 사용 설명서에서 보안 그룹에 규칙 추가를 참조하세요.

중요

ElasticMapReduce-master 보안 그룹의 나머지 규칙을 수정하지 마십시오. 이러한 규칙을 수정하면 클러스터 작업이 방해받을 수 있습니다.