클러스터 하드웨어 및 네트워킹 구성

Amazon EMR 클러스터를 생성할 때 중요한 고려 사항은 Amazon EC2 인스턴스 및 네트워크 옵션을 구성하는 방식입니다. 이 장에서는 다음 옵션을 자세히 살펴보고, 모범 사례 및 지침과 연계합니다.

• 노드 유형 - EMR 클러스터의 Amazon EC2 인스턴스는 노드 유형으로 구성됩니다. 프라이머리 노드, 코어 노드 및 태스크 노드와 같은 세 가지 유형이 있습니다. 각 노드 유형은 클러스터에 설치한 분산 애플리케이션에서 정의되는 역할 세트를 수행합니다. 예를 들어 하둡 MapReduce 또는 Spark 작업 중에 코어 및 작업 노드의 구성 요소는 데이터를 처리하고, 출력을 Amazon S3 또는 HDFS로 전송하고, 상태 메타데이터를 기본 노드에 다시 제공합니다. 단일 노드 클러스터의 경우, 모든 구성 요소가 프라이머리 노드에서 실행됩니다. 자세한 정보는 노드 유형 이해: 프라이머리, 코어, 태스크 노드을 참조하세요.

• EC2 인스턴스 - 클러스터를 생성할 때 각 노드 유형에서 실행할 Amazon EC2 인스턴스를 선택합니다. EC2 인스턴스 유형으로 노드의 처리 및 스토리지 프로파일이 결정됩니다. Amazon EC2 인스턴스는 클러스터 내 개별 노드 유형의 성능 프로파일을 결정하기 때문에 노드에서 사용할 Amazon EC2 인스턴스를 선택하는 것이 중요합니다. 자세한 정보는 Amazon EC2 인스턴스 구성을 참조하세요.

• 네트워킹 - 퍼블릭 서브넷, 프라이빗 서브넷 또는 공유 서브넷을 사용하여 VPC로 Amazon EMR 클러스터를 시작할 수 있습니다. 네트워킹 구성에 따라 고객과 서비스가 클러스터에 연결하여 작업을 수행하는 방법, 클러스터에서 데이터 스토어 및 기타 AWS 리소스에 연결하는 방법, 해당 연결에서 트래픽을 제어하는 옵션이 결정됩니다. 자세한 정보는 네트워킹 구성을 참조하세요.

• 인스턴스 그룹화 - 각 노드 유형을 호스팅하는 EC2 인스턴스의 컬렉션을 인스턴스 플릿 또는 균일한 인스턴스 그룹이라고 합니다. 클러스터를 생성할 때 인스턴스 그룹화 구성을 선택합니다. 이 선택에 따라 클러스터가 실행되는 동안 클러스터에 노드를 추가할 수 있는 방법이 결정됩니다. 구성은 모든 노드 유형에 적용됩니다. 나중에 변경할 수 없습니다. 자세한 정보는 인스턴스 플릿이나 균일한 인스턴스 그룹을 사용하여 클러스터 생성을 참조하세요.

  참고

  인스턴스 플릿 구성은 5.0.0 및 5.0.3을 제외한 Amazon EMR 릴리스 4.8.0 이상에서만 제공됩니다.