여러 기본 노드가 있는 Amazon EMR 클러스터를 생성할 때의 고려 사항 및 모범 사례

여러 기본 노드가 있는 Amazon EMR 클러스터를 생성할 때는 다음 사항을 고려하십시오.

중요

여러 기본 노드가 있는 고가용성 EMR 클러스터를 시작하려면 최신 Amazon EMR 릴리스를 사용하는 것이 좋습니다. 이렇게 하면 고가용성 클러스터에 대해 최고 수준의 복원력과 안정성을 확보할 수 있습니다.

• Amazon EMR 릴리스 5.36.1, 5.36.2, 6.8.1, 6.9.1, 6.10.1, 6.11.1, 6.12.0 이상에서는 인스턴스 플릿의 고가용성이 지원됩니다. 인스턴스 그룹의 경우 Amazon EMR 릴리스 5.23.0 이상에서는 고가용성이 지원됩니다. 자세한 내용은 Amazon EMR 릴리스 정보를 참조하십시오.

• 고가용성 클러스터에서 Amazon은 온디맨드 인스턴스가 포함된 기본 노드 EMR 시작만 지원합니다. 따라서 클러스터의 최대 가용성이 보장됩니다.

• 여전히 프라이머리 플릿에 복수의 인스턴스 유형을 지정할 수 있지만, 비정상 프라이머리 노드의 교체를 포함하여 고가용성 클러스터의 모든 프라이머리 노드가 동일한 인스턴스 유형으로 시작됩니다.

• 작업을 계속하기 위해서는 프라이머리 노드의 수가 여러 개인 고가용성 클러스터에서 프라이머리 노드 3개 중 2개가 정상이어야 합니다. 따라서 두 개의 기본 노드에 동시에 장애가 발생하면 EMR 클러스터에 장애가 발생합니다.

• 고가용성 EMR 클러스터를 포함한 모든 클러스터는 단일 가용 영역에서 시작됩니다. 따라서 가용 영역 장애를 용납할 수 없습니다. 가용 영역 중단의 경우 클러스터에 대한 액세스 권한이 손실됩니다.

• 를 사용하는 경우 인스턴스 플릿 내에서 클러스터를 시작할 때 사용자 지정 서비스 역할 또는 정책을 사용하는 경우 Amazon이 지원되지 않는 가용 영역 (AZ) 을 EMR 필터링할 수 있도록 ec2:DescribeInstanceTypeOfferings 권한을 추가할 수 있습니다. Amazon이 기본 노드의 어떤 인스턴스 유형도 지원하지 AZs 않는 노드를 EMR 걸러내면 Amazon은 지원되지 않는 기본 인스턴스 유형으로 인한 클러스터 시작 실패를 EMR 방지합니다. 자세한 내용은 지원되지 않는 인스턴스 유형을 참조하십시오.

• EMRAmazon은 에 명시된 애플리케이션 이외의 오픈 소스 애플리케이션에 대한 고가용성을 보장하지 않습니다. 여러 기본 노드가 있는 Amazon EMR 클러스터에서 지원되는 애플리케이션

• Amazon EMR 릴리스 5.23.0~5.36.2에서는 인스턴스 그룹 클러스터의 기본 노드 3개 중 2개만 실행됩니다.HDFS NameNode.

• Amazon EMR 릴리스 6.x 이상에서는 인스턴스 그룹의 기본 노드 3개가 모두 실행됩니다.HDFS NameNode.

서브넷 구성 시 고려 사항:

• 여러 기본 노드가 있는 Amazon EMR 클러스터는 하나의 가용 영역 또는 서브넷에만 위치할 수 있습니다. Amazon은 서브넷이 완전히 사용되거나 장애 조치 시 초과 가입된 경우 장애가 발생한 기본 노드를 교체할 수 EMR 없습니다. 이 시나리오를 피하려면 전체 서브넷을 Amazon EMR 클러스터 전용으로 사용하는 것이 좋습니다. 또한 서브넷에서 사용할 수 있는 프라이빗 IP 주소가 충분한지 확인하십시오.

코어 노드 구성 시 고려 사항:

• 코어 노드의 가용성도 높게 보장하려면 4개 이상의 코어 노드를 시작하는 것이 좋습니다. 코어 노드가 3개 이하인 소규모 클러스터를 dfs.replication parameter 시작하려는 경우 충분한 DFS 복제가 2 가능하도록 최소 HDFS for로 설정하십시오. 자세한 내용은 HDFS구성을 참조하십시오.

주의

1. 노드 수가 4개 미만인 클러스터에서 1로 설정하면 단일 dfs.replication 노드에 장애가 발생할 경우 HDFS 데이터가 손실될 수 있습니다. 프로덕션 워크로드에는 코어 노드가 4개 이상 있는 클러스터를 사용하는 것이 좋습니다.

2. EMRAmazon은 클러스터가 코어 노드를 아래로 확장하는 것을 허용하지 않습니다dfs.replication. 예를 들어, dfs.replication = 2인 경우 최소 코어 노드 수가 2개입니다.

3. Managed Scaling, Auto Scaling을 사용하거나 클러스터 크기를 수동으로 조정하는 경우 dfs.replication을 2 이상으로 설정하는 것이 좋습니다.

지표에 대한 경보 설정 시 고려 사항:

• EMRAmazon은 또는 에 대한 HDFS 애플리케이션별 지표를 제공하지 않습니다. YARN 프라이머리 노드 인스턴스 수를 모니터링하도록 경보를 설정하는 것이 좋습니다. 다음 Amazon CloudWatch 측정치를 사용하여 경보를 구성하십시오: MultiMasterInstanceGroupNodesRunningMultiMasterInstanceGroupNodesRunningPercentage, 또는MultiMasterInstanceGroupNodesRequested. CloudWatch 기본 노드 장애 및 교체 시 알려줍니다.

  • MultiMasterInstanceGroupNodesRunningPercentage가 1.0보다 작고 0.5보다 크면 클러스터에 프라이머리 노드가 없는 것일 수 있습니다. 이 경우 Amazon은 기본 노드 교체를 EMR 시도합니다.

  • MultiMasterInstanceGroupNodesRunningPercentage가 0.5 미만으로 떨어지면 두 개의 프라이머리 노드에서 장애가 발생한 것일 수 있습니다. 이 경우 쿼럼이 손실되고 클러스터를 복구할 수 없습니다. 이 클러스터에서 데이터를 수동으로 마이그레이션해야 합니다.

  자세한 내용은 지표에 대한 경보 설정을 참조하세요.