Amazon EMR 구성 모범 사례

Amazon EMR 클러스터를 구성할 때 인스턴스 추가, 인스턴스 그룹 작업 및 스팟 인스턴스 사용에 대한 다음 모범 사례를 사용합니다.

인스턴스 추가

EMR 클러스터를 구성할 때 중요한 고려 사항은 클러스터 노드를 나타내는 EC2 인스턴스를 올바르게 선택하는 것입니다. 클러스터가 실행 중일 때는 스팟 인스턴스를 온디맨드 인스턴스로 변경하는 등 인스턴스 유형을 변경할 수 없습니다. 기본 노드를 변경하려면 클러스터를 종료하고 새 노드를 생성해야 합니다. 따라서 가동 중지 시간을 최소화할 수 있도록 올바른 인스턴스 유형을 선택해야 합니다. 자세한 내용은 클러스터 구성 지침 및 모범 사례를 참조하세요.

클러스터에 대한 인스턴스 그룹 구성 또는 인스턴스 플릿 구성을 사용하는지 여부에 따라 클러스터에 EC2 인스턴스를 추가하는 방법에는 여러 가지가 있습니다.

• EC2 인스턴스 수동 추가

• 인스턴스 그룹에 작업을 수동으로 추가하여 인스턴스 자동 추가

• 자동 조정 설정

인스턴스 그룹

구성에 EC2 인스턴스를 추가할 때는 인스턴스 그룹을 사용하는 것이 좋습니다. 인스턴스를 수동으로 추가하는 경우 기존 코어 및 태스크 인스턴스 그룹에 동일한 유형의 인스턴스를 추가할 수 있습니다. 또한 다른 인스턴스 유형을 사용할 수 있는 태스크 인스턴스 그룹을 추가할 수 있습니다.

마지막으로 인스턴스 그룹에 대해 Amazon EMR에서 자동 조정을 설정합니다. 지정한 Amazon CloudWatch 지표의 값에 따라 인스턴스를 자동으로 추가 및 제거할 수 있습니다. 그렇지 않으면 인스턴스 플릿을 사용하는 경우 단일 태스크 인스턴스 플릿을 추가합니다. 그런 다음 기존 코어 및 태스크 인스턴스 플릿의 온디맨드 인스턴스 및 스팟 인스턴스의 목표 용량을 변경합니다.

스팟 인스턴스

작업 노드에서 스팟 인스턴스를 사용합니다. 작업 노드는 데이터를 처리하지만 Hadoop 분산 파일 시스템(HDFS)에 영구 데이터를 보관하지 않습니다. 스팟 가격이 최대 스팟 가격보다 높아져 작업 노드가 종료되면 데이터가 손실되지 않으며 클러스터에 미치는 영향이 최소화됩니다.

태스크 인스턴스 그룹을 스팟 인스턴스로 시작하면 Amazon EMR은 최대 스팟 가격을 사용하여 가능한 한 많은 태스크 노드를 프로비저닝합니다. 예를 들어 노드가 6개인 태스크 인스턴스 그룹을 요청할 수 있습니다. 스팟 인스턴스를 최대 스팟 가격 이하로 5개만 사용할 수 있는 경우 Amazon EMR은 노드가 5개인 인스턴스 그룹을 시작합니다. Amazon EMR은 나중에 가능하면 여섯 번째 노드를 추가합니다. 자세한 내용은 클러스터 구성 지침 및 모범 사례를 참조하세요.