자동 조정 접근 방식 선택

탄력성은 Amazon EMR 사용의 주요 이점 중 하나입니다. 리소스를 자동으로 조정하기 위한 두 가지 주요 옵션이 있습니다.

• Managed Scaling

• 사용자 지정 조정 정책

관리형 조정 또는 사용자 지정 자동 조정 정책을 사용하면 필요한 리소스만 사용하도록 노드를 확장할 수 있습니다. 확장은 용량이 더 필요할 때 더 많은 리소스를 추가하는 데 사용됩니다. 확장하면 사용되지 않는 리소스를 제거하여 비용 효율성이 향상됩니다. Amazon EMR 서비스 내에서 Amazon CloudWatch 지표는 리소스를 모니터링하도록 활성화되어 클러스터를 확장할 수 있습니다. CloudWatch는 5분마다 데이터 포인트를 가져옵니다.

각 자동 조정 접근 방식에는 다양한 고려 사항이 있습니다.

Amazon EMR Managed Scaling

워크로드가 다음 기준을 충족하는 경우 EMR 관리형 조정을 사용합니다.

• 관리형 경험이 필요합니다.

• Amazon EMR 5.330 이상이 사용됩니다.

• 1분의 평가 빈도가 필요합니다.

• 이 솔루션은 인스턴스 플릿을 사용하여 1~5개의 인스턴스 옵션을 갖습니다.

• 애플리케이션은 Apache Spark, Apache Hive 또는 Apache Hadoop YARN을 기반으로 합니다.

사용자 지정 자동 조정

워크로드가 다음 기준을 충족하는 경우 사용자 지정 자동 조정 정책을 사용합니다.

• 조정을 위한 지표를 제어해야 합니다.

• Amazon EMR 4.0+가 사용됩니다.

• 높은 평가 빈도가 필요하지 않습니다.

• 연속 크기 조정 사이에 휴지 기간을 제어할 필요가 없습니다.

• 조정 시 추가하거나 제거할 인스턴스 수를 제어하는 것이 중요합니다.

• 솔루션에는 사용자 지정 조정 작업이 필요합니다. 예를 들어 5분 동안 노드를 두 개 이상 확장할 수 있습니다. 또는 휴지 기간을 조정할 수 있습니다.

• 인스턴스 그룹에서 다른 인스턴스 유형을 사용하는 데는 제한이 없습니다.

클러스터에 오토 스케일링을 추가할 때의 팁

• 처리할 데이터의 양에 유의하세요. 데이터 크기가 가장 큰 사례를 사용하여 예측합니다.

• 클러스터의 크기를 조정합니다.

• 필요에 맞는 스토리지 유형을 선택합니다.

• Amazon EMR 클러스터의 지표를 이해합니다.

• 클러스터 크기 조정에 적합한 지표를 결정하는 방법을 알아봅니다.

• 스팟 인스턴스, 균일한 인스턴스 그룹 또는 인스턴스 플릿을 사용할지 여부를 결정합니다.

• 정보와 제한 사항에 따라 선호하는 조정 접근 방식, Amazon EMR 관리형 조정 또는 사용자 지정 자동 조정 정책을 결정합니다.

• 관리형 조정 또는 사용자 지정 정책을 구성합니다.

• 사용자 지정 자동 조정 정책을 선택한 경우 Amazon EMR 지표를 모니터링하여 정책의 임계값을 조정합니다.