기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
인스턴스 스토리지
개요
인스턴스 스토어와 Amazon EBS 볼륨 스토리지는 HDFS 데이터와 버퍼, 캐시, 스크래치 데이터 및 일부 애플리케이션이 로컬 파일 시스템으로 “유출”할 수 있는 기타 임시 콘텐츠에 사용됩니다.
Amazon은 Amazon EMR 내에서 일반 Amazon EC2 인스턴스와는 다르게 EBS 작동합니다. Amazon EMR 클러스터에 연결된 Amazon EBS 볼륨은 일시적입니다. 즉, 클러스터 및 인스턴스 종료 시 (예: 인스턴스 그룹 축소 시) 볼륨이 삭제되므로 데이터가 계속 유지될 것으로 기대해서는 안 됩니다. 데이터는 일시적이지만 클러스터에 있는 노드의 수와 특수성에 따라 데이터가 HDFS 복제될 수 있습니다. Amazon EBS 스토리지 볼륨을 추가하면 이러한 볼륨이 추가 볼륨으로 마운트됩니다. 이는 부팅 볼륨에 속하지 않습니다. YARN모든 추가 볼륨을 사용하도록 구성되어 있지만 추가 볼륨을 로컬 스토리지 (예: 로컬 로그 파일용) 로 할당하는 것은 사용자의 책임입니다.
고려 사항
Amazon을 EBS EMR 클러스터와 함께 사용할 때는 다음과 같은 추가 고려 사항을 염두에 두십시오.
-
Amazon EBS 볼륨의 스냅샷을 생성한 다음 Amazon 내에서 복원할 수는 없습니다EMR. 재사용 가능한 사용자 지정 구성을 만들려면 사용자 지정 AMI (Amazon EMR 버전 5.7.0 이상에서 사용 가능) 을 사용하십시오. 자세한 내용은 사용자 지정 사용 AMI 단원을 참조하십시오.
-
암호화된 Amazon EBS 루트 디바이스 볼륨은 사용자 지정을 사용할 때만 지원됩니다AMI. 자세한 내용은 암호화된 Amazon EBS 루트 디바이스 AMI 볼륨으로 사용자 지정 생성 단원을 참조하십시오.
-
Amazon을 사용하여 태그를 적용하는 EMR API 경우 해당 작업이 EBS 볼륨에 적용됩니다.
-
인스턴스당 25개 볼륨으로 제한됩니다.
-
코어 노드의 Amazon EBS 볼륨은 5GB 이상일 수 없습니다.
-
EBSAmazon은 인스턴스 시작 요청당 EBS 볼륨 수가 2,500개로 고정되어 있습니다. 이 제한은 EC2 클러스터의 EMR Amazon에도 적용됩니다. 총 EBS 볼륨 수가 이 한도 내에 있는 클러스터를 시작한 다음 필요에 따라 클러스터를 수동으로 확장하거나 Amazon EMR Managed Scaling을 사용하여 확장하는 것이 좋습니다. EBS볼륨 제한에 대한 자세한 내용은 서비스 할당량을 참조하십시오.
인스턴스용 기본 Amazon EBS 스토리지
EC2스토리지만 있는 EBS 인스턴스의 경우 Amazon은 Amazon EBS gp2 또는 gp3 스토리지 볼륨을 인스턴스에 EMR 할당합니다. Amazon EMR 릴리스 5.22.0 이상으로 클러스터를 생성하면 Amazon EBS 스토리지의 기본 용량은 인스턴스 크기에 따라 증가합니다.
증가된 스토리지는 복수의 볼륨에서 분할됩니다. 이렇게 하면 IOPS 성능이 향상되고, 결과적으로 일부 표준화된 워크로드의 성능이 향상됩니다. 다른 Amazon EBS 인스턴스 스토리지 구성을 사용하려는 경우 클러스터를 생성하거나 기존 EMR 클러스터에 노드를 추가할 때 이를 지정할 수 있습니다. Amazon EBS gp2 또는 gp3 볼륨을 루트 볼륨으로 사용하고 gp2 또는 gp3 볼륨을 추가 볼륨으로 추가할 수 있습니다. 자세한 내용은 추가 EBS 스토리지 볼륨 지정 단원을 참조하십시오.
다음 표는 Amazon EBS gp2 스토리지 볼륨의 기본 수, 크기 및 인스턴스 유형별 총 크기를 나타냅니다. gp2 볼륨과 gp3의 볼륨 비교에 대한 자세한 내용을 확인하려면 아마존 EBS 볼륨 유형 gp2와 gp3 비교 섹션을 참조하세요.
Amazon EMR 5.22.0 이상의 경우 인스턴스 유형별 기본 Amazon EBS gp2 스토리지 볼륨 및 크기 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 인스턴스 크기 | 볼륨 수 | 볼륨 크기(GiB) | 총 크기(GiB) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.large |
1 |
32 |
32 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.xlarge |
2 |
32 |
64 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.2xlarge |
4 |
32 |
128 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.4xlarge |
4 |
64 |
256 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.8xlarge |
4 |
128 |
512 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.9xlarge |
4 |
144 |
576 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.10xlarge |
4 |
160 |
640 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.12xlarge |
4 |
192 |
768 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.16xlarge |
4 |
256 |
1024 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.18xlarge |
4 |
288 |
1152 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.24xlarge |
4 |
384 |
1536 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
인스턴스의 기본 Amazon EBS 루트 볼륨
Amazon EMR 릴리스 6.15 이상에서는 Amazon이 성능 향상을 위해 Amazon EBS 범용 SSD (gp3) 을 루트 디바이스로 EMR 자동으로 연결합니다. AMIs 이전 릴리스에서는 Amazon이 EBS 범용 SSD (gp2) 을 루트 디바이스로 EMR 연결했습니다.
| 6.15 이상 | 6.14.x 이하 | |
|---|---|---|
| 기본 루트 볼륨 유형 |
|
|
| 기본 크기 |
|
|
| 기본값 IOPS |
|
|
| 기본 처리량 |
|
Amazon EBS 루트 디바이스 볼륨을 사용자 지정하는 방법에 대한 자세한 내용은 을 참조하십시오추가 EBS 스토리지 볼륨 지정.
추가 EBS 스토리지 볼륨 지정
EMRAmazon에서 인스턴스 유형을 구성할 때 추가 EBS 볼륨을 지정하여 인스턴스 스토어 (있는 경우) 및 기본 EBS 볼륨 외에 용량을 추가할 수 있습니다. EBSAmazon은 범용 (SSD), 프로비저닝된 (), 처리량 최적화 IOPS (SSD), 콜드 (HDDHDD) 및 마그네틱 볼륨 유형을 제공합니다. 이들 유형은 성능 특성과 가격이 다르므로 애플리케이션의 분석 및 비즈니스 필요에 맞게 스토리지를 조정할 수 있습니다. 예를 들어, 일부 애플리케이션의 경우 디스크로 유출되어야 하는 반면, 다른 애플리케이션은 메모리 내에서 또는 Amazon S3를 사용하여 안전하게 작업할 수 있습니다.
Amazon EBS 볼륨은 클러스터 시작 시 및 추가 작업 노드 인스턴스 그룹을 추가할 때만 인스턴스에 연결할 수 있습니다. Amazon EMR 클러스터의 인스턴스에 장애가 발생하면 인스턴스와 연결된 Amazon EBS 볼륨 모두 새 볼륨으로 교체됩니다. 따라서 Amazon EBS 볼륨을 수동으로 분리하면 Amazon은 이를 장애로 EMR 간주하고 인스턴스 스토리지 (해당하는 경우) 와 볼륨 스토어를 모두 교체합니다.
Amazon에서는 기존 클러스터의 볼륨 유형을 gp2에서 gp3으로 수정할 수 EMR 없습니다. EMR 워크로드에 gp3를 사용하려면 새 클러스터를 시작하십시오. EMR 또한 Amazon은 클러스터 확장 중에 추가하는 모든 새 인스턴스에 IOPS 대해 클러스터 시작 시 지정한 처리량과 IOPS 값을 사용하기 때문에 EMR 사용 중이거나 프로비저닝 중인 클러스터의 처리량을 업데이트하지 않는 것이 좋습니다. 자세한 내용은 아마존 EBS 볼륨 유형 gp2와 gp3 비교 및 IOPSgp3로 마이그레이션할 때의 선택 및 처리량 단원을 참조하세요.
중요
EMR클러스터에서 gp3 볼륨을 사용하려면 새 클러스터를 시작해야 합니다.
