Amazon EMR 7.3.0 Amazon EMR 6.15.0 Amazon EMR 5.36.2 SigV4 호환성

새로운 기능

이 페이지에서는 Amazon EMR 7.x, 6.x 및 5.x의 최신 릴리스에서 사용할 수 있는 변경 사항 및 기능을 설명합니다.

각 릴리스의 애플리케이션 버전, 구성 요소 버전, 사용 가능한 구성 분류와 함께 이 릴리스 정보는 Amazon EMR 7.3.0, Amazon EMR 6.15.0 및 Amazon EMR 5.36.2 페이지에서도 사용할 수 있습니다.

이전 릴리스의 릴리스 정보는 Amazon EMR 릴리스 정보 아카이브 섹션을 참조하세요.
새로운 Amazon EMR 릴리스가 출시될 때 업데이트를 받으려면 Amazon EMR 릴리스 정보에 대한 RSS 피드를 구독하세요.

참고

Amazon EMR의 최신 릴리스에서는 AWS서명 버전 4(SigV4)를 사용하여 Amazon S3에 대한 요청을 인증합니다. 새 S3 버킷에 액세스하고 워크로드가 중단되지 않도록 하려면 SigV4를 지원하는 Amazon EMR 릴리스를 사용하는 것이 좋습니다. 자세한 내용 및 SigV4를 지원하는 Amazon EMR 릴리스 목록은 Amazon EMR 및 AWS Signature Version 4 섹션을 참조하세요.

Amazon EMR 7.3.0(7.x 시리즈의 최신 릴리스)

새 Amazon EMR 릴리스는 최초 릴리스 날짜에 첫 번째 리전부터 시작하여 일정 기간에 걸쳐 여러 리전에 사용 가능해집니다. 이 기간에는 사용자 리전에서 최신 릴리스 버전이 제공되지 않을 수도 있습니다.

다음 릴리스 정보에는 Amazon EMR 릴리스 7.3.0에 대한 정보가 포함됩니다. 변경 사항은 7.3.0에 관련됩니다.

새로운 기능

애플리케이션 업그레이드 – Amazon EMR 7.3.0 application upgrades include Delta 3.2.0-amzn-0, Hudi 0.15.0-amzn-0, TensorFlow 2.16.1, Trino 442, and Zeppelin 0.11.1.
이 릴리스에는 네트워크를 통한 전송 중 데이터 암호화를 지원하는 22개의 오픈 소스 엔드포인트가 추가되었습니다. 이 개선 사항에는 Hadoop, Hive, Tez, HBase, Phoenix 및 Flink와 같은 오픈 소스 프레임워크가 포함됩니다. 전송 중 데이터 암호화를 활성화하고 이러한 엔드포인트에 연결하려는 경우 TLS 통신을 지원하도록 코드를 수정해야 할 수 있습니다. 필요한 경우 이러한 엔드포인트에 대한 TLS를 비활성화할 수 있습니다. 지원되는 엔드포인트의 전체 목록은 전송 중 암호화 이해를 참조하세요.
Amazon EMR 7.3.0을 사용하면 Iceberg를 사용하는 Apache Hive는 이제 AWS Glue Data Catalog를 메타스토어로 지원하므로 메타데이터를 저장하고, 데이터 소스를 자동으로 크롤링하며, 메타데이터를 추출하고, 원활한 워크플로를 위해 다른 서비스와 통합하는 중앙 집중식 리포지토리와 같은 이점을 누릴 수 있습니다.

알려진 문제

Python 3.11은 EMR Studio에서 지원되지 않습니다.
전송 중 암호화 및 Kerberos 인증을 사용하는 경우 Hive 메타스토어에 의존하는 Spark 애플리케이션을 사용할 수 없습니다. 이 문제는 HIVE-16340에서 수정되었으며, 오픈 소스 Spark를 Hive 3으로 업그레이드할 수 있는 경우 SPARK-44114에서 완전히 해결됩니다. 그동안 hive.metastore.use.SSL을 false로 설정하여 이 문제를 일시적으로 해결할 수 있습니다. 자세한 내용은 애플리케이션 구성을 참조하세요.
- Kerberos 인증을 사용하지 않는 경우 SSL을 사용하도록 Spark를 구성해야 합니다. 이를 수행하려면 클러스터를 프로비저닝할 때 다음 구성을 설정합니다.
```
[{
    "Classification": "spark-defaults",
    "Properties": {
        "spark.hadoop.hive.metastore.truststore.path": "/usr/share/aws/emr/security/conf/keystore-thrift.jks",
        "spark.hadoop.hive.metastore.use.SSL": "true"
    }
}]
```

사용자 지정 도메인을 사용하는 경우 AWS 콘솔의 Spark 기록 서버 UI에서 일부 링크가 작동하지 않을 수 있습니다. 다음 스크립트를 S3 버킷에 업로드한 다음, 쉘 스크립트를 사용하도록 단계를 추가합니다.


#!/bin/bash

if grep -q ":8042" /etc/nginx/nginx.conf; then
    sudo sed -i '=s#\^(\\/nm\\/(?<nodeAddress>.*:8042)\\/(?<url>.*)\$)#^(\\/nm\\/(?<nodeAddress>(\\.|-|[a-zA-Z0-9])*:8042)\\/(?<url>(node|conf|logs|stacks|jmx).*)\$)#g' /etc/nginx/nginx.conf
else
    sudo sed -i 's#\^(\\/nm\\/(?<nodeAddress>.*:8044)\\/(?<url>.*)\$)#^(\\/nm\\/(?<nodeAddress>(\\.|-|[a-zA-Z0-9])*:8044)\\/(?<url>(node|conf|logs|stacks|jmx).*)\$)#g' /etc/nginx/nginx.conf
fi

sudo systemctl restart nginx

변경 사항, 향상된 기능 및 해결된 문제

YARN에 대한 TLS 호스트 이름 확인을 지원하기 위해 이 릴리스에서는 yarn.resourcemanager.hostname 구성을 기본 인스턴스 IP 주소에서 기본 인스턴스 프라이빗 DNS 이름으로 변경합니다.

Amazon EMR 5.36 이상, 6.6 이상 또는 7.0 이상의 최신 패치 릴리스가 적용된 클러스터를 시작하는 경우 Amazon EMR은 기본 Amazon EMR AMI에 대한 최신 Amazon Linux 2023 or Amazon Linux 2 릴리스를 사용합니다. 자세한 내용은 Amazon EMR에 대한 기본 Amazon Linux AMI 사용을 참조하세요.

OsReleaseLabel(Amazon Linux 버전)	Amazon Linux 커널 버전	사용 가능한 날짜	지원되는 리전
2023.5.20240916	6.1.109-118.189.amzn2023	2024년 9월 6일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤), 아시아 태평양(하이데라바드), 중동(UAE), 유럽(스페인), 유럽(취리히), 아시아 태평양(멜버른), 이스라엘(텔아비브), 캐나다 서부(캘거리)

Amazon EMR 6.15.0(6.x 시리즈의 최신 릴리스)

다음 릴리스 정보에는 Amazon EMR 릴리스 6.15.0에 대한 정보가 포함됩니다. 변경 사항은 6.14.0에 관련됩니다. 릴리스 일정에 대한 자세한 내용은 6.15.0 변경 로그 섹션을 참조하세요.

새로운 기능

애플리케이션 업그레이드 – Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.
EC2에서 실행되는 EMR 클러스터의 실행 속도 향상 – 이제 EC2 클러스터에서 Amazon EMR을 실행하는 속도가 최대 35% 빨라졌습니다. 이번 개선 덕분에 고객은 대부분 대략 5분 만에 클러스터를 시작할 수 있게 되었습니다.
EMR Studio용 CodeWhisperer – 이제 JupyterLab에서 코드를 작성할 때 Amazon CodeWhisperer와 Amazon EMR Studio를 함께 사용하면 실시간으로 권장 사항을 받을 수 있습니다. CodeWhisperer에서는 설명을 작성하고, 코드 한 줄을 완성하고, 라인별 권장 사항을 만들고, 완전한 형식의 함수를 생성할 수 있습니다.
Flink를 사용한 더욱 빠른 작업 재시작 시간 – Amazon EMR 6.15.0 이상을 사용하면 태스크 복구 또는 규모 조정 작업 중에 작업 재시작 시간을 단축하기 위해 Apache Flink에 대해 이제 몇 가지 새로운 메커니즘을 사용할 수 있습니다. 이는 실행 그래프의 복구 및 재시작 속도를 최적화하여 작업 안정성을 향상시킵니다.
오픈 테이블 형식을 위한 테이블 수준 및 세분화된 액세스 제어 – Amazon EMR 6.15.0 이상에서는 AWS Glue 데이터 카탈로그의 데이터에 액세스하는 EC2 클러스터의 Amazon EMR에서 Spark 작업을 실행할 때 Hudi, Iceberg 또는 Delta Lake 기반 테이블에 테이블, 행, 열 및 셀 수준 권한을 적용하는 데 AWS Lake Formation을 사용할 수 있습니다.
Hadoop 업그레이드 - Amazon EMR 6.15.0에는 Apache Hadoop의 버전 3.3.6으로의 업그레이드가 포함되어 있습니다. Hadoop 3.3.6은 Amazon EMR 6.15가 배포되었을 시점에 최신 버전이었으며 Apache에서 2023년 6월에 릴리스했습니다. Amazon EMR의 이전 릴리스(6.9.0~6.14.x) 에서는 Hadoop 3.3.3이 사용되었습니다.

업그레이드에는 재구성 가능한 데이터노드 파라미터, 모든 라이브 데이터노드에서 대량 재구성 작업을 시작하는 DFSAdmin 옵션, 탐색이 많은 리더가 읽을 여러 범위를 지정할 수 있도록 하는 벡터 API 등 수백 가지 개선 사항과 수정 사항이 포함되어 있습니다. Hadoop 3.3.6에서는 WAL(미리 쓰기 로그)에 대한 HDFS API 및 의미 체계에 대한 지원도 추가되어 HBase가 다른 스토리지 시스템 구현에서 실행될 수 있습니다. 자세한 내용을 확인하려면Apache Hadoop 하둡 설명서에서 버전 3.3.4, 3.3.5 및 3.3.6의 변경 로그를 참조하세요.
Java용 AWS SDK 지원, 버전 2 - Amazon EMR 6.15.0 애플리케이션에서는 애플리케이션이 v2를 지원하는 경우 Java 버전 1.12.569 또는 2.20.160용 AWS SDK를 사용할 수 있습니다. Java 2.x용 AWS SDK는 버전 1.x 코드 베이스를 크게 재작성한 것입니다. Java 8+에 토대를 두고 있으며, 요청이 많았던 기능들을 몇 가지 추가했습니다. 여기에는 비차단 I/O에 대한 지원과 런타임에 다른 HTTP 구현을 연결하는 기능이 포함됩니다. Java용 SDK v1에서 v2로의 마이그레이션 가이드를 포함한 자세한 내용을 확인하려면 AWSJava용 SDK, 버전 2 가이드를 참조하세요.

변경 사항, 향상된 기능 및 해결된 문제

고가용성 EMR 클러스터를 개선하기 위해 이번 릴리스에서는 IPv6 엔드포인트를 사용하는 로컬 호스트의 Amazon EMR 대몬(daemon)에 대한 연결을 지원합니다.
이번 릴리스는 고가용성 클러스터의 모든 프라이머리 노드에 프로비저닝된 ZooKeeper와의 통신을 위한 TLS 1.2가 지원합니다.
이번 릴리스에서는 로그 파일이 범위를 초과하여 클러스터 작업을 방해하는 시나리오를 최소화하기 위해 프라이머리 노드에서 유지되는 ZooKeeper 트랜잭션 로그 파일의 관리를 개선합니다.
이번 릴리스는 고가용성 EMR 클러스터에 대한 노드 내 통신의 복원력을 강화합니다. 이러한 개선 사항은 부트스트랩 작업 실패나 클러스터 시작 실패 가능성을 줄입니다.
Amazon EMR 6.15.0의 Tez는 Tez 그룹화된 분할에서 입력 분할을 비동기적으로 열도록 지정할 수 있는 구성을 도입합니다. 그 결과 단일 Tez 그룹화된 분할에 많은 수의 입력 분할이 있을 경우 읽기 쿼리 성능이 더욱 빨라집니다. 자세한 내용을 확인하려면 Tez 비동기식 분할 열기를 참조하세요.

OsReleaseLabel(Amazon Linux 버전)	Amazon Linux 커널 버전	사용 가능한 날짜	지원되는 리전
2.0.20241001.0	4.14.352	2024년 10월 4일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤)
2.0.20240816.0	4.14.350	2024년 8월 21일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤)
2.0.20240809.0	4.14.349	2024년 8월 20일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤)
2.0.20240719.0	4.14.348	2024년 7월 25일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤)
2.0.20240709.1	4.14.348	2024년 7월 23일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤), 아시아 태평양(하이데라바드), 중동(UAE), 유럽(스페인), 유럽(취리히), 아시아 태평양(멜버른), 이스라엘(텔아비브), 캐나다 서부(캘거리)
2.0.20240223.0	4.14.336	2024년 3월 8일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤), 캐나다 서부(캘거리)
2.0.20240131.0	4.14.336	2024년 2월 14일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤), 캐나다 서부(캘거리)
2.0.20240124.0	4.14.336	2024년 2월 7일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤), 캐나다 서부(캘거리)
2.0.20240109.0	4.14.334	2024년 1월 24일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤), 캐나다 서부(캘거리)
2.0.20231218.0	4.14.330	2024년 1월 2일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤)
2.0.20231206.0	4.14.330	2023년 12월 22일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤)
2.0.20231116.0	4.14.328	2023년 12월 11일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤)
2.0.20231101.0	4.14.327	2023년 11월 13일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤)

Amazon EMR 5.36.2(5.x 시리즈의 최신 릴리스)

다음 릴리스 정보에는 Amazon EMR 릴리스 5.36.2에 대한 정보가 포함됩니다. 변경 사항은 5.36.1에 관련됩니다. 릴리스 일정에 대한 자세한 내용은 변경 로그를 참조하세요.

변경 사항, 향상된 기능 및 해결된 문제

이 릴리스에서는 Amazon EMR에서 클러스터의 HDFS 복제 인수 설정 미만으로 코어 노드를 스케일 다운하지 않도록 클러스터 스케일 다운 로직을 개선합니다. 이 개선 사항은 데이터 중복성 요구 사항에 부합하며 조정 작업이 중단될 가능성을 줄여줍니다.
이 릴리스에서는 Presto 또는 Trino를 실행하는 클러스터 규모 조정 워크플로에 새로운 재시도 메커니즘을 추가합니다. 이 개선 사항은 크기 조정 작업의 한 번 실패로 인해 클러스터 크기 조정이 무기한 실행될 위험을 줄여줍니다. 또한 클러스터를 더 빠르게 스케일 업 및 스케일 다운하므로 클러스터 활용도가 향상됩니다.
Amazon EMR이 코어 노드를 정상적으로 해제하는 동안 클러스터 스케일 다운 작업이 중단되고 완전히 해제되기 전에 비정상 상태로 전환되는 문제를 수정합니다.
Amazon EMR이 단일 노드를 재시작할 때 여러 프라이머리 노드가 있는 고가용성 클러스터의 노드 안정성을 개선합니다.
Amazon EC2에서 실행되는 Amazon EMR을 사용하여 로그 관리를 최적화합니다. 따라서 클러스터 로그의 스토리지 비용이 조금 절감될 수 있습니다.
로그 파일이 범위를 초과하여 클러스터 작업을 방해하는 시나리오를 최소화하기 위해 프라이머리 노드에서 유지되는 ZooKeeper 트랜잭션 로그 파일의 관리를 개선합니다.
Yarn ResourceManager와 통신할 수 없어 여러 프라이머리 노드가 있는 고가용성 클러스터에서 실패 원인이 될 수 있는 드문 버그를 수정합니다.

OsReleaseLabel(Amazon Linux 버전)	Amazon Linux 커널 버전	사용 가능한 날짜	지원되는 리전
2.0.20241001.0	4.14.352	2024년 10월 4일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤)
2.0.20240816.0	4.14.350	2024년 8월 21일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤)
2.0.20240809.0	4.14.349	2024년 8월 20일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤)
2.0.20240719.0	4.14.348	2024년 7월 25일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤)
2.0.20240709.1	4.14.348	2024년 7월 23일	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤), 아시아 태평양(하이데라바드), 중동(UAE), 유럽(스페인), 유럽(취리히), 아시아 태평양(멜버른), 이스라엘(텔아비브), 캐나다 서부(캘거리)
2.0.20240503.0	4.14.343	xxxxxx, 2024	미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤)

Amazon EMR 및 AWS Signature Version 4

Amazon EMR 릴리스에서는 AWS서명 버전 4(SigV4)를 사용하여 Amazon S3에 대한 요청을 인증합니다. 2020년 6월 24일 이후 Amazon S3에서 생성된 버킷은 Signature Version 2(SigV2)로 서명된 요청을 지원하지 않습니다. 2020년 6월 24일 또는 이전에 생성된 버킷은 계속해서 SIGv2를 지원합니다. 새 S3 버킷에 액세스하고 워크로드가 중단되지 않도록 하려면 SigV4를 지원하는 Amazon EMR 릴리스로 마이그레이션하는 것이 좋습니다.

Amazon EMR에 포함된 애플리케이션(예: Apache Spark, Apache Hive, Presto)을 사용하는 경우 SigV4를 사용하도록 애플리케이션 코드를 변경하지 않아도 됩니다. Amazon EMR에 포함되지 않은 사용자 지정 애플리케이션을 사용하는 경우, SigV4를 사용하도록 코드를 업데이트해야 할 수 있습니다. 자세한 내용은 Amazon S3 사용 설명서에서 Signature Version 2에서 Signature Version 4로 전환을 참조하세요.

다음 Amazon EMR 릴리스는 SigV4를 지원합니다: emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1, emr-5.21.2, and emr-5.22.0 and higher 모든 6.x 및 7.x 릴리스에서 SigV4를 지원합니다.

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

문서 규칙

S3DistCp

CVE-2021-44228 완화를 위한 접근 방법