새로운 기능 - Amazon EMR

새로운 기능

이 페이지에서는 Amazon EMR 6.x 및 Amazon EMR 5.x의 최신 릴리스에서 사용할 수 있는 변경 사항 및 기능을 설명합니다. 각 릴리스의 애플리케이션 버전, 구성 요소 버전, 사용 가능한 구성 분류와 함께 이 릴리스 정보는 Amazon EMR 릴리스 6.14.0 페이지 및 Amazon EMR 릴리스 5.36.1 페이지에서도 사용할 수 있습니다

새 Amazon EMR 릴리스가 출시될 때 업데이트를 받으려면 https://docs.aws.amazon.com/emr/latest/ReleaseGuide/amazon-emr-release-notes.rss에서 Amazon EMR 릴리스 정보에 대한 RSS 피드를 구독합니다.

이전 릴리스의 릴리스 정보는 Amazon EMR 릴리스 정보 아카이브 섹션을 참조하세요.

참고

Amazon EMR 릴리스에서는 이제 AWS 서명 버전 4(SigV4)를 사용하여 Amazon S3에 대한 요청을 인증합니다. 새 S3 버킷에 액세스하고 워크로드가 중단되지 않도록 하려면 SigV4를 지원하는 Amazon EMR 릴리스를 사용하는 것이 좋습니다. 자세한 내용 및 SigV4를 지원하는 Amazon EMR 릴리스 목록은 Amazon EMR 및 AWS Signature Version 4 섹션을 참조하세요.

Amazon EMR 6.14.0(6.x 시리즈의 최신 릴리스)

새 Amazon EMR 릴리스는 최초 릴리스 날짜에 첫 번째 리전부터 시작하여 일정 기간에 걸쳐 여러 리전에 사용 가능해집니다. 이 기간에는 사용자 리전에서 최신 릴리스 버전이 제공되지 않을 수도 있습니다.

다음 릴리스 정보에는 Amazon EMR 릴리스 6.14.0에 대한 정보가 포함됩니다. 변경 사항은 6.13.0에 관련됩니다. 릴리스 일정에 대한 자세한 내용은 변경 로그 섹션을 참조하세요.

새로운 기능
  • Amazon EMR 6.14.0 supports Apache Spark 3.4.1, Apache Spark RAPIDS 23.06.0-amzn-2, Flink 1.17.1, Iceberg 1.3.1, and Trino 422.

  • Amazon EMR Managed Scaling은 Amazon EMR 6.14.0 이상에서 생성한 클러스터에 대해 ap-southeast-3 아시아 태평양(자카르타) 리전에서 정식 출시되었습니다.

변경 사항, 향상된 기능 및 해결된 문제
  • 6.14.0 릴리스는 Amazon EC2에서 실행되는 Amazon EMR을 사용하여 로그 관리를 최적화합니다. 따라서 클러스터 로그의 스토리지 비용이 조금 절감될 수 있습니다.

  • 6.14.0 릴리스에서는 Amazon EBS 볼륨에서 크기에 따른 많은 변형을 지원하는 여러 코어 인스턴스를 처리하도록 조정 워크플로를 개선합니다. 이 개선 사항은 코어 노드에만 적용되며, 태스크 노드의 스케일 다운 작업은 영향을 받지 않습니다.

  • 6.14.0 릴리스에서는 Amazon EMR이 오픈 소스 애플리케이션(예: Apache Hadoop YARN ResourceManager and HDFS NameNode)과 상호 작용하는 방식을 개선합니다. 이 개선을 통해 클러스터 조정으로 인한 운영 지연 위험이 줄어들고 오픈 소스 애플리케이션과의 연결 문제로 인해 발생하는 시작 장애가 완화됩니다.

  • 6.14.0 릴리스에서는 클러스터 시작 시 애플리케이션 설치를 최적화합니다. 이를 통해 특정 조합의 Amazon EMR 애플리케이션에 대한 클러스터 시작 시간이 개선됩니다.

  • 6.14.0 릴리스에서는 사용자 지정 도메인이 있는 VPC에서 실행 중인 클러스터에서 코어 또는 태스크 노드가 다시 시작될 때 클러스터 스케일 다운 작업이 중단될 수 있는 문제를 수정합니다.

  • Amazon EMR 5.36 이상 또는 6.6 이상의 최신 패치 릴리스가 적용된 클러스터를 시작하는 경우 Amazon EMR은 기본 Amazon EMR AMI에 대한 최신 Amazon Linux 2 릴리스를 사용합니다. 자세한 내용은 Amazon EMR에 대한 기본 Amazon Linux AMI 사용을 참조하세요.

    OsReleaseLabel(Amazon Linux 버전) Amazon Linux 커널 버전 사용 가능한 날짜 지원되는 리전
    2.0.20230906.0 4.14.322 2023년 9월 11일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브)

Amazon EMR 5.36.1(5.x 시리즈의 최신 릴리스)

새 Amazon EMR 릴리스는 최초 릴리스 날짜에 첫 번째 리전부터 시작하여 일정 기간에 걸쳐 여러 리전에 사용 가능해집니다. 이 기간에는 사용자 리전에서 최신 릴리스 버전이 제공되지 않을 수도 있습니다.

다음 릴리스 정보에는 Amazon EMR 릴리스 5.36.1에 대한 정보가 포함됩니다. 변경 사항은 5.36.0에 관련됩니다. 릴리스 일정에 대한 자세한 내용은 변경 로그를 참조하세요.

변경 사항, 향상된 기능 및 해결된 문제
  • Amazon EMR 릴리스 5.36.1은 클러스터 스케일 다운 중에 Amazon S3에 로그를 아카이브하기 위한 지원을 추가합니다. 이전 5.x 릴리스에서는 클러스터 종료 중에만 Amazon S3에 로그 파일을 아카이브할 수 있었습니다. 이 개선으로 클러스터에서 생성된 로그 파일은 노드가 종료된 후에도 Amazon S3에서 계속 유지됩니다. 자세한 내용은 클러스터 로깅 및 디버깅 구성을 참조하세요.

  • 5.36.1 릴리스에서는 MR 클러스터의 추가 로그 폴더를 모니터링하도록 클러스터 내 로그 관리 대몬(daemon)이 개선되었습니다. 이 개선 사항은 디스크 과다 사용 시나리오를 최소화합니다.

  • 5.36.1 릴리스에서는 클러스터 내 로그 관리 대몬(daemon)이 중지되면 해당 대몬(daemon)을 자동으로 다시 시작합니다. 이 개선 사항은 디스크 과다 사용으로 인해 노드가 비정상으로 보이는 위험을 줄입니다.

  • 5.36.1 릴리스에서는 프라이머리 노드의 Amazon EMR 대몬(daemon)이 클러스터의 종료된 인스턴스에 대한 오래된 메타데이터를 유지하는 문제를 수정했습니다. 오래된 데이터를 유지 관리하면 클러스터 내 CPU 및 메모리 사용량이 제한 없이 증가하여 결국 클러스터 장애로 이어질 수 있습니다.

  • 여러 프라이머리 노드에서 시작되는 클러스터와 관련하여 5.36.1 릴리스에서는 프라이머리 노드 중 하나에서 발생한 Amazon EC2 하드웨어 장애로 인해 두 번째 프라이머리 노드에서 장애가 발생하여 클러스터가 불안정해질 수 있는 문제를 수정했습니다.

  • 전송 중 암호화가 구성된 클러스터와 관련하여 이제 Managed Scaling에서 Spark 셔플 데이터를 인식합니다. Spark 셔플 데이터는 Spark에서 특정 작업을 수행하기 위해 여러 파티션에서 재분배하는 데이터를 말합니다. 스케일 다운 중에 Managed Scaling은 셔플 데이터가 있는 인스턴스를 무시합니다. 이를 통해 요금 및 성능 면에서 비용이 많이 드는 작업 재시도와 재계산을 방지할 수 있습니다. 셔플 작업에 대한 자세한 내용은 Spark Programming Guide를 참조하세요.

  • Amazon EMR 5.36 이상 또는 6.6 이상의 최신 패치 릴리스가 적용된 클러스터를 시작하는 경우 Amazon EMR은 기본 Amazon EMR AMI에 대한 최신 Amazon Linux 2 릴리스를 사용합니다. 자세한 내용은 Amazon EMR에 대한 기본 Amazon Linux AMI 사용을 참조하세요.

    OsReleaseLabel(Amazon Linux 버전) Amazon Linux 커널 버전 사용 가능한 날짜 지원되는 리전
    2.0.20230727.0 4.14.320 2023년 8월 14일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브)
    2.0.20230719.0 4.14.320 2023년 8월 2일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브)
    2.0.20230628.0 4.14.318 2023년 7월 12일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 캐나다(중부), 유럽(스톡홀름), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(프랑크푸르트), 유럽(밀라노), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인)
    2.0.20230612.0 4.14.314 2023년 6월 23일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 캐나다(중부), 유럽(스톡홀름), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(프랑크푸르트), 유럽(밀라노), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인)
    2.0.20230404.1 4.14.311 2023년 4월 18일

    미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(프랑크푸르트), 유럽(밀라노), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부)

Amazon EMR 및 AWS Signature Version 4

Amazon EMR 릴리스에서는 이제 AWS Signature Version 4(SigV4)를 사용하여 Amazon S3에 대한 요청을 인증합니다. 2020년 6월 24일 이후 Amazon S3에서 생성된 버킷은 Signature Version 2(SigV2)로 서명된 요청을 지원하지 않습니다. 2020년 6월 24일 또는 이전에 생성된 버킷은 계속해서 SIGv2를 지원합니다. 새 S3 버킷에 액세스하고 워크로드가 중단되지 않도록 하려면 SigV4를 지원하는 Amazon EMR 릴리스로 마이그레이션하는 것이 좋습니다.

Amazon EMR에 포함된 애플리케이션(예: Apache Spark, Apache Hive, Presto)을 사용하는 경우 SigV4를 사용하도록 애플리케이션 코드를 변경하지 않아도 됩니다. Amazon EMR에 포함되지 않은 사용자 지정 애플리케이션을 사용하는 경우, SigV4를 사용하도록 코드를 업데이트해야 할 수 있습니다. 자세한 내용은 Amazon S3 사용 설명서에서 Signature Version 2에서 Signature Version 4로 전환을 참조하세요.

SigV4를 지원하는 Amazon EMR 릴리스는 emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1, and emr-5.21.2, emr-5.22.0 이상입니다.