What's new? - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

What's new?

이 항목에서는 Amazon EMR 6.x 시리즈 및 5.x 시리즈의 최신 릴리스에서 해결된 기능과 문제를 다룹니다. 이러한 릴리스 노트는 릴리스 6.8.0 탭릴리스 5.36.0 탭에서도 이 릴리스의 애플리케이션 버전, 구성 요소 버전 및 사용 가능한 구성 분류와 함께 제공됩니다.

에서https://docs.aws.amazon.com/emr/latest/ReleaseGuide/amazon-emr-release-notes.rss Amazon EMR 릴리스 노트의 RSS 피드를 구독하면 새 Amazon EMR 릴리스 버전이 출시될 때 업데이트를 받을 수 있습니다.

릴리스 버전 4.2.0까지의 이전 릴리스 정보는 아마존 EMR의 새로운 소식 단원을 참조하십시오.

참고

25개의 이전 Amazon EMR 릴리스 버전은 이제AWS 서명 버전 4를 사용하여 Amazon S3에 대한 요청을 인증합니다. AWS서명 버전 2의 사용은 단계적으로 중단되며 2020년 6월 24일 이후에 생성된 새 S3 버킷은 서명 버전 2의 서명된 요청을 지원하지 않습니다. 기존 버킷은 서명 버전 2를 계속 지원합니다. 새 S3 버킷에 계속 액세스하고 워크로드가 중단되지 않도록 하려면 서명 버전 4를 지원하는 Amazon EMR 릴리스로 마이그레이션하는 것이 좋습니다.

현재, 서명 버전 4를 지원하는 EMR 릴리스(emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1 및 emr-5.21.2)를 사용할 수 있습니다. EMR 버전 5.22.0 이상은 이미 서명 버전 4를 지원합니다.

아파치 스파크, 아파치 하이브, 프레스토 등과 같은 Amazon EMR 애플리케이션을 사용하는 경우 서명 버전 4를 사용하기 위해 애플리케이션 코드를 변경할 필요가 없습니다. Amazon EMR에 포함되지 않은 사용자 지정 애플리케이션을 사용하는 경우, 서명 버전 4를 사용하도록 코드를 업데이트해야 할 수 있습니다. 필요한 업데이트에 대한 자세한 내용은 서명 버전 2에서 서명 버전 4로 이동을 참조하십시오.

릴리스 6.8.0 (아마존 EMR 6.x 시리즈의 최신 버전)

새로운 Amazon EMR 릴리스 버전은 초기 출시 날짜의 첫 번째 지역부터 시작하여 며칠에 걸쳐 여러 지역에서 사용할 수 있습니다. 이 기간 동안에는 해당 지역에서 최신 릴리스 버전을 사용하지 못할 수 있습니다.

다음 릴리스 노트에는 Amazon EMR 릴리스 버전 6.8.0에 대한 정보가 포함되어 있습니다. 변경 사항은 6.7.0을 기준으로 합니다.

새로운 기능
  • 아마존 EMR 단계 기능은 이제 아파치 리비 엔드포인트와 JDBC/ODBC 클라이언트를 지원합니다. Amazon EMR.

  • 아마존 EMR 릴리스 6.8.0은 아파치 HBase 릴리스 2.4.12와 함께 제공됩니다. 이 HBase 릴리스에서는 HBase 테이블을 보관하고 삭제할 수 있습니다. Amazon S3 아카이브 프로세스는 모든 테이블 파일의 이름을 아카이브 디렉터리로 바꿉니다. 이는 비용이 많이 들고 시간이 오래 걸릴 수 있습니다. 이제 아카이브 프로세스를 건너뛰고 큰 테이블을 빠르게 삭제하고 삭제할 수 있습니다. 자세한 내용은 HBase 셸 사용을 참조하세요.

변경 사항, 향상된 기능 및 해결된 문제
  • Amazon EMR 릴리스 6.5.0, 6.6.0 또는 6.7.0이 아파치 스파크 셸을 통해 아파치 피닉스 테이블을 읽었을 때 Amazon EMR은 a를NoSuchMethodError 생성했습니다. Amazon EMR 릴리스 6.8.0은 이 문제를 해결합니다.

  • 아마존 EMR 릴리스 6.8.0은 아파치 후디 0.11.1과 함께 제공되지만, 아마존 EMR 6.8.0 클러스터는 Hudi 0.12.0의 오픈hudi-spark3.3-bundle_2.12 소스와도 호환됩니다.

  • Amazon EMR 6.8.0. 이 Spark 릴리스는 아파치 Log4j 2와log4j2.properties 파일을 사용하여 Spark 프로세스에서 Log4j를 구성합니다. 클러스터에서 Spark를 사용하거나 사용자 지정 구성 파라미터로 EMR 클러스터를 생성하고 Amazon EMR 릴리스 6.8.0으로 업그레이드하려는 경우 Apache Log4j 2의 새spark-log4j2 구성 분류 및 키 형식으로 마이그레이션해야 합니다. 자세한 내용은 아파치 로그4j 1.x에서 Log4j 2.x로 마이그레이션하기을 참조하세요.

  • Amazon EMR 릴리스 6.6.0 이상에서 기본 아마존 리눅스 (AL) AMI 옵션을 사용하여 새 Amazon EMR 클러스터를 시작하면 Amazon EMR은 자동으로 최신 아마존 리눅스 AMI를 사용합니다. 이전 릴리스에서는 Amazon EMR이 최초 릴리스 이후 Amazon Linux AMI를 업데이트하지 않습니다. 아마존 EMR용 기본 아마존 리눅스 AMI 사용을 참조하십시오.

    OsReleaseLabel (아마존 리눅스 버전) 아마존 리눅스 커널 버전 이용 가능 날짜 지원되는 리전
    2.0.20220912.1 4.14.291 2022 09-06 us‑east‑1, us‑east‑2, us‑west‑1, us‑west‑2, eu‑north‑1, eu‑west‑1, eu‑west‑2, eu‑west‑3, eu‑central‑1, eu‑south‑1, ap‑east‑1, ap‑south‑1, ap‑southeast‑3, ap‑northeast‑1, ap‑northeast‑2, ap‑northeast‑3, ap‑southeast‑1, ap‑southeast‑2, af‑south‑1, sa‑east‑1, me‑south‑1, ca‑central‑1
알려진 문제
  • Amazon EMR 버전 6.6.0, 6.7.0 및 6.8.0에서 Spark와 함께 DynamoDB 커넥터를 사용하는 경우 입력 분할이 비어 있지 않은 데이터를 참조하더라도 테이블의 모든 읽기는 빈 결과를 반환합니다. 이는 Spark 3.2.0이true 기본적으로spark.hadoopRDD.ignoreEmptySplits 로 설정되어 있기 때문입니다. 이 문제를spark.hadoopRDD.ignoreEmptySplits 해결하려면 로 명시적으로 설정하십시오false.

6.8.0 릴리스 및 릴리스 노트의 변경 로그.

릴리스 5.36.0 (아마존 EMR 5.x 시리즈의 최신 버전)

새로운 Amazon EMR 릴리스 버전은 초기 출시 날짜의 첫 번째 지역부터 시작하여 며칠에 걸쳐 여러 지역에서 사용할 수 있습니다. 이 기간 동안에는 해당 지역에서 최신 릴리스 버전을 사용하지 못할 수 있습니다.

다음 릴리스 노트에는 Amazon EMR 릴리스 버전 5.36.0에 대한 정보가 포함되어 있습니다. 변경 사항은 5.35.0을 기준으로 합니다.

Initial release date: 2022년 6월 15일

새로운 기능
  • Amazon EMR 릴리스 5.36.0에는 Apache Ranger 지원 클러스터에서 Apache Spark와 함께 데이터 정의 언어 (DDL) 에 대한 지원이 추가되었습니다. 이를 통해 Apache Ranger를 사용하여 Amazon EMR 클러스터에서 데이터베이스 및 테이블을 생성, 변경 및 삭제하는 등의 작업에 대한 액세스를 관리할 수 있습니다.

  • Amazon EMR 5.36.0은 기본 AMI를 사용하는 클러스터에 대한 자동 Amazon Linux 업데이트를 지원합니다. 아마존 EMR용 기본 아마존 리눅스 AMI 사용을 참조하십시오.

    OsReleaseLabel (아마존 리눅스 버전) 아마존 리눅스 커널 버전 이용 가능 날짜 지원되는 리전
    2.0.20220426.0 4.14.281 2022년 6월 14일 us‑east‑1, us‑east‑2, us‑west‑1, us‑west‑2, eu‑north‑1, eu‑west‑1, eu‑west‑2, eu‑west‑3, eu‑central‑1, eu‑south‑1, ap‑east‑1, ap‑south‑1, ap‑southeast‑3, ap‑northeast‑1, ap‑northeast‑2, ap‑northeast‑3, ap‑southeast‑1, ap‑southeast‑2, af‑south‑1, sa‑east‑1, me‑south‑1, ca‑central‑1
    2.0.20220719.0 4.14.287 2022년 8월 10일 us‑west‑1, eu‑west‑3, eu‑north‑1, eu‑central‑1, ap‑south‑1, me‑south‑1
    2.0.20220912.1 4.14.291 2022년 10월 7일 us‑east‑1, us‑east‑2, us‑west‑1, us‑west‑2, eu‑north‑1, eu‑west‑1, eu‑west‑2, eu‑west‑3, eu‑central‑1, eu‑south‑1, ap‑east‑1, ap‑south‑1, ap‑southeast‑3, ap‑northeast‑1, ap‑northeast‑2, ap‑northeast‑3, ap‑southeast‑1, ap‑southeast‑2, af‑south‑1, sa‑east‑1, me‑south‑1, ca‑central‑1
변경 사항, 향상된 기능 및 해결된 문제
  • 아마존 EMR 5.36.0 업그레이드는 이제 aws-sdk 1.12.206, 하둡 2.10.1-amzn-4, 하이브 2.3.9-amzn-2, 후디 0.10.1-amzn-1, 스파크 2.4.8-amzn-2, 프레스토 0.267-amzn-1, 아마존 Glue 커넥터 1.18.0, EMRFS 2.51.0을 지원합니다.