EMR Serverless 7.14.0

다음 표에는 EMR Serverless 7.14.0에서 사용할 수 있는 애플리케이션 버전이 나열되어 있습니다.

애플리케이션	버전
Apache Spark	3.5.8
Apache Hive	3.1.3
Apache Tez	0.10.2

EMR Serverless 7.14.0 릴리스 정보

• 변경 사항 및 개선 사항

  • 사용자 지정 이미지 릴리스 버전 검증 - 사용자 지정 이미지를 사용할 때 EMR Serverless는 기본 이미지가 동일한 Amazon EMR 릴리스를 사용하는지 확인합니다. 이미지의 릴리스 버전이 애플리케이션의 릴리스 버전과 일치하지 않거나 이미지에 릴리스 버전이 없는 경우 요청이 거부됩니다. 메시지는 사용할 기본 이미지 버전을 식별합니다. 일치하는 EMR Serverless 기본 이미지에서 사용자 지정 이미지를 다시 빌드합니다.

  • Spark 작업에 대한 서버리스 스토리지 데이터 제한 증가 -이 릴리스에서는 Spark 작업에 대한 서버리스 스토리지 데이터 제한을 200GiB에서 1TiB로 늘립니다.

  • Spark Connect 세션에 대한 세분화된 액세스 제어 - 이제 Apache Spark Connect를 통해 실행되는 대화형 PySpark 세션에 대해 AWS Lake Formation 세분화된 액세스 제어가 지원됩니다. Lake Formation에서 정의하는 테이블, 행, 열 및 셀 수준 권한은 세션 쿼리에 적용됩니다. 자세한 내용은 AWS Lake Formation for Spark Connect 세션을 사용한 세분화된 액세스 제어 섹션을 참조하세요.

  • 세분화된 액세스 제어 개선 -이 릴리스는 액세스 제어 테이블의 데이터 필터, 시간 이동 쿼리 및 Delta Lake 테이블 작업을 개선합니다. 또한 세분화된 액세스 제어를 사용하는 Delta Lake 테이블에서 VACUUM 작업을 지원합니다.

  • 병합된 Spark 구성 - 부터 emr-7.14.0EMR Serverless는 대체하는 대신 Spark 구성을 병합합니다. 애플리케이션 수준의 구성 세트를 개별 작업 또는 세션에 대한 구성 세트와 결합합니다. 두 수준에서 동일한 구성이 설정되면 작업 또는 세션 값이 우선합니다. 이전 릴리스에서는 작업 또는 세션 구성이 애플리케이션 수준 구성을 완전히 대체합니다.