Amazon EMR on EKS 6.11.0 릴리스

이 페이지에서는 Amazon EMR on EKS 배포에 특정한 Amazon EMR의 신규 기능 및 업데이트된 기능을 설명합니다. Amazon EC2에서 실행되는 Amazon EMR 및 Amazon EMR 6.11.0 릴리스에 대한 일반적인 세부 정보는 Amazon EMR 릴리스 안내서에서 Amazon EMR 6.11.0을 참조하세요.

Amazon EMR on EKS 6.11 릴리스

Amazon EMR on EKS에 대해 다음 Amazon EMR 6.11.0 릴리스를 사용할 수 있습니다. 특정 emr-6.11.0-XXXX 릴리스를 선택하여 관련 컨테이너 이미지 태그와 같은 세부 정보를 확인합니다.

• emr-6.11.0-latest

• emr-6.11.0-20230905

• emr-6.11.0-20230509

• emr-6.11.0-spark-rapids-latest

• emr-6.11.0-spark-rapids-20230509

• emr-6.11.0-java11-latest

• emr-6.11.0-java11-20230509

• notebook-spark/emr-6.11.0-latest

• notebook-spark/emr-6.11.0-20230509

• notebook-python/emr-6.11.0-latest

• notebook-python/emr-6.11.0-20230509

릴리스 정보

Amazon EMR on EKS 6.11.0 릴리스 정보

• 지원되는 애플리케이션 - AWS SDK for Java 1.12.446, Apache Spark 3.3.2-amzn-0, Apache Hudi 0.13.0-amzn-0, Apache Iceberg 1.2.0-amzn-0, Delta 2.2.0, Apache Spark RAPIDS 23.02.0-amzn-0, Jupyter Enterprise Gateway 2.6.0

• 지원되는 구성 요소 ‐ aws-sagemaker-spark-sdk, emr-ddb, emr-goodies, emr-s3-select, emrfs, hadoop-client, hudi, hudi-spark, iceberg, spark-kubernetes.

• 지원되는 구성 분류

  StartJobRun 및 CreateManagedEndpoint API와 함께 사용하는 경우:

  분류	설명
  core-site	Hadoop의 core-site.xml 파일에서 값을 변경합니다.
  emrfs-site	EMRFS 설정을 변경합니다.
  spark-metrics	Spark의 metrics.properties 파일에서 값을 변경합니다.
  spark-defaults	Spark의 spark-defaults.conf 파일에서 값을 변경합니다.
  spark-env	the Spark 환경의 값을 변경합니다.
  spark-hive-site	Spark의 hive-site.xml 파일에서 값을 변경합니다.
  spark-log4j	Spark의 log4j.properties 파일에서 값을 변경합니다.

  특별히 CreateManagedEndpoint API와 함께 사용하는 경우:

  분류	설명
  jeg-config	Jupyter Enterprise Gateway의 jupyter_enterprise_gateway_config.py 파일에서 값을 변경합니다.
  jupyter-kernel-overrides	Jupyter 커널 사양 파일에서 커널 이미지 값을 변경합니다.

  구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 spark-hive-site.xml과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 애플리케이션 구성을 참조하세요.

주목할 만한 기능

Amazon EMR on EKS 6.11 릴리스에 다음과 같은 기능이 포함되어 있습니다.

• Amazon ECR 퍼블릭 갤러리의 Amazon EMR on EKS 기본 이미지 - 사용자 지정 이미지 기능을 사용하는 경우 기본 이미지에서 Amazon EMR on EKS과 상호 작용하는 데 필요한 jar, 구성 및 라이브러리를 제공합니다. 이제 Amazon ECR 퍼블릭 갤러리에서 기본 이미지를 찾을 수 있습니다.

• Spark 컨테이너 로그 로테이션 - Amazon EMR on EKS 6.11에서는 Spark 컨테이너 로그 로테이션을 지원합니다. StartJobRun API의 MonitoringConfiguration작업 내에서 containerLogRotationConfiguration을 통해 기능을 활성화할 수 있습니다. Amazon EMR on EKS에서 Spark 드라이버 및 실행기 포드에 보관할 로그 파일의 수와 크기를 지정하도록 rotationSize 및 maxFilestoKeep을 구성할 수 있습니다. 자세한 내용은 Spark 컨테이너 로그 로테이션 사용 단원을 참조하십시오.

• Spark 운영자 및 spark-submit에서 Volcano 지원 - Amazon EMR on EKS 6.11에서는 Spark 운영자 및 spark-submit에서 Volcano를 Kubernetes 사용자 지정 스케줄러로 사용하여 Spark 작업 실행을 지원합니다. 단체 예약, 대기열 관리, 선점, 공정 공유 예약과 같은 기능을 사용하여 높은 예약 처리량 및 최적화된 용량을 지원할 수 있습니다. 자세한 내용은 Amazon EMR on EKS에서 Apache Spark의 사용자 지정 스케줄러로 Volcano 사용 단원을 참조하십시오.