기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
이 페이지에서는 Amazon EMR on EKS 배포에 특정한 Amazon EMR의 신규 기능 및 업데이트된 기능을 설명합니다. Amazon EC2에서 실행되는 Amazon EMR 및 Amazon EMR 6.15.0 릴리스에 대한 일반적인 세부 정보는 Amazon EMR 릴리스 안내서에서 Amazon EMR 6.15.0을 참조하세요.
Amazon EMR on EKS 6.15 릴리스
Amazon EMR on EKS에 대해 다음 Amazon EMR 6.15.0 릴리스를 사용할 수 있습니다. 특정 emr-6.15.0-XXXX 릴리스를 선택하여 관련 컨테이너 이미지 태그와 같은 세부 정보를 확인합니다.
Flink 애플리케이션을 실행할 때 Amazon EMR on EKS에 대해 다음 Amazon EMR 6.15.0 릴리스를 사용할 수 있습니다.
릴리스 정보
Amazon EMR on EKS 6.15.0 릴리스 정보
-
지원되는 애플리케이션 ‐ AWS SDK for Java 1.12.569, Apache Spark 3.4.1-amzn-2, Apache Flink 1.17.1-amzn-1, Apache Hudi 0.14.0-amzn-0, Apache Iceberg 1.4.0-amzn-0, Delta 2.4.0, Apache Spark RAPIDS 23.08.01-amzn-0, Jupyter Enterprise Gateway 2.6.0
-
지원되는 구성 요소 ‐
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
지원되는 구성 분류
StartJobRun 및 CreateManagedEndpoint API와 함께 사용하는 경우:
분류 설명 core-siteHadoop의
core-site.xml파일에서 값을 변경합니다.emrfs-siteEMRFS 설정을 변경합니다.
spark-metricsSpark의
metrics.properties파일에서 값을 변경합니다.spark-defaultsSpark의
spark-defaults.conf파일에서 값을 변경합니다.spark-envthe Spark 환경의 값을 변경합니다.
spark-hive-siteSpark의
hive-site.xml파일에서 값을 변경합니다.spark-log4jSpark의
log4j2.properties파일에서 값을 변경합니다.emr-job-submitter작업 제출자 포드 구성.
특별히 CreateManagedEndpoint API와 함께 사용하는 경우:
분류 설명 jeg-configJupyter Enterprise Gateway의
jupyter_enterprise_gateway_config.py파일에서 값을 변경합니다.jupyter-kernel-overridesJupyter 커널 사양 파일에서 커널 이미지 값을 변경합니다.
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종
spark-hive-site.xml과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 애플리케이션 구성을 참조하세요.
주목할 만한 기능
Amazon EMR on EKS 6.15 릴리스에 다음과 같은 기능이 포함되어 있습니다.
-
Amazon EMR on EKS(Apache Flink 포함) - Amazon EMR on EKS 6.15.0을 사용하면 해당 Apache Flink 기반 애플리케이션을 동일한 Amazon EKS 클러스터에 있는 다른 유형의 애플리케이션과 함께 실행할 수 있습니다. 이를 통해 리소스 활용도를 높이고 인프라 관리를 간소화할 수 있습니다. Flink 애플리케이션에서 정상 서비스 해제를 통해 스팟 인스턴스를 활용하고 Amazon EBS를 통한 세분화된 복구 및 태스크 로컬 복구를 통해 다시 시작 시간을 단축할 수 있습니다. 접근성 및 모니터링 기능에는 Amazon S3에 저장된 jar를 사용하여 Flink 애플리케이션을 시작하는 기능, AWS Glue Data Catalog에 대한 액세스, Amazon S3 및 Amazon CloudWatch와의 통합 모니터링, 컨테이너 로그 교체가 포함됩니다.
