기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
EMR아마존 EKS 버전 7.1.0 출시
이 페이지에서는 EKS 배포 시 EMR Amazon에만 적용되는 새 기능 및 업데이트된 Amazon EMR 기능에 대해 설명합니다. Amazon에서 EMR 실행되는 Amazon에 대한 자세한 내용과 Amazon EMR 7.1.0 릴리스에 대한 일반적인 내용은 Amazon 릴리스 가이드의 Amazon EMR 7.1.0을 참조하십시오. EC2 EMR
EMR아마존 버전 EKS 7.1 출시
Amazon에서 사용할 수 있는 Amazon EMR 7.1.0 릴리스는 다음과 같습니다EMR. EKS 특정 emr-7.1.0- XXXX 릴리스를 선택하면 관련 컨테이너 이미지 태그와 같은 세부 정보를 볼 수 있습니다.
릴리스 정보
아마존 버전 EMR EKS 7.1.0의 출시 노트
-
지원되는 애플리케이션 ‐ AWS SDK for Java 2.23.18 and 1.12.656, Apache Spark 3.5.0-amzn-1, Apache Hudi 0.14.1-amzn-0, Apache Iceberg 1.4.3-amzn-0, Delta 3.0.0, Apache Spark RAPIDS 23.10.0-amzn-1, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-0, Flink Operator 1.6.1-amzn-1
-
지원되는 구성 요소 ‐
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
지원되는 구성 분류
StartJobRun및 CreateManagedEndpointAPIs함께 사용:
분류 설명 core-siteHadoop의
core-site.xml파일에서 값을 변경합니다.emrfs-siteEMRFS설정 변경.
spark-metricsSpark의
metrics.properties파일에서 값을 변경합니다.spark-defaultsSpark의
spark-defaults.conf파일에서 값을 변경합니다.spark-envthe Spark 환경의 값을 변경합니다.
spark-hive-siteSpark의
hive-site.xml파일에서 값을 변경합니다.spark-log4j2Spark의
log4j2.properties파일에서 값을 변경합니다.emr-job-submitter작업 제출자 포드 구성.
특히 CreateManagedEndpointAPIs다음과 함께 사용하십시오.
분류 설명 jeg-configJupyter Enterprise Gateway의
jupyter_enterprise_gateway_config.py파일에서 값을 변경합니다.jupyter-kernel-overridesJupyter 커널 사양 파일에서 커널 이미지 값을 변경합니다.
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이러한 파일은 대개 응용 프로그램의 구성 XML 파일 (예:) 에 해당합니다
spark-hive-site.xml. 자세한 내용은 애플리케이션 구성을 참조하세요.
주목할 만한 기능
Amazon 7.1.0 릴리스의 Amazon 버전에는 다음과 같은 기능이 포함되어 EMR 있습니다. EKS
-
Amazon EMR 온에 대한 Apache Livy 지원 EKS — Amazon EKS 릴리스 7.1.0 EMR 이상에서는 EKS Amazon 클러스터의 Apache Livy를 사용하여 Spark 작업 또는 Spark 코드 스니펫을 제출하는 Apache REST Livy 인터페이스를 생성할 수 있습니다. 이렇게 하면 결과를 동기식 및 비동기식으로 검색하는 동시에 EMR Amazon에 EMR 최적화된 Spark 런타임, SSL 활성화된 Livy 엔드포인트EKS, 프로그래밍 방식 설정 환경 등의 이점을 Amazon에서 계속 활용할 수 있습니다.
