EKS 7.1.0 版本上的 Amazon EMR

本页介绍了 Amazon EMR 的新增和更新的功能，这些功能特定于 Amazon EMR on EKS 部署。有关在亚马逊 EC2 上运行的亚马逊 EMR 以及亚马逊 EMR 7.1.0 版本的总体详情，请参阅亚马逊 EMR 发布指南中的亚马逊 EMR 7.1.0。

EKS 7.1 版本上的 Amazon EMR

以下亚马逊 EMR 7.1.0 版本可用于 EKS 上的亚马逊 EMR。选择特定的 EMR-7.1.0-xxxx 版本以查看更多详细信息，例如相关的容器映像标签。

Flink releases

当您运行 Flink 应用程序时，以下亚马逊 EMR 7.1.0 版本可用于 EKS 上的亚马逊 EMR。

Spark releases

当您运行 Spark 应用程序时，以下亚马逊 EMR 7.1.0 版本可用于 EKS 上的亚马逊 EMR。

EKS 7.1.0 上亚马逊 EMR 的发布说明

支持的应用程序 ‐ AWS SDK for Java 2.23.18 and 1.12.656, Apache Spark 3.5.0-amzn-1, Apache Hudi 0.14.1-amzn-0, Apache Iceberg 1.4.3-amzn-0, Delta 3.0.0, Apache Spark RAPIDS 23.10.0-amzn-1, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-0, Flink Operator 1.6.1-amzn-1
支持的组件 – aws-sagemaker-spark-sdk、emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。

支持的配置分类

要与StartJobRun和 CreateManagedEndpointAPI 一起使用：

分类	描述
`core-site`	更改 `core-site.xml` Hadoop 文件中的值。
`emrfs-site`	更改 EMRFS 设置。
`spark-metrics`	更改 `metrics.properties` Spark 文件中的值。
`spark-defaults`	更改 `spark-defaults.conf` Spark 文件中的值。
`spark-env`	更改 Spark 环境中的值。
`spark-hive-site`	更改 `hive-site.xml` Spark 文件中的值。
`spark-log4j2`	更改 `log4j2.properties` Spark 文件中的值。
`emr-job-submitter`	任务提交者 Pod 的配置。

分类	描述
`jeg-config`	更改 Jupyter Enterprise Gateway `jupyter_enterprise_gateway_config.py` 文件中的值。
`jupyter-kernel-overrides`	更改 Jupyter 内核规范文件中内核映像的值。

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 spark-hive-site.xml）相对应。有关更多信息，请参阅配置应用程序。

EKS 上的 Amazon EMR 7.1.0 版本包含以下功能。

Apache Livy 在 EKS 上支持 Amazon EMR — 在 EKS 7.1.0 及更高版本上使用 Amazon EMR，你可以在亚马逊 EKS 集群上使用 Apache Livy 创建 Apache Livy REST 界面来提交 Spark 任务或 Spark 代码片段。这样做可以让你同步和异步地检索结果，同时仍然可以利用 Amazon EMR 在 EKS 方面的好处，例如亚马逊 EMR 优化的 Spark 运行时、支持 SSL 的 Livy 终端节点和编程设置体验。

EKS 上的 Amazon EMR 7.1.0 版本中包含以下更改。

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

发行版

emr-7.1.0-最新