新增功能 - Amazon EMR

新增功能

本页介绍了 Amazon EMR 6.x 和 Amazon EMR 5.x 最新发行版中的更改和可用功能。Amazon EMR 发行版 6.14.0 页面和 Amazon EMR 发行版 5.36.1 页面上也提供了这些发布说明,以及应用程序版本、组件版本和每个发行版的可用配置分类。

订阅 RSS 源,通过 https://docs.aws.amazon.com/emr/latest/ReleaseGuide/amazon-emr-release-notes.rss 获取 Amazon EMR 发布说明,以便在新的 Amazon EMR 发行版可用时接收更新。

有关早期发行版的发布说明,请参阅 发布说明的 Amazon EMR 存档

注意

Amazon EMR 发行版现在使用 AWS 签名版本 4(SigV4)对发送到 Amazon S3 的请求进行身份验证。我们建议您使用支持 SigV4 的 Amazon EMR 发行版,这样您可以访问新的 S3 存储桶,避免工作负载中断。有关更多信息和支持 SigV4 的 Amazon EMR 发行版列表,请参阅 Amazon EMR 和 AWS 签名版本 4

Amazon EMR 6.14.0(6.x 系列的最新版本)

从初始发布日期的第一个区域开始,新的 Amazon EMR 发行版将在几天内陆续在不同区域提供。在此期间,您所在区域可能无法提供最新发行版。

以下发布说明包括有关 Amazon EMR 发行版 6.14.0 的信息。更改与 6.13.0 有关。有关发布时间表的更多信息,请参阅 更改日志

新特征
  • Amazon EMR 6.14.0 supports Apache Spark 3.4.1, Apache Spark RAPIDS 23.06.0-amzn-2, Flink 1.17.1, Iceberg 1.3.1, and Trino 422.

  • Amazon EMR 托管式自动扩缩功能 现已在 ap-southeast-3 亚太地区(雅加达)区域开放,可用于您使用 Amazon EMR 6.14.0 及更高版本创建的集群。

更改、增强功能和解决的问题
  • 6.14.0 发行版通过在 Amazon EC2 上运行的 Amazon EMR 来优化日志管理。因此,您可能会看到集群日志的存储成本略有降低。

  • 6.14.0 发行版改进了扩展工作流,以满足 Amazon EBS 卷大小差异很大的不同核心实例需求。此改进仅适用于核心节点;任务节点的缩减操作不受影响。

  • 6.14.0 发行版改进了 Amazon EMR 与 Apache Hadoop YARN ResourceManager and HDFS NameNode 等开源应用程序交互的方式。此改进降低了集群扩展导致操作延迟的风险,并减少了由于开源应用程序连接问题导致的启动故障。

  • 6.14.0 发行版优化了集群启动时的应用程序安装。此改进缩短了某些 Amazon EMR 应用程序组合的集群启动时间。

  • 6.14.0 发行版修复了在具有自定义域的 VPC 上运行的集群遇到核心节点或任务节点重启时,集群的缩减操作可能会停滞的问题。

  • 当您使用 Amazon EMR 5.36 或更高版本或 6.6 或更高版本的最新补丁版本启动集群时,Amazon EMR 会使用最新的 Amazon Linux 2 版本作为默认 Amazon EMR AMI。如需更多信息,请参阅 Using the default Amazon Linux AMI for Amazon EMR

    OsReleaseLabel(Amazon Linux 版本) Amazon Linux 内核版本 可用日期 支持的区域
    2.0.20230906.0 4.14.322 2023 年 9 月 11 日 美国东部(弗吉尼亚州北部)、美国东部(俄亥俄州)、美国西部(北加利福尼亚)、美国西部(俄勒冈州)、欧洲地区(斯德哥尔摩)、欧洲地区(米兰)、欧洲(西班牙)、欧洲地区(法兰克福)、欧洲(苏黎世)、欧洲地区(爱尔兰)、欧洲地区(伦敦)、欧洲地区(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东(阿联酋)、加拿大(中部)、以色列(特拉维夫)

Amazon EMR 5.36.1(5.x 系列的最新版本)

从初始发布日期的第一个区域开始,新的 Amazon EMR 发行版将在几天内陆续在不同区域提供。在此期间,您所在区域可能无法提供最新发行版。

以下发布说明包括有关 Amazon EMR 版本 5.36.1 的信息。更改与 5.36.0 有关。有关发布时间表的信息,请参阅更改日志

更改、增强功能和解决的问题
  • Amazon EMR 版本 5.36.1 增加了对在集群缩减期间将日志存档到 Amazon S3 的支持。在之前的 5.x 版本中,您只能在集群终止期间将日志文件存档到 Amazon S3。这项改进可确保即使在节点终止后,集群上生成的日志文件仍保留在 Amazon S3 上。有关更多信息,请参阅配置集群日志记录和调试

  • 5.36.1 版本改进了集群上日志管理进程守护程序,以监控 EMR 集群中的其他日志文件夹。这一改进最大限度地减少了磁盘过度使用情况。

  • 5.36.1 版本在集群上日志管理进程守护程序停止后会自动重启该守护程序。这一改进降低了由于磁盘过度使用而导致节点出现运行状况不佳的风险。

  • 5.36.1 版本修复了主节点上的 Amazon EMR 进程守护程序会维护集群中已终止实例的过时元数据的问题。维护陈旧的数据可能会导致集群上的 CPU 和内存使用量无限增长,并最终导致集群故障。

  • 对于使用多个主节点启动的集群,5.36.1 版本修复了其中一个主节点上的 Amazon EC2 硬件故障可能导致第二个主节点出现故障并导致集群不稳定的问题。

  • 对于配置了传输中加密的集群,托管扩展现在支持 Spark shuffle 数据感知。Spark shuffle 数据是 Spark 跨分区重新分配以执行特定操作的数据。在缩减期间,托管扩展会忽略带有随机数据的实例。这样可以防止任务的重新尝试和重新计算,这些都会给价格和性能带来高昂的代价。有关随机排序操作的更多信息,请参阅 Spark 编程指南

  • 当您使用 Amazon EMR 5.36 或更高版本或 6.6 或更高版本的最新补丁版本启动集群时,Amazon EMR 会使用最新的 Amazon Linux 2 版本作为默认 Amazon EMR AMI。如需更多信息,请参阅 Using the default Amazon Linux AMI for Amazon EMR

    OsReleaseLabel(Amazon Linux 版本) Amazon Linux 内核版本 可用日期 支持的区域
    2.0.20230727.0 4.14.320 2023 年 8 月 14 日 美国东部(弗吉尼亚州北部)、美国东部(俄亥俄州)、美国西部(北加利福尼亚)、美国西部(俄勒冈州)、欧洲地区(斯德哥尔摩)、欧洲地区(米兰)、欧洲(西班牙)、欧洲地区(法兰克福)、欧洲(苏黎世)、欧洲地区(爱尔兰)、欧洲地区(伦敦)、欧洲地区(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东(阿联酋)、加拿大(中部)、以色列(特拉维夫)
    2.0.20230719.0 4.14.320 2023 年 8 月 2 日 美国东部(弗吉尼亚州北部)、美国东部(俄亥俄州)、美国西部(北加利福尼亚)、美国西部(俄勒冈州)、欧洲地区(斯德哥尔摩)、欧洲地区(米兰)、欧洲(西班牙)、欧洲地区(法兰克福)、欧洲(苏黎世)、欧洲地区(爱尔兰)、欧洲地区(伦敦)、欧洲地区(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东(阿联酋)、加拿大(中部)、以色列(特拉维夫)
    2.0.20230628.0 4.14.318 2023 年 7 月 12 日 美国东部(弗吉尼亚州北部)、美国东部(俄亥俄州)、美国西部(北加利福尼亚)、美国西部(俄勒冈州)、加拿大(中部)、欧洲地区(斯德哥尔摩)、欧洲地区(爱尔兰)、欧洲地区(伦敦)、欧洲地区(巴黎)、欧洲地区(法兰克福)、欧洲地区(米兰)、亚太地区(香港)、亚太地区(孟买)、亚太地区(雅加达)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)
    2.0.20230612.0 4.14.314 2023 年 6 月 23 日 美国东部(弗吉尼亚州北部)、美国东部(俄亥俄州)、美国西部(北加利福尼亚)、美国西部(俄勒冈州)、加拿大(中部)、欧洲地区(斯德哥尔摩)、欧洲地区(爱尔兰)、欧洲地区(伦敦)、欧洲地区(巴黎)、欧洲地区(法兰克福)、欧洲地区(米兰)、亚太地区(香港)、亚太地区(孟买)、亚太地区(雅加达)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)
    2.0.20230404.1 4.14.311 2023 年 4 月 18 日

    美国东部(弗吉尼亚州北部)、美国东部(俄亥俄州)、美国西部(北加利福尼亚)、美国西部(俄勒冈州)、欧洲地区(斯德哥尔摩)、欧洲地区(爱尔兰)、欧洲地区(伦敦)、欧洲地区(巴黎)、欧洲地区(法兰克福)、欧洲地区(米兰)、亚太地区(香港)、亚太地区(孟买)、亚太地区(雅加达)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)

Amazon EMR 和 AWS 签名版本 4

Amazon EMR 发行版现在使用 AWS 签名版本 4(SigV4)对发送到 Amazon S3 的请求进行身份验证。2020 年 6 月 24 日之后在 Amazon S3 中创建的存储桶不支持由签名版本 2(SigV2)签名的请求。2020 年 6 月 24 日或之前创建的存储桶将继续支持 SigV2。建议您迁移到支持 SigV4 的 Amazon EMR 发行版,这样您可以访问新的 S3 存储桶,避免工作负载中断。

如果您使用的是 Amazon EMR 中包含的应用程序,例如 Apache Spark、Apache Hive 和 Presto,则无需更改应用程序代码即可使用 SigV4。如果您使用的是 Amazon EMR 中未包含的自定义应用程序,则可能需要更新代码才能使用 SigV4。有关更多信息,请参阅《Amazon S3 用户指南》中的从签名版本 2 转向签名版本 4

以下 Amazon EMR 发行版支持 SigV4:emr-4.7.4、emr-4.8.5、emr-4.9.6、emr-4.10.1、emr-5.1.1、emr-5.2.3、emr-5.3.2、emr-5.4.1、emr-5.5.4、emr-5.6.1、emr-5.7.1、emr-5.8.3、emr-5.9.1、emr-5.10.1、emr-5.11.4、emr-5.12.3、emr-5.13.1、emr-5.14.2、emr-5.15.1、emr-5.16.1、emr-5.17.2、emr-5.18.1、emr-5.19.1、emr-5.20.1、and emr-5.21.2、and emr-5.22.0 及更高版本。