本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
新增功能
本页介绍最新版本的 Amazon EMR 7.x、6.x 和 5.x 中提供的更改和功能。
这些发行说明也可在亚马逊 EMR 7.5.0、亚马逊 EMR 6.15.0 和 A mazon EMR 5.36.2 页面上找到,以及每个版本的应用程序版本、组件版本和可用配置分类。
-
有关早期发行版的发布说明,请参阅 Amazon 发行说明EMR档案。
-
要在亚马逊新EMR版本发布时获取更新,请订阅亚马逊EMR发行说明的RSS提要。
注意
更高版本的 Amazon EMR 使用 AWS 签名版本 4 (SigV4) 对发给 Amazon S3 的请求进行身份验证。我们建议您使用支持的 Amazon EMR 版本 SigV4 这样您就可以访问新的 S3 存储桶并避免工作负载中断。如需了解更多信息以及支持的 Amazon EMR 版本列表 SigV4,请参阅 Amazon EMR 和 AWS Signature 版本 4。
亚马逊 EMR 7.5.0(7.x 系列的最新版本)
Amazon 的新EMR版本将在几天内在不同地区上市,从最初发布日期的第一个地区开始。在此期间,您所在区域可能无法提供最新发行版。
以下发行说明包含 Amazon 7.5.0 EMR 版本的信息。
新特征
-
应用程序升级 — Amazon EMR 7.5.0 application upgrades include Delta 3.2.1-amzn-0, HBase 2.5.10, Hudi 0.15.0-amzn-2, and Iceberg 1.6.1-amzn-1.
EMR预写日志 (WAL) 支持跨集群复制。有关更多信息,请参阅EMRWAL跨集群复制。
已知问题
-
Apache Sqoop 已从亚马逊 7.5 及更高EMR版本中删除。
更改、增强功能和解决的问题
-
Amazon EMR 使用不同的 TensorFlow 库版本,具体取决于您为集群选择的实例类型。亚马逊EMR还支持具有- TensorFlow 7.5.0 及以上版本的 aarch64 实例类型(Graviton 实例)的EMR集群。
下表按实例类型列出了 EMR -7.5.0 的构建:
EC2 实例类型 TensorFlow 建造 M5 和 C5 经过英特尔优化的 Tensorflow 2.16.1 MKL P2、P4D、P5、G4DN、G5、G6 和 GR6 Tensorflow 2.16.1 和 12.3,cu 8.9.7.29 CUDA DNN P3、P3DN、G3 和 G3S Tensorflow 2.16.1 和 CUDA 12.3、cu DNN 8.9.7.29、NCCL 2.20.3-1 Nvidia 仅在 P3 实例上可用。NCCL最终用户许可协议 (EULA) — 在亚马逊上使用 Nvidia 组件EMR,即表示您同意产品中概述的条款和条件EULA。 所有其他包括 Graviton (-7.5.0+) EMR Tensorflow 2.16.1 启用了FGAC(精细访问控制)的亚马逊EMR集群的 La AWS ke Formation 现在可以通过以下 hdfs-site.xml 配置支持多达 256 个并发步骤:
[ { "Classification": "hdfs-site", "Properties": { "dfs.datanode.handler.count": "40", "dfs.datanode.max.transfer.threads": "16384", "dfs.namenode.handler.count": "64", "dfs.replication": "1" } }, { "Classification": "hdfs-env", "Configurations": [ { "Classification": "export", "Properties": { "HADOOP_DATANODE_HEAPSIZE": "5120" } } ], "Properties": {} } ]
-
OsReleaseLabel (亚马逊 Linux 版本) Amazon Linux 内核版本 可用日期 支持的区域 2023.5.20240916 6.1.109-118.189.amzn2023 2024 年 9 月 6 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) AWS GovCloud 、(美国东部)、(美国东部) AWS GovCloud 、中国(北京)、中国(宁夏)、亚洲太平洋(海得拉巴)、中东(UAE)、欧洲(西班牙)、欧洲(苏黎世)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里)
亚马逊 EMR 6.15.0(6.x 系列的最新版本)
Amazon 的新EMR版本将在几天内在不同地区上市,从最初发布日期的第一个地区开始。在此期间,您所在区域可能无法提供最新发行版。
以下发行说明包含有关亚马逊 6.15. EMR 0 版本的信息。更改与 6.14.0 有关。有关发布时间表的更多信息,请参阅 6.15.0 更改日志。
新特征
-
应用程序升级 — Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.
-
在@@ EMR集群上运行的启动速度更快 EC2
— 现在,在集EC2群上启动 Amaz EMR on 的速度最多可提高 35%。通过这一改进,大多数客户可以在 5 分钟或更短时间内启动集群。 -
CodeWhisperer 适用于 EMR Studio — 现在,你可以将亚马逊 CodeWhisperer 与 Amazon EMR Studio 配合使用,在编写代码时获得实时推荐 JupyterLab。 CodeWhisperer 可以完成您的注释、完成单行代码、提出 line-by-line建议并生成完整格式的函数。
-
使用 Flink 可以缩短任务重启时间 — 在 Amazon EMR 6.15.0 及更高版本中,Apache Flink 可以使用多种新机制来缩短任务恢复或扩展操作期间的任务重启时间。这样可以优化执行图的恢复和重启速度,从而提高作业稳定性。
-
开放表格式的表级和细粒度访问控制 — 在 Amazon EMR 6.15.0 及更高版本中,当您在访问 Gl AWS ue 数据目录中数据的集群上在 Amazon EMR 上EC2运行 Spark 作业时,您可以使用 AWS Lake Formation 对基于 Hudi、Iceberg 或 Delta Lake 的表应用表、行、列和单元格级别的权限。
-
Hadoop 升级 — 亚马逊 EMR 6.15.0 包括 Apache Hadoop 升级到 3.3.6 版。Hadoop 3.3.6是部署亚马逊 EMR 6.15时的最新版本,由Apache于2023年6月发布。亚马逊之前发布的版本EMR(6.9.0 至 6.14.x)使用了 Hadoop 3.3.3。
此次升级包括数百项改进和修复,其功能包括可重新配置的数据节点参数、在所有实时数据节点上启动批量重新配置操作的
DFSAdmin
选项,以及允许大量搜索的读者指定多个读取范围API的向量。Hadoop 3.3.6 还增加了对其预写日志 (WAL) 的支持HDFSAPIs和语义,因此HBase可以在其他存储系统实现上运行。有关更多信息,请参阅 Apache Hadoop 文档中的 3.3.4、3.3.5 和 3.3.6 版本的变更日志。 -
支持 Java,版本 2 ——如果应用程序支持 v2,亚马逊 EMR 6.15.0 应用程序可以用 AWS SDK于 Java 版本 1.12.569
或 2.20. 160。 AWS SDK AWS SDK适用于 Java 2.x 的版本是对 1.x 版本代码库的重大改写。它基于 Java 8+ 构建,并增加了几个请求次数较多的功能。其中包括对非阻塞 I/O 的支持,以及在运行时插入其他HTTP实现的能力。有关更多信息,包括从 Java v1 到 v2 SDK 的迁移指南,请参阅AWS SDK适用于 Java 的版本 2 指南。
更改、增强功能和解决的问题
为了提高您的高可用性EMR集群,此版本允许连接到本地主机上使用的 Amazon EMR 守护程序 IPv6 端点。
此版本启用 TLS 1.2,以便在您的高可用性 ZooKeeper 集群的所有主节点上与预配置进行通信。
此版本改进了对主节点上维护的 ZooKeeper 事务日志文件的管理,以最大限度地减少日志文件越界增长并中断集群操作的情况。
此版本使高可用EMR性集群的节点内通信更具弹性。此改进减小了引导操作失败或集群启动失败的几率。
-
Amazon EMR 6.15.0 中的 Tez 引入了配置,您可以指定这些配置来异步打开 Tez 分组拆分中的输入拆分。当单个 Tez 分组拆分中有大量输入拆分时,这样可以提高读取查询的性能。有关更多信息,请参阅 Tez 异步拆分打开。
当您启动带有最新补丁版本(亚马逊 EMR 5.36 或更高版本、6.6 或更高版本、7.0 或更高版本)的集群时,亚马逊将EMR使用最新的亚马逊 Linux 2023 或亚马逊 Linux 2 版本作为默认亚马逊 Linux 2 版本。EMR AMI有关更多信息,请参阅使用亚马逊的默认 Amazon Linux AMI EMR。
OsReleaseLabel (亚马逊 Linux 版本) Amazon Linux 内核版本 可用日期 支持的区域 2.0.20241001.0 4.14.352 2024 年 10 月 4 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) AWS GovCloud 、(美国东部)、(美国东部) AWS GovCloud 、中国(北京)、中国(宁夏) 2.0.20240816.0 4.14.350 2024 年 8 月 21 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) AWS GovCloud 、(美国东部)、(美国东部) AWS GovCloud 、中国(北京)、中国(宁夏) 2.0.20240809.0 4.14.349 2024 年 8 月 20 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) AWS GovCloud 、(美国东部)、(美国东部) AWS GovCloud 、中国(北京)、中国(宁夏) 2.0.20240719.0 4.14.348 2024 年 7 月 25 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) AWS GovCloud 、(美国东部)、(美国东部) AWS GovCloud 、中国(北京)、中国(宁夏) 2.0.20240709.1 4.14.348 2024 年 7 月 23 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) AWS GovCloud 、(美国东部)、(美国东部) AWS GovCloud 、中国(北京)、中国(宁夏)、亚洲太平洋(海得拉巴)、中东(UAE)、欧洲(西班牙)、欧洲(苏黎世)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里) 2.0.20240223.0 4.14.336 2024 年 3 月 8 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东UAE()、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部)、 AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)、加拿大西部(卡尔加里) 2.0.20240131.0 4.14.336 2024 年 2 月 14 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东UAE()、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部)、 AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)、加拿大西部(卡尔加里) 2.0.20240124.0 4.14.336 2024 年 2 月 7 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东UAE()、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部)、 AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)、加拿大西部(卡尔加里) 2.0.20240109.0 4.14.334 2024 年 1 月 24 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东UAE()、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部)、 AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)、加拿大西部(卡尔加里) 2.0.20231218.0 4.14.330 2024 年 1 月 2 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东UAE()、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部)、 AWS GovCloud (美国东部)、中国(北京)、中国(宁夏) 2.0.20231206.0 4.14.330 2023 年 12 月 22 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东UAE()、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部)、 AWS GovCloud (美国东部)、中国(北京)、中国(宁夏) 2.0.20231116.0 4.14.328 2023 年 12 月 11 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东UAE()、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部)、 AWS GovCloud (美国东部)、中国(北京)、中国(宁夏) 2.0.20231101.0 4.14.327 2023 年 11 月 13 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东UAE()、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部)、 AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)
亚马逊 EMR 5.36.2(5.x 系列的最新版本)
Amazon 的新EMR版本将在几天内在不同地区上市,从最初发布日期的第一个地区开始。在此期间,您所在区域可能无法提供最新发行版。
以下发行说明包含有关亚马逊 5.36.2 EMR 版本的信息。更改与 5.36.1 有关。有关发布时间表的信息,请参阅更改日志。
更改、增强功能和解决的问题
-
此版本改进了集群缩容逻辑,因此 Amazon EMR 不会将核心节点缩小到低于集群的HDFS重复因子设置。此改进满足了数据冗余要求,并降低了扩展操作停止的可能性。
-
此版本为运行 Presto 或 Trino 的集群的集群扩展工作流程添加了新的重试机制。EMR此改进降低了由于单个调整大小操作失败而导致集群调整大小无限期运行的风险。它还可以提高集群利用率,因为您的集群可以更快地向上和向下扩展。
-
修复了以下问题:当 Amazon EMR 优雅地停用核心节点时,集群缩容操作可能会停滞不前,核心节点在完全停用之前就会变为运行不正常。
-
当 Amazon EMR 重启单个节点时,可提高具有多个主节点的高可用性集群中节点的稳定性。
-
通过 Amazon 在亚马逊EC2上EMR运行,优化日志管理。因此,您可能会看到集群日志的存储成本略有降低。
-
改进了对主节点上维护的 ZooKeeper 事务日志文件的管理,以最大限度地减少日志文件越界增长并中断集群操作的情况。
-
修复了一个罕见的错误,该错误可能导致具有多个主节点的高可用性集群因无法与 Yarn ResourceManager 通信而发生故障。
当您启动带有最新补丁版本(亚马逊 EMR 5.36 或更高版本、6.6 或更高版本、7.0 或更高版本)的集群时,亚马逊将EMR使用最新的亚马逊 Linux 2023 或亚马逊 Linux 2 版本作为默认亚马逊 Linux 2 版本。EMR AMI有关更多信息,请参阅使用亚马逊的默认 Amazon Linux AMI EMR。
OsReleaseLabel (亚马逊 Linux 版本) Amazon Linux 内核版本 可用日期 支持的区域 2.0.20241001.0 4.14.352 2024 年 10 月 4 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) AWS GovCloud 、(美国东部)、(美国东部) AWS GovCloud 、中国(北京)、中国(宁夏) 2.0.20240816.0 4.14.350 2024 年 8 月 21 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) AWS GovCloud 、(美国东部)、(美国东部) AWS GovCloud 、中国(北京)、中国(宁夏) 2.0.20240809.0 4.14.349 2024 年 8 月 20 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) AWS GovCloud 、(美国东部)、(美国东部) AWS GovCloud 、中国(北京)、中国(宁夏) 2.0.20240719.0 4.14.348 2024 年 7 月 25 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) AWS GovCloud 、(美国东部)、(美国东部) AWS GovCloud 、中国(北京)、中国(宁夏) 2.0.20240709.1 4.14.348 2024 年 7 月 23 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) AWS GovCloud 、(美国东部)、(美国东部) AWS GovCloud 、中国(北京)、中国(宁夏)、亚洲太平洋(海得拉巴)、中东(UAE)、欧洲(西班牙)、欧洲(苏黎世)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里) 2.0.20240503.0 4.14.343 2024 年 xxxxxx 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) AWS GovCloud 、(美国东部)、(美国东部) AWS GovCloud 、中国(北京)、中国(宁夏)
Amazon EMR 和 AWS Signature 版本 4
亚马逊EMR发布的版本使用 AWS 签名版本 4 (SigV4) 对发给 Amazon S3 的请求进行身份验证。2020 年 6 月 24 日之后在 Amazon S3 中创建的存储桶不支持由签名版本 2(SigV2)签名的请求。2020 年 6 月 24 日或之前创建的存储桶将继续支持 SigV2。我们建议您迁移到支持以下内容的 Amazon EMR 版本 SigV4 这样您就可以访问新的 S3 存储桶并避免工作负载中断。
如果您使用亚马逊附带的应用程序,EMR例如 Apache Spark、Apache Hive 和 Presto,则无需更改应用程序代码即可使用 SigV4 。 如果您使用的自定义应用程序未包含在 Amazon 中EMR,则可能需要更新代码才能使用 SigV4。 有关更多信息,请参阅 Amazon S3 用户指南中的从签名版本 2 迁移到签名版本 4。
以下 Amazon EMR 发布了支持 SigV4: emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1, emr-5.21.2, and emr-5.22.0 and higher。 所有 6.x 和 7.x 版本都支持 SigV4.