AWS Glue 版本支持策略 - AWS Glue

AWS Glue 版本支持策略

AWS Glue 是一项无服务器数据集成服务,可轻松发现、准备和组合数据,以用于分析、机器学习和应用程序开发。AWS Glue 任务包含在 AWS Glue 中执行数据集成工作的业务逻辑。AWS Glue 中有三种类型的作业:Spark(批次和流式处理)、RayPython shell。定义作业时,需要指定 AWS Glue 版本,其在底层 Spark、Ray 或 Python 运行时环境中配置版本。例如:AWS Glue 版本 2.0 Spark 作业支持 Spark 2.4.3 和 Python 3.7。

支持策略

AWS Glue 偶尔会停止对旧 AWS Glue 版本的支持。但如果您在已弃用的版本上运行任务,将不再能够获得技术支持。AWS Glue 将不再对已弃用的版本应用安全补丁或其他更新。如果您在已弃用的版本上运行任务,AWS Glue 也不会遵守 SLA 的要求。

当终止支持 2.0 或更高 AWS Glue 版本时,您将无法创建作业,只能编辑或运行作业。

下列 AWS Glue 版本已经或计划终止支持。终止支持从指定日期午夜(太平洋时区)生效。

Type Glue 版本 终止支持
Spark Spark 2.2、Scala 2(Glue 版本 0.9) 6/1/2022
Spark Spark 2.2、Python 2(Glue 版本 0.9) 6/1/2022
Spark Spark 2.4、Python 2(Glue 版本 1.0) 6/1/2022
Spark Spark 2.4、Python 3(Glue 版本 1.0) 9/30/2022
Spark Spark 2.4、Scala 2(Glue 版本 1.0) 9/30/2022
Spark Glue 版本 2.0 1/31/2024
Type Python 版本 终止支持
Python shell Python 2(Glue 版本 1.0) 6/1/2022
Type Notebook 版本 终止支持
开发终端节点 Zeppelin notebook 9/30/2022

AWS 强烈建议您将任务迁移到受支持的版本。

有关将 Spark 任务迁移到最新 AWS Glue 版本的信息,请参阅将 AWS Glue 任务迁移到 AWS Glue 4.0 版本

要将 Python shell 任务迁移到最新 AWS Glue 版本,请执行以下操作:

  • 在控制台中,选择 Python 3 (Glue Version 4.0)

  • CreateJob/UpdateJob API 中,将 GlueVersion 参数设置为 4.0,并将 PythonVersion 参数下的 3 设置为 Command

  • 您需要使任务脚本与 Python 3 兼容。

注意

在 2022 年 8 月推出印度尼西亚雅加达(ap-southeast-3)区域之前推出的所有 AWS 区域都有允许运行 AWS Glue 0.9/1.0 版本作业的客户名单。在这些较旧的区域中,您可以使用空值创建作业,根据区域的不同,该作业将默认为版本 0.9/1.0。对于任何以后推出的 AWS 区域,您必须在 API 中明确设置 AWS Glue 版本。AWS Glue 不再接受空参数。如果您在参数中传递 0.9 或 1.0,则会遇到错误“不支持 Glue 版本 0.9(或)1.0”。