进行设置以便将 Python 与 AWS Glue 一起使用 - AWS Glue

进行设置以便将 Python 与 AWS Glue 一起使用

使用 Python 为 Spark 作业开发 ETL 脚本。ETL 任务支持的 Python 版本取决于任务的 AWS Glue 版本。有关 AWS Glue 版本的更多信息,请参阅 Glue version job property

设置您的系统以便将 Python 与 AWS Glue 一起使用

按照以下步骤安装 Python 并能够调用 AWS Glue API。

  1. 如果您还没有安装 Python,请从 Python.org 下载页面进行下载和安装。

  2. 按照 AWS CLI 文档中所述安装 AWS Command Line Interface(AWS CLI)。

    AWS CLI 不是使用 Python 所直接必需的。但是,安装和配置它是使用账户凭证设置 AWS 并验证它们是否工作的方便方法。

  3. 按照 Boto3 快速入门所述安装 AWS SDK for Python(Boto 3)。

    Boto 3 资源 API 尚不可用于 AWS Glue。目前,只有 Boto 3 客户端 API 可用。

    有关 Boto 3 的更多信息,请参阅 AWS SDK for Python(Boto3)入门

您可以在 GitHub 网站上的 AWS Glue 示例存储库中找到 AWS Glue 的 Python 代码示例和实用程序。