进行设置以便将 Python 与 AWS Glue 一起使用
使用 Python 为 Spark 作业开发 ETL 脚本。ETL 任务支持的 Python 版本取决于任务的 AWS Glue 版本。有关 AWS Glue 版本的更多信息,请参阅 Glue version job property。
设置您的系统以便将 Python 与 AWS Glue 一起使用
按照以下步骤安装 Python 并能够调用 AWS Glue API。
-
如果您还没有安装 Python,请从 Python.org 下载页面
进行下载和安装。 -
按照 AWS CLI 文档中所述安装 AWS Command Line Interface(AWS CLI)。
AWS CLI 不是使用 Python 所直接必需的。但是,安装和配置它是使用账户凭证设置 AWS 并验证它们是否工作的方便方法。
-
按照 Boto3 快速入门
所述安装 AWS SDK for Python(Boto 3)。 Boto 3 资源 API 尚不可用于 AWS Glue。目前,只有 Boto 3 客户端 API 可用。
有关 Boto 3 的更多信息,请参阅 AWS SDK for Python(Boto3)入门
。
您可以在 GitHub 网站上的 AWS Glue 示例存储库