在本地开发和测试 AWS Glue 作业脚本

当您开发和测试 AWS Glue for Spark 作业脚本时，有多种可用选项：

• AWS Glue Studio 控制台

  • 可视化编辑器

  • 脚本编辑器

  • AWS Glue Studio 笔记本

• 交互式会话

  • Jupyter notebook

• Docker 映像

  • 本地开发

  • 远程开发

您可以根据您的要求选择以上任何选项。

如果您喜欢无代码或低代码体验，则 AWS Glue Studio 可视化编辑器是不错的选择。

如果您更喜欢交互式笔记本体验，则 AWS Glue Studio 笔记本是一个不错的选择。有关更多信息，请参阅将笔记本与 AWS Glue Studio 和 AWS Glue 结合使用。如果您想使用您自己的本地环境，交互式会话是一个不错的选择。有关更多信息，请参阅将交互式会话与 AWS Glue 结合使用。

如果您更喜欢本地/远程开发体验，Docker 镜像是一个不错的选择。这可以帮助您在任何您喜欢的地方开发和测试 AWS Glue for Spark 作业脚本，而不会产生 AWS Glue 成本。

如果您更喜欢没有 Docker 的本地开发，则在本地安装 AWS Glue ETL 库目录是一个不错的选择。

使用 AWS Glue Studio 进行开发

AWS Glue Studio 可视化编辑器是一个图形界面，可以方便地在 AWS Glue 中创建、运行和监控提取、转换和加载 (ETL) 任务。您可以直观地编写数据转换工作流，并在 AWS Glue 的基于 Apache Spark 的无服务器 ETL 引擎上无缝运行它们。您可以在任务的每个步骤中检查架构和数据结果。有关更多信息，请参阅《AWS Glue Studio 用户指南》。

使用交互式会话进行开发

交互式会话使您可以在自己选择的环境中构建和测试应用程序。有关更多信息，请参阅将交互式会话与 AWS Glue 结合使用。