以编程方式执行 EMR Notebooks 的示例命令 - Amazon EMR

以编程方式执行 EMR Notebooks 的示例命令

可以使用 EMR Notebooks 执行 API 通过脚本或命令行来执行 EMR Notebooks。无需使用AWS控制台以编程方式控制 EMR Notebooks,即可启动、停止、列出和描述 EMR Notebooks 执行。借助参数化笔记本单元,您可以将不同的参数值传递给笔记本,而无需为每组新参数值创建笔记本副本。请参阅 EMR API 操作

可以使用 Amazon CloudWatch Events 和 AWS Lambda 计划或批量处理 EMR 笔记本执行。请参阅将 AWS Lambda 与 Amazon CloudWatch Events 结合使用

本节提供了几个使用 AWS CLI、Boto3 SDK(Python)和 Ruby 执行编程式 EMR 笔记本的示例。

笔记本执行 CLI 命令示例

笔记本执行 Python 示例

笔记本执行 Ruby 示例

您还可以使用编排工具(例如 Apache Airflow 或 Amazon Managed Workflows for Apache Airflow)将参数化笔记本作为计划工作流的一部分运行。有关更多信息,请参阅AWS大数据博客中的 Orchestrating analytics jobs on EMR Notebooks using MWAA

限制:

  • 每个账户每个区域最多允许 100 个并发执行。

  • 如果运行超过 30 天,则终止执行。