向集群提交工作 - Amazon EMR

向集群提交工作

此部分介绍用于向 Amazon EMR 集群提交工作的方法。您可以通过添加步骤或通过以交互方式向主节点提交 Hadoop 任务的形式向集群提交工作。集群中允许的 PENDING 和 RUNNING 步骤的最大数目为 256。可以采用交互方式向主节点提交任务(即使集群上运行有 256 个活动步骤)。您可以在长时间运行的集群的生命周期内提交不限数量的步骤,但是,在给定时间只能有 256 个步骤处于 RUNNING 或 PENDING 状态。

对于 Amazon EMR 版本 4.8.0 和更高版本(版本 5.0.0 除外),您可以使用AWS Management Console、AWS CLI 或 Amazon EMR API 取消待处理步骤。

使用 Amazon EMR 版本 5.28.0 和更高版本,可以取消待处理步骤和正在运行的步骤。您还可以选择并行运行多个步骤以提高集群利用率并节省成本。

注意

为了获得最佳性能,我们建议您将要与 Amazon EMR 配合使用的自定义引导操作、脚本和其他文件存储在某一 Amazon S3 存储桶中,该存储桶与您的集群位于相同的 AWS 区域 中。