向集群提交工作 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

向集群提交工作

本节介绍可用于向 Amazon EMR 集群提交工作的方法。您可以通过添加步骤或以交互方式向主节点提交 Hadoop 任务的形式向集群提交工作。

向集群提交步骤时，请考虑以下步骤行为规则：

  • 步骤 ID 最多可包含 256 个字符。

  • 一个集群中最多可以有 256 个RUNNING步骤PENDING和步骤。

  • 即使集群上运行有 256 个活动步骤，您可以采用交互方式向主节点提交任务。在长时间运行的集群的生命周期内，您可以提交无限数量的步骤，但在任何给定时间只能提交 256 个步骤。RUNNING PENDING

  • 对于 Amazon 4.8.0 及更高EMR版本（版本 5.0.0 除外），您可以取消待处理的步骤。有关更多信息，请参阅 取消步骤。

  • 在 Amazon 5.28.0 及更高EMR版本中，您可以取消待处理和正在运行的步骤。您还可以选择并行运行多个步骤以提高集群利用率并节省成本。有关更多信息，请参阅 并行运行多个步骤的注意事项。

注意

为了获得最佳性能，我们建议您将要在 Amazon 中使用的自定义引导操作、脚本和其他文件存储EMR在与您的集群 AWS 区域 相同的 Amazon S3 存储桶中。

主题