使用控制台向集群添加步骤
在 AWS Management Console 中,请按照以下操作步骤将步骤添加到集群中。有关如何为特定大数据应用程序提交步骤的详细信息,请参阅《Amazon EMR 版本指南》。
在创建集群过程中添加步骤
使用 AWS Management Console可以在创建集群时向集群添加步骤。
-
在 Amazon EMR 控制台
中,选择 Create Cluster - Advanced Options (创建集群 – 高级选项)。 -
在 Step 1: Software and Steps (步骤 1:软件和步骤) 页面上,对于 Steps (optional) (步骤(可选)),选择 Run multiple steps in parallel to improve cluster utilization and save cost (并行运行多个步骤以提高集群利用率并节省成本)。并发级别的默认值为 10。您可以在 2 到 256 个步骤之间进行选择,这些步骤可以并行运行。
注意 只有 Amazon EMR 版本 5.28.0 和更高版本支持并行运行多个步骤。
-
对于 After last step completes (在最后一步完成后),选择 Cluster enters waiting state (集群进入等待状态) 或 Auto-terminate the cluster (自动终止集群)。
-
选择 Step type (步骤类型),然后选择 Add step (添加步骤)。
-
在 Add Step (添加步骤) 对话框的各个字段中键入合适的值。选项因步骤类型而异。如果您已启用 Run multiple steps in parallel to improve cluster utilization and save cost (并行运行多个步骤以提高集群利用率并节省成本),则 Action on failure (出现故障时的操作) 的唯一可用选项是 Continue (继续)。接下来,选择 Add (添加)。
向正在运行的集群添加步骤
使用AWS Management Console,可以向长时间运行的集群(即已禁用自动终止选项的集群)添加步骤。
-
在 Amazon EMR 控制台
中的 Cluster List (集群列表) 页面上,选择您的集群的链接。 -
在 Cluster Details (集群详细信息) 页面上,选择 Steps (步骤) 选项卡。
-
在 Steps (步骤) 选项卡上,选择 Add step (添加步骤)。
-
在 Add Step (添加步骤) 对话框的各个字段中键入相应的值,然后选择 Add (添加)。这些选项因步骤类型而异。
修改正在运行的集群中的步骤并发级别
使用 AWS Management Console,可以修改正在运行的集群中的步骤并发级别。
只有 Amazon EMR 版本 5.28.0 和更高版本支持并行运行多个步骤。
-
在 Amazon EMR 控制台
中的 Cluster List (集群列表) 页面上,选择您的集群的链接。 -
在 Cluster Details (集群详细信息) 页面上,选择 Steps (步骤) 选项卡。
-
对于 Concurrency (并发),请选择 Change (更改)。为步骤并发级别选择一个新值,然后保存。
添加步骤参数
在使用 AWS Management Console添加添加步骤到您的集群时,您可以在 Arguments (参数)字段指定该步骤的参数。您必须使用空格、字符组成的两边字符串参数以及带引号的空格分隔参数。
例 :参数正确
以下示例参数的格式正确,适用于AWS Management Console,最后一个字符串参数两边用引号。
bash -c "aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh ."
您还可以为了实现可读性,将每个参数放在单独的行中,如下面的示例所示。
bash -c "aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh ."
例 :参数不正确
以下示例参数的格式不正确,不适用于 AWS Management Console。请注意,最后一个字符串参数 aws s3 cp
s3://DOC-EXAMPLE-BUCKET/my-script.sh .
含有空格,没有引号。
bash -c aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh .