管理 Amazon EMR 任務

這個示例項目演示了 Amazon EMR 和 AWS Step Functions 整合。專案會建立 Amazon EMR 叢集、新增多個步驟並執行它們，然後終止叢集。

重要

Amazon EMR 沒有免費定價方案。執行範例專案將產生費用。您可以在 Amazon 定價頁面上找到EMR定價信息。Amazon EMR 服務集成的可用性取決於 Amazon 的可用性EMRAPIs。因此，此示例項目可能無法正常工作 AWS 地區。如需特殊區域的限制，請參閱 Amazon EMR 文件。

步驟 1：建立狀態機

開啟 Step Functions 主控台，然後選擇建立狀態機器。
Manage an EMR job在搜尋方塊中輸入，然後從傳回的搜尋結果中選擇 [管理EMR工作]。
選擇 Next (下一步) 繼續。
選擇 [執行示範] 以建立唯讀和 ready-to-deploy 工作流程，或選擇 [在其上建置] 建立可編輯的狀態機定義，您可以在其上建置並稍後進行部署。

此範例專案會部署下列資源：
- 同時 Amazon S3 儲存貯體
- 同時 Amazon EMR 叢集
- 同時 AWS Step Functions 狀態機器
- 相關 AWS Identity and Access Management (IAM) 角色
下圖顯示「管理EMR工作範例專案」的工作流程圖形：
選擇「使用範本」繼續進行選取。

下一步取決於您之前的選擇：

執行示範 — 您可以先檢閱狀態機器，然後再建立唯讀專案，其中資源部署者 AWS CloudFormation 到您的 AWS 帳戶.

您可以檢視狀態機器定義，當您準備就緒時，請選擇 [部署並執行] 以部署專案並建立資源。

部署最多可能需要 10 分鐘的時間來建立資源和權限。您可以使用「堆疊 ID」連結來監控進度 AWS CloudFormation.

部署完成後，您應該會在控制台中看到新的狀態機器。
建立在其上 — 您可以檢閱和編輯工作流程定義。您可能需要在範例專案中設定預留位置的值，然後才能嘗試執行自訂工作流程。

注意

部署到您帳戶的服務可能需要支付標準費用。

步驟 2：運行狀態機

在 [狀態電腦] 頁面上，選擇您的範例專案。
在範例專案頁面上，選擇 [開始執行]。
在 [開始執行] 對話方塊中，執行下列動作：
1. (選擇性) 輸入自訂執行名稱，以覆寫產生的預設值。
  
  非ASCII名稱和記錄
  Step Functions 接受包含非ASCII字元的狀態機器、執行項目、活動和標籤的名稱。由於此類字元不適用於 Amazon CloudWatch，因此我們建議您僅使用ASCII字元，以便在中追蹤指標 CloudWatch。
2. (選擇性) 在「輸入」方塊中，將輸入值輸入為JSON。如果您正在運行演示，則可以跳過此步驟。
3. 選擇 Start execution (開始執行)。
「Step Functions」主控台會將您導向「執行詳細資訊」頁面，您可以在其中選擇「圖形」檢視中的狀態，以瀏覽步驟詳情窗格中的相關資訊。

範例狀態機器程式碼

此範例專案中的狀態機器會直接將參數傳EMR遞至這些資源，與 Amazon 整合。瀏覽此範例狀態機器，瞭解 Step Functions 如何使用狀態機器同步呼叫 Amazon EMR 任務、等待任務成功或失敗，以及終止叢集。

有關如何進一步了解 AWS Step Functions 可以控制其他 AWS 服務，請參閱整合服務與 Step Functions。


{
  "Comment": "An example of the Amazon States Language for running jobs on Amazon EMR",
  "StartAt": "Create an EMR cluster",
  "States": {
    "Create an EMR cluster": {
      "Type": "Task",
      "Resource": "arn:<PARTITION>:states:::elasticmapreduce:createCluster.sync",
      "Parameters": {
        "Name": "ExampleCluster",
        "VisibleToAllUsers": true,
        "ReleaseLabel": "emr-5.26.0",
        "Applications": [
          { "Name": "Hive" }
        ],
        "ServiceRole": "<EMR_SERVICE_ROLE>",
        "JobFlowRole": "<EMR_EC2_INSTANCE_PROFILE>",
        "LogUri": "s3://<amzn-s3-demo-EMR_LOG>/logs/",
        "Instances": {
          "KeepJobFlowAliveWhenNoSteps": true,
          "InstanceFleets": [
            {
              "Name": "MyMasterFleet",
              "InstanceFleetType": "MASTER",
              "TargetOnDemandCapacity": 1,
              "InstanceTypeConfigs": [
                {
                  "InstanceType": "m5.xlarge"
                }
              ]
            },
            {
              "Name": "MyCoreFleet",
              "InstanceFleetType": "CORE",
              "TargetOnDemandCapacity": 1,
              "InstanceTypeConfigs": [
                {
                  "InstanceType": "m5.xlarge"
                }
              ]
            }
          ]
        }
      },
      "ResultPath": "$.cluster",
      "Next": "Run first step"
    },
    "Run first step": {
      "Type": "Task",
      "Resource": "arn:<PARTITION>:states:::elasticmapreduce:addStep.sync",
      "Parameters": {
        "ClusterId.$": "$.cluster.ClusterId",
        "Step": {
          "Name": "My first EMR step",
          "ActionOnFailure": "CONTINUE",
          "HadoopJarStep": {
            "Jar": "command-runner.jar",
            "Args": ["<COMMAND_ARGUMENTS>"]
          }
        }
      },
      "Retry" : [
        {
          "ErrorEquals": [ "States.ALL" ],
          "IntervalSeconds": 1,
          "MaxAttempts": 3,
          "BackoffRate": 2.0
        }
      ],
      "ResultPath": "$.firstStep",
      "Next": "Run second step"
    },
    "Run second step": {
      "Type": "Task",
      "Resource": "arn:<PARTITION>:states:::elasticmapreduce:addStep.sync",
      "Parameters": {
        "ClusterId.$": "$.cluster.ClusterId",
        "Step": {
          "Name": "My second EMR step",
          "ActionOnFailure": "CONTINUE",
          "HadoopJarStep": {
            "Jar": "command-runner.jar",
            "Args": ["<COMMAND_ARGUMENTS>"]
          }
        }
      },
      "Retry" : [
        {
          "ErrorEquals": [ "States.ALL" ],
          "IntervalSeconds": 1,
          "MaxAttempts": 3,
          "BackoffRate": 2.0
        }
      ],
      "ResultPath": "$.secondStep",
      "Next": "Terminate Cluster"
    },
    "Terminate Cluster": {
      "Type": "Task",
      "Resource": "arn:<PARTITION>:states:::elasticmapreduce:terminateCluster",
      "Parameters": {
        "ClusterId.$": "$.cluster.ClusterId"
      },
      "End": true
    }
  }
}

IAM例子

此範例 AWS Identity and Access Management (IAM) 範例專案所產生的原則包含執行狀態機器及相關資源所需的最低權限。最佳做法是僅包含IAM原則中必要的權限。


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:RunJobFlow",
                "elasticmapreduce:DescribeCluster",
                "elasticmapreduce:TerminateJobFlows"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": [
                "arn:aws:iam::123456789012:role/StepFunctionsSample-EMRJobManagement-EMRServiceRole-ANPAJ2UCCR6DPCEXAMPLE",
                "arn:aws:iam::123456789012:role/StepFunctionsSample-EMRJobManagementWJALRXUTNFEMI-ANPAJ2UCCR6DPCEXAMPLE-EMREc2InstanceProfile-1ANPAJ2UCCR6DPCEXAMPLE"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "events:PutTargets",
                "events:PutRule",
                "events:DescribeRule"
            ],
            "Resource": [
                "arn:aws:events:sa-east-1:123456789012:rule/StepFunctionsGetEventForEMRRunJobFlowRule"
            ]
        }
    ]
}

下列政策可確保 addStep 具有足夠的許可。


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:AddJobFlowSteps",
                "elasticmapreduce:DescribeStep",
                "elasticmapreduce:CancelSteps"
            ],
            "Resource": "arn:aws:elasticmapreduce:*:*:cluster/*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "events:PutTargets",
                "events:PutRule",
                "events:DescribeRule"
            ],
            "Resource": [
                "arn:aws:events:sa-east-1:123456789012:rule/StepFunctionsGetEventForEMRAddJobFlowStepsRule"
            ]
        }
    ]
}
}

有關如何在使用步驟函數與其他功能IAM時進行配置的資訊 AWS 服務，請參閱Step Functions 式如何為整合式服務產生IAM原則。

您的瀏覽器已停用或無法使用 Javascript。

您必須啟用 Javascript，才能使用 AWS 文件。請參閱您的瀏覽器說明頁以取得說明。

文件慣用形式

回呼模式範例

運行一個 EMR Serverless job

管理 Amazon EMR 任務

重要

步驟 1：建立狀態機

注意

步驟 2：運行狀態機

非ASCII名稱和記錄

範例狀態機器程式碼

IAM例子