步驟 1：建立狀態機並佈建資源步驟 2：運行狀態機範例狀態機器程式碼 IAM 範例

管理 Amazon EMR Job

這個範例專案示範了 Amazon EMR 和 AWS Step Functions 整合。

它說明如何建立 Amazon EMR 叢集、新增多個步驟並執行它們，然後終止叢集。

重要

Amazon EMR 沒有免費定價方案。執行範例專案將產生費用。您可以在 Amazon EMR 定價頁面上找到定價資訊。Amazon EMR 服務整合的可用性取決於 Amazon EMR API 的可用性。因此，此範例專案在某些 AWS 區域中可能無法正常運作。如需特殊區域的限制，請參閱 Amazon EMR 文件。

步驟 1：建立狀態機並佈建資源

開啟 Step Functions 主控台，然後選擇建立狀態機器。
Manage an EMR job在搜尋方塊中輸入，然後從傳回的搜尋結果中選擇 [管理 EMR 工作]。
選擇 Next (下一步) 繼續。
Step Functions 會列出您選取的範例專案中 AWS 服務使用的項目。它也會顯示範例專案的工作流程圖表。將此項目部署到您的項目中， AWS 帳戶或將其用作構建自己的項目的起點。根據您想要的進行方式，選擇 [執行示範] 或 [在其上建置]。

此範例專案會部署下列資源：
- Amazon S3 儲存貯體
- Amazon EMR叢集
- 一个 AWS Step Functions 状态机
- 相關的 AWS Identity and Access Management (IAM) 角色
下圖顯示「管理 EMR」工作範例專案的工作流程圖形：
選擇「使用範本」繼續進行選取。
執行以下任意一項：
- 如果您選取「在其上建置」，「Step Functions」會為您選取的範例專案建立工作流程原型。Step Functions 不會部署工作流程定義中列出的資源。
  
  在工作流程 Studio 中設計模式，從拖放狀態狀態瀏覽器以繼續建立您的工作流程原型。或者切換到程式碼模式提供類似 VS 代碼的集成代碼編輯器，用於在 Step Functions 控制台中更新狀態機器的Amazon States Language（ASL）定義。如需有關使用工作流程 Studio 建置狀態機器的詳細資訊，請參閱使用工作流程。
  
  重要
  請記得在執行工作流程之前，更新範例專案中使用之資源的預留位置 Amazon 資源名稱 (ARN)。
- 如果您選取 [執行示範]，Step Functions 會建立唯讀範例專案，該專案使用 AWS CloudFormation 範本將該範本中列出的 AWS 資源部署到您的 AWS 帳戶.
  
  提示
  若要檢視範例專案的狀態機定義，請選擇 [程式碼]。
  
  準備就緒後，請選擇 [部署並執行] 以部署範例專案並建立資源。
  
  建立這些資源和相關 IAM 許可最多可能需要 10 分鐘的時間。部署資源時，您可以開啟 CloudFormation Stack ID 連結以查看正在佈建的資源。
  
  建立範例專案中的所有資源之後，您可以在 [狀態機器] 頁面上看到列出的新範例專案。
  
  重要
  CloudFormation 範本中使用的每項服務可能會收取標準費用。

步驟 2：運行狀態機

在 [狀態電腦] 頁面上，選擇您的範例專案。
在範例專案頁面上，選擇 [開始執行]。
在 [開始執行] 對話方塊中，執行下列動作：
1. (選擇性) 若要識別您的執行項目，您可以在「名稱」(Name) 方塊中指定執行項目的名稱。默認情況下，Step Functions 自動生成一個唯一的執行名稱。
  
  注意
  Step Functions 可讓您建立狀態機器、執行項目和活動的名稱，以及包含非 ASCII 字元的標籤。這些非 ASCII 名稱不適用於 Amazon CloudWatch。若要確保您可以追蹤 CloudWatch 量度，請選擇僅使用 ASCII 字元的名稱。
2. (選擇性) 在「輸入」方塊中，以 JSON 格式輸入輸入值以執行工作流程。
  
  如果您選擇執行示範，則不需要提供任何執行輸入。
  
  注意
  如果您部署的示範專案包含預先填入的執行輸入資料，請使用該輸入來執行狀態機器。
3. 選擇 Start execution (開始執行)。
4. Step Functions 主控台會將您導向至標題為執行 ID 的頁面。此頁面稱為「執行詳細資訊」頁面。在此頁面上，您可以在執行進行時或完成之後複查執行結果。
  
  若要複查執行結果，請在「圖形」檢視中選擇個別狀態，然後選擇步驟詳情窗格上的個別索引標籤，分別檢視每個狀態的詳細資訊，包括輸入、輸出和定義。如需有關可在「執行詳細資訊」頁面檢視之執行資訊的詳細資訊，請參閱執行詳細資訊頁面 — 介面概觀。

範例狀態機器程式碼

此範例專案中的狀態機器會直接將參數傳遞至這些資源，與 Amazon EMR 整合。瀏覽此範例狀態機器，瞭解 Step Functions 如何使用狀態機器同步呼叫 Amazon EMR 任務、等待任務成功或失敗，以及終止叢集。

如需如何 AWS Step Functions 控制其他 AWS 服務的詳細資訊，請參閱AWS Step Functions 搭配其他服務使用。


{
  "Comment": "An example of the Amazon States Language for running jobs on Amazon EMR",
  "StartAt": "Create an EMR cluster",
  "States": {
    "Create an EMR cluster": {
      "Type": "Task",
      "Resource": "arn:<PARTITION>:states:::elasticmapreduce:createCluster.sync",
      "Parameters": {
        "Name": "ExampleCluster",
        "VisibleToAllUsers": true,
        "ReleaseLabel": "emr-5.26.0",
        "Applications": [
          { "Name": "Hive" }
        ],
        "ServiceRole": "<EMR_SERVICE_ROLE>",
        "JobFlowRole": "<EMR_EC2_INSTANCE_PROFILE>",
        "LogUri": "s3://<EMR_LOG_S3_BUCKET>/logs/",
        "Instances": {
          "KeepJobFlowAliveWhenNoSteps": true,
          "InstanceFleets": [
            {
              "Name": "MyMasterFleet",
              "InstanceFleetType": "MASTER",
              "TargetOnDemandCapacity": 1,
              "InstanceTypeConfigs": [
                {
                  "InstanceType": "m5.xlarge"
                }
              ]
            },
            {
              "Name": "MyCoreFleet",
              "InstanceFleetType": "CORE",
              "TargetOnDemandCapacity": 1,
              "InstanceTypeConfigs": [
                {
                  "InstanceType": "m5.xlarge"
                }
              ]
            }
          ]
        }
      },
      "ResultPath": "$.cluster",
      "Next": "Run first step"
    },
    "Run first step": {
      "Type": "Task",
      "Resource": "arn:<PARTITION>:states:::elasticmapreduce:addStep.sync",
      "Parameters": {
        "ClusterId.$": "$.cluster.ClusterId",
        "Step": {
          "Name": "My first EMR step",
          "ActionOnFailure": "CONTINUE",
          "HadoopJarStep": {
            "Jar": "command-runner.jar",
            "Args": ["<COMMAND_ARGUMENTS>"]
          }
        }
      },
      "Retry" : [
        {
          "ErrorEquals": [ "States.ALL" ],
          "IntervalSeconds": 1,
          "MaxAttempts": 3,
          "BackoffRate": 2.0
        }
      ],
      "ResultPath": "$.firstStep",
      "Next": "Run second step"
    },
    "Run second step": {
      "Type": "Task",
      "Resource": "arn:<PARTITION>:states:::elasticmapreduce:addStep.sync",
      "Parameters": {
        "ClusterId.$": "$.cluster.ClusterId",
        "Step": {
          "Name": "My second EMR step",
          "ActionOnFailure": "CONTINUE",
          "HadoopJarStep": {
            "Jar": "command-runner.jar",
            "Args": ["<COMMAND_ARGUMENTS>"]
          }
        }
      },
      "Retry" : [
        {
          "ErrorEquals": [ "States.ALL" ],
          "IntervalSeconds": 1,
          "MaxAttempts": 3,
          "BackoffRate": 2.0
        }
      ],
      "ResultPath": "$.secondStep",
      "Next": "Terminate Cluster"
    },
    "Terminate Cluster": {
      "Type": "Task",
      "Resource": "arn:<PARTITION>:states:::elasticmapreduce:terminateCluster",
      "Parameters": {
        "ClusterId.$": "$.cluster.ClusterId"
      },
      "End": true
    }
  }
}

IAM 範例

範例專案產生的此範例 AWS Identity and Access Management (IAM) 政策包含執行狀態機器及相關資源所需的最低權限。最佳做法是僅包含 IAM 政策中必要的許可。


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:RunJobFlow",
                "elasticmapreduce:DescribeCluster",
                "elasticmapreduce:TerminateJobFlows"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": [
                "arn:aws:iam::123456789012:role/StepFunctionsSample-EMRJobManagement-EMRServiceRole-ANPAJ2UCCR6DPCEXAMPLE",
                "arn:aws:iam::123456789012:role/StepFunctionsSample-EMRJobManagementWJALRXUTNFEMI-ANPAJ2UCCR6DPCEXAMPLE-EMREc2InstanceProfile-1ANPAJ2UCCR6DPCEXAMPLE"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "events:PutTargets",
                "events:PutRule",
                "events:DescribeRule"
            ],
            "Resource": [
                "arn:aws:events:sa-east-1:123456789012:rule/StepFunctionsGetEventForEMRRunJobFlowRule"
            ]
        }
    ]
}

下列政策可確保 addStep 具有足夠的許可。


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:AddJobFlowSteps",
                "elasticmapreduce:DescribeStep",
                "elasticmapreduce:CancelSteps"
            ],
            "Resource": "arn:aws:elasticmapreduce:*:*:cluster/*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "events:PutTargets",
                "events:PutRule",
                "events:DescribeRule"
            ],
            "Resource": [
                "arn:aws:events:sa-east-1:123456789012:rule/StepFunctionsGetEventForEMRAddJobFlowStepsRule"
            ]
        }
    ]
}
}

如需將 Step Functions 與其他 AWS 服務搭配使用時如何設定 IAM 的詳細資訊，請參閱整合式服務的 IAM 政策。

您的瀏覽器已停用或無法使用 Javascript。

您必須啟用 Javascript，才能使用 AWS 文件。請參閱您的瀏覽器說明頁以取得說明。

文件慣用形式

回呼模式範例 (Amazon SQS、Amazon SNS、Lambda)

執行EMR Serverless工作

管理 Amazon EMR Job

重要

步驟 1：建立狀態機並佈建資源

重要

提示

重要

步驟 2：運行狀態機

注意

注意

範例狀態機器程式碼

IAM 範例