EKS のAmazon EMR に電話をかけるには AWS Step Functions

Step Functions AWS は特定のサービスを Amazon ステートメント言語 (ASL) から直接制御できます。詳細については、「他の サービスでの使用」および「サービス API にパラメータを渡す」を参照してください。

EKS での最適化された Amazon EMR と EKS SDK の統合での Amazon EMR との相違点 AWS

• ジョブの実行 (.sync) 統合パターンがサポートされています。

• レスポンスのリクエスト 統合パターンの最適化はありません。

• タスクトークンのコールバックまで待機する 統合パターンはサポートされていません。

注記

Amazon EMR との統合のため、Step Functions は最初の 10 分とその後の 300 秒間、ジョブポーリング頻度をハードコーディングして 60 秒に設定しています。

EKS 上の Amazon EMR AWS Step Functions と統合するには、EKS 上の Amazon EMR サービス統合 API を使用してください。サービス統合 API は EKS API の対応する Amazon EMR と同じですが、次の表で示すとおり、すべての API があらゆる統合パターンをサポートしているわけではありません。

API	リクエストレスポンス	ジョブの実行 (.sync)
CreateVirtualCluster	✓
DeleteVirtualCluster	✓	✓
StartJobRun	✓	✓

EKS API 上でサポートされる Amazon EMR は次のとおりです。

注記

Step Functions のタスクには入力データまたは結果データの最大サイズにはクォータがあります。これにより、別のサービスとの間でデータを送受信するときに、UTF-8 でエンコードされた文字列として 256 KB のデータに制限されます。ステートマシンの実行に関連するクォータ を参照してください。

• CreateVirtualCluster

  • リクエストの構文

  • サポートされているパラメータ

  • レスポンスの構文

• DeleteVirtualCluster

  • リクエストの構文

  • サポートされているパラメータ

  • レスポンスの構文

• StartJobRun

  • リクエストの構文

  • サポートされているパラメータ

  • レスポンスの構文

以下には仮想クラスターを作成する Task 状態が含まれています。

"Create_Virtual_Cluster": {
  "Type": "Task",
  "Resource": "arn:aws:states:::emr-containers:createVirtualCluster",
  "Parameters": {
    "Name": "MyVirtualCluster",
    "ContainerProvider": {
      "Id": "EKSClusterName",
      "Type": "EKS",
      "Info": {
        "EksInfo": {
          "Namespace": "Namespace"
        }
      }
    }
  },
  "End": true
}

以下には、 ジョブを仮想クラスターに送信し、完了するまで待機する Task 状態が含まれます。

"Submit_Job": {
    "Type": "Task",
    "Resource": "arn:aws:states:::emr-containers:startJobRun.sync",
    "Parameters": {
      "Name": "MyJobName",
      "VirtualClusterId.$": "$.VirtualClusterId",
      "ExecutionRoleArn": "arn:aws:iam::<accountId>:role/job-execution-role",
      "ReleaseLabel": "emr-6.2.0-latest",
      "JobDriver": {
        "SparkSubmitJobDriver": {
          "EntryPoint": "s3://<mybucket>/jobs/trip-count.py",
          "EntryPointArguments": [
            "60"
          ],
          "SparkSubmitParameters": "--conf spark.driver.cores=2 --conf spark.executor.instances=10 --conf spark.kubernetes.pyspark.pythonVersion=3 --conf spark.executor.memory=10G --conf spark.driver.memory=10G --conf spark.executor.cores=1 --conf spark.dynamicAllocation.enabled=false"
        }
      },
      "ConfigurationOverrides": {
        "ApplicationConfiguration": [
          {
            "Classification": "spark-defaults",
            "Properties": {
              "spark.executor.instances": "2",
              "spark.executor.memory": "2G"
            }
          }
        ],
        "MonitoringConfiguration": {
          "PersistentAppUI": "ENABLED",
          "CloudWatchMonitoringConfiguration": {
            "LogGroupName": "MyLogGroupName",
            "LogStreamNamePrefix": "MyLogStreamNamePrefix"
          },
          "S3MonitoringConfiguration": {
            "LogUri": "s3://<mylogsbucket>"
          }
        }
      },
      "Tags": {
        "taskType": "jobName"
      }
    },
    "End": true
}

以下には、仮想クラスターを削除し、削除が完了するまで待機する Task 状態が含まれます。

"Delete_Virtual_Cluster": {
  "Type": "Task",
  "Resource": "arn:aws:states:::emr-containers:deleteVirtualCluster.sync",
  "Parameters": {
    "Id.$": "$.VirtualClusterId"
  },
  "End": true
}

IAMStep Functions AWS 他のサービスと併用する場合のアクセス権限の設定方法については、を参照してください。統合サービスの IAM ポリシー