AWS Batch Workloads mit Step Functions ausführen

Sie können Step Functions integrieren AWS Batch , um Batch-Computing-Workloads in der AWS Cloud auszuführen. Diese Seite listet die unterstützten Versionen auf AWS Batch APIs und bietet einen Task Beispielstatus für die Ausführung einer Batch-Verarbeitungsaufgabe.

Informationen zur Integration mit AWS Diensten in Step Functions finden Sie unter Integrieren von -Services undÜbergeben von Parametern an eine Service-API in Step Functions.

Hauptmerkmale der optimierten AWS Batch Integration

• Das Ausführen einer Aufgabe (.sync) Integrationsmuster ist verfügbar.

Beachten Sie, dass es keine Optimierungen für die Request Response (Antwort anfordern) Warten Sie auf einen Rückruf mit Task Token Integrationsmuster gibt.

Im Folgenden wird ein Task Status beschrieben, der einen AWS Batch Job weiterleitet und darauf wartet, dass er abgeschlossen ist.

{
  "StartAt": "BATCH_JOB",
  "States": {
    "BATCH_JOB": {
      "Type": "Task",
      "Resource": "arn:aws:states:::batch:submitJob.sync",
      "Parameters": {
        "JobDefinition": "preprocessing",
        "JobName": "PreprocessingBatchJob",
        "JobQueue": "SecondaryQueue",
        "Parameters.$": "$.batchjob.parameters",
        "ContainerOverrides": {
          "ResourceRequirements": [
            {
              "Type": "VCPU",
              "Value": "4"
            }
          ]
        }
      },
      "End": true
    }
  }
}

Optimiert: AWS Batch APIs

• SubmitJob

  • Erforderliche Syntax

  • Unterstützte Parameter:

    • ArrayProperties

    • ContainerOverrides

    • DependsOn

    • JobDefinition

    • JobName

    • JobQueue

    • Parameters

    • RetryStrategy

    • Timeout

    • Tags

  • Antwortsyntax

Parameter in Step Functions werden ausgedrückt in PascalCase

Auch wenn sich die native Service-API in CamelCase befindet, z. B. die API-AktionstartSyncExecution, geben Sie Parameter in an PascalCase, z. B.:. StateMachineArn

IAM-Richtlinien für Anrufe AWS Batch

Die folgenden Beispielvorlagen zeigen, wie IAM-Richtlinien auf der Grundlage der Ressourcen in Ihrer State-Machine-Definition AWS Step Functions generiert werden. Weitere Informationen erhalten Sie unter So generiert Step Functions IAM-Richtlinien für integrierte Dienste und Entdecken Sie Serviceintegrationsmuster in Step Functions.

Da die Zugriffskontrolle auf Ressourcenebene teilweise AWS Batch unterstützt wird, müssen Sie Folgendes verwenden. "Resource": "*"

Run a Job (.sync)

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "batch:SubmitJob",
                "batch:DescribeJobs",
                "batch:TerminateJob"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "events:PutTargets",
                "events:PutRule",
                "events:DescribeRule"
            ],
            "Resource": [
               "arn:aws:events:[[region]]:[[accountId]]:rule/StepFunctionsGetEventsForBatchJobsRule"
            ]
        }
    ]
}
        

Request Response

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "batch:SubmitJob"
            ],
            "Resource": "*"
        }
    ]
}