Ausführen AWS Batch Workloads mit Step Functions

Sie können Step Functions integrieren mit AWS Batch zur Ausführung von Batch-Computing-Workloads im AWS Wolke. Diese Seite listet die unterstützten AWS Batch APIsund bietet einen Task Beispielstatus für die Ausführung einer Batch-Verarbeitungsaufgabe.

Um mehr über die Integration mit zu erfahren AWS Dienste in Step Functions, siehe Integrieren von -Services undÜbergeben von Parametern an einen Dienst API in Step Functions.

Hauptmerkmale von Optimized AWS Batch Integration

• Das Ausführen einer Aufgabe (.sync) Integrationsmuster ist verfügbar.

Beachten Sie, dass es keine Optimierungen für die Request Response (Antwort anfordern) Warten Sie auf einen Rückruf mit Task Token Integrationsmuster gibt.

Im Folgenden wird ein Task Bundesstaat aufgeführt, der eine AWS Batch Job und wartet darauf, dass er abgeschlossen ist.

{
  "StartAt": "BATCH_JOB",
  "States": {
    "BATCH_JOB": {
      "Type": "Task",
      "Resource": "arn:aws:states:::batch:submitJob.sync",
      "Parameters": {
        "JobDefinition": "preprocessing",
        "JobName": "PreprocessingBatchJob",
        "JobQueue": "SecondaryQueue",
        "Parameters.$": "$.batchjob.parameters",
        "ContainerOverrides": {
          "ResourceRequirements": [
            {
              "Type": "VCPU",
              "Value": "4"
            }
          ]
        }
      },
      "End": true
    }
  }
}

Unterstützt AWS Batch APIs:

• SubmitJob

  • Erforderliche Syntax

  • Unterstützte Parameter:

    • ArrayProperties

    • ContainerOverrides

    • DependsOn

    • JobDefinition

    • JobName

    • JobQueue

    • Parameters

    • RetryStrategy

    • Timeout

    • Tags

  • Antwortsyntax

Parameter in Step Functions werden ausgedrückt in PascalCase

Auch wenn der native Dienst API aktiviert istcamelCase, z. B. die API AktionstartSyncExecution, geben Sie Parameter in an PascalCase, z. B.:StateMachineArn.

IAMRichtlinien für das Aufrufen AWS Batch

Die folgenden Beispielvorlagen zeigen, wie AWS Step Functions generiert IAM Richtlinien auf der Grundlage der Ressourcen in Ihrer State-Machine-Definition. Weitere Informationen erhalten Sie unter So generiert Step Functions IAM Richtlinien für integrierte Dienste und Entdecken Sie Serviceintegrationsmuster in Step Functions.

Weil AWS Batch bietet teilweise Unterstützung für die Zugriffskontrolle auf Ressourcenebene, die Sie verwenden müssen. "Resource": "*"

Run a Job (.sync)

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "batch:SubmitJob",
                "batch:DescribeJobs",
                "batch:TerminateJob"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "events:PutTargets",
                "events:PutRule",
                "events:DescribeRule"
            ],
            "Resource": [
               "arn:aws:events:[[region]]:[[accountId]]:rule/StepFunctionsGetEventsForBatchJobsRule"
            ]
        }
    ]
}
        

Request Response

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "batch:SubmitJob"
            ],
            "Resource": "*"
        }
    ]
}