Beispiel für einen Array-Job-Workflow

Ein üblicher Arbeitsablauf für AWS Batch Kunden besteht darin, einen vorausgesetzten Setup-Job auszuführen, eine Reihe von Befehlen für eine große Anzahl von Eingabeaufgaben auszuführen und dann mit einem Job abzuschließen, der Ergebnisse aggregiert und Zusammenfassungsdaten in Amazon S3, DynamoDB, Amazon Redshift oder Aurora schreibt.

Beispielsweise:

• JobA: Ein standardmäßiger Nicht-Array-Job, der eine schnelle Auflistung und Metadatenvalidierung von Objekten in einem Amazon S3 S3-Bucket durchführt,BucketA. Die SubmitJobJSONSyntax lautet wie folgt.

  {
      "jobName": "JobA",
      "jobQueue": "ProdQueue",
      "jobDefinition": "JobA-list-and-validate:1"
  }

• JobB: Ein Array-Job mit 10.000 Kopien, von dem abhängig istJobA, dass er CPU -intensive Befehle für jedes Objekt ausführt BucketA und Ergebnisse in dieses hochlädt. BucketB Die SubmitJobJSONSyntax lautet wie folgt.

  {
      "jobName": "JobB",
      "jobQueue": "ProdQueue",
      "jobDefinition": "JobB-CPU-Intensive-Processing:1",
      "containerOverrides": {
          "resourceRequirements": [
              {
                  "type": "MEMORY",
                  "value": "4096"
              },
              {
                  "type": "VCPU",
                  "value": "32"
              }
          ]
     }
      "arrayProperties": {
          "size": 10000
      },
      "dependsOn": [
          {
              "jobId": "JobA_job_ID"
    }
      ]
  }

• JobC: Ein weiterer Array-Job JobB mit 10.000 Kopien, von dem ein N_TO_N Abhängigkeitsmodell abhängig ist, das speicherintensive Befehle für jedes Element ausführtBucketB, Metadaten in DynamoDB schreibt und die resultierende Ausgabe dorthin hochlädt. BucketC Die SubmitJobJSONSyntax lautet wie folgt.

  {
      "jobName": "JobC",
      "jobQueue": "ProdQueue",
      "jobDefinition": "JobC-Memory-Intensive-Processing:1",
      "containerOverrides": {
          "resourceRequirements": [
              {
                  "type": "MEMORY",
                  "value": "32768"
              },
              {
                  "type": "VCPU",
                  "value": "1"
              }
          ]
     }
      "arrayProperties": {
          "size": 10000
      },
      "dependsOn": [
          {
              "jobId": "JobB_job_ID",
              "type": "N_TO_N"
          }
      ]
  }

• JobD: Ein Array-Job, der 10 Validierungsschritte ausführt, die jeweils DynamoDB abfragen müssen und mit jedem der oben genannten Amazon S3 S3-Buckets interagieren können. Jeder der Schritte in JobD führt denselben Befehl aus. Das Verhalten ist jedoch je nach Wert der AWS_BATCH_JOB_ARRAY_INDEX Umgebungsvariablen im Container des Jobs unterschiedlich. Diese Überprüfungsschritte werden sequentiell ausgeführt (z. B. JobD:0 und dannJobD:1). Die SubmitJobJSONSyntax lautet wie folgt.

  {
      "jobName": "JobD",
      "jobQueue": "ProdQueue",
      "jobDefinition": "JobD-Sequential-Validation:1",
      "containerOverrides": {
          "resourceRequirements": [
              {
                  "type": "MEMORY",
                  "value": "32768"
              },
              {
                  "type": "VCPU",
                  "value": "1"
              }
          ]
     }
      "arrayProperties": {
          "size": 10
      },
      "dependsOn": [
          {
              "jobId": "JobC_job_ID"
          },
          {
              "type": "SEQUENTIAL"
          },
   
      ]
  }

• JobE: Ein letzter Job, der kein Array ist und einige einfache Bereinigungsvorgänge durchführt und eine SNS Amazon-Benachrichtigung mit einer Meldung sendet, dass die Pipeline abgeschlossen wurde, und einem Link zur Ausgabe. URL Die SubmitJobJSONSyntax lautet wie folgt.

  {
      "jobName": "JobE",
      "jobQueue": "ProdQueue",
      "jobDefinition": "JobE-Cleanup-and-Notification:1",
      "parameters": {
          "SourceBucket": "s3://JobD-Output-Bucket",
          "Recipient": "[e-mail]"
      },
      "dependsOn": [
          {
              "jobId": "JobD_job_ID"
          }
      ]
  }