Jalankan AWS Batch Pekerjaan dengan Lambda

Proyek sampel ini menunjukkan cara menggunakan Step Functions untuk melakukan pra-proses data dengan AWS Lambda fungsi dan kemudian mengatur AWS Batch pekerjaan.

Dalam proyek ini, Step Functions menggunakan mesin status untuk memanggil fungsi Lambda untuk melakukan pra-pemrosesan sederhana sebelum AWS Batch pekerjaan diajukan. Beberapa pekerjaan dapat dipanggil tergantung pada hasil atau keberhasilan yang sebelumnya.

Langkah 1: Buat mesin negara

1. Buka Konsol Step Functions dan pilih Buat mesin status.

2. Ketik Batch job with Lambda di kotak pencarian, lalu pilih Pekerjaan batch dengan Lambdadari hasil pencarian yang dikembalikan.

3. Pilih Next untuk melanjutkan.

4. Pilih Jalankan demo untuk membuat read-only dan ready-to-deploy alur kerja, atau pilih Bangun di atasnya untuk membuat definisi mesin status yang dapat diedit yang dapat Anda buat dan kemudian terapkan.

   Proyek contoh ini menyebarkan sumber daya berikut:

   • A Lambda Fungsi

   • Sesi AWS Batch pekerjaan

   • Sesi AWS Step Functions mesin status

   • Terkait AWS Identity and Access Management (IAM) peran

   Gambar berikut menunjukkan grafik alur kerja untuk pekerjaan Batch dengan Lambdaproyek sampel:

   

5. Pilih Gunakan templat untuk melanjutkan pilihan Anda.

Langkah selanjutnya tergantung pada pilihan Anda sebelumnya:

1. Jalankan demo - Anda dapat meninjau mesin status sebelum membuat proyek hanya-baca dengan sumber daya yang digunakan oleh AWS CloudFormation untuk Anda Akun AWS.

   Anda dapat melihat definisi mesin status, dan ketika Anda siap, pilih Deploy dan jalankan untuk menyebarkan proyek dan membuat sumber daya.

   Penyebaran dapat memakan waktu hingga 10 menit untuk membuat sumber daya dan izin. Anda dapat menggunakan tautan Stack ID untuk memantau kemajuan di AWS CloudFormation.

   Setelah penerapan selesai, Anda akan melihat mesin status baru Anda di konsol.

2. Bangun di atasnya - Anda dapat meninjau dan mengedit definisi alur kerja. Anda mungkin perlu menetapkan nilai untuk placeholder dalam proyek sampel sebelum mencoba untuk menjalankan alur kerja kustom Anda.

catatan

Biaya standar mungkin berlaku untuk layanan yang diterapkan ke akun Anda.

Langkah 2: Jalankan mesin negara

1. Pada halaman mesin Negara, pilih proyek sampel Anda.

2. Pada halaman proyek sampel, pilih Mulai eksekusi.

3. Dalam kotak dialog Mulai eksekusi, lakukan hal berikut:

   1. (Opsional) Masukkan nama eksekusi khusus untuk mengganti default yang dihasilkan.

      Bukan ASCII nama dan logging

      Step Functions menerima nama untuk mesin negara, eksekusi, aktivitas, dan label yang berisi ASCII non-karakter. Karena karakter seperti itu tidak akan berfungsi dengan Amazon CloudWatch, kami sarankan hanya menggunakan ASCII karakter sehingga Anda dapat melacak metrik. CloudWatch

   2. (Opsional) Dalam Input kotak, masukkan nilai masukan sebagaiJSON. Anda dapat melewati langkah ini jika Anda menjalankan demo.

   3. Pilih Mulai Eksekusi.

   Konsol Step Functions akan mengarahkan Anda ke halaman Rincian Eksekusi tempat Anda dapat memilih status dalam tampilan Grafik untuk menjelajahi informasi terkait di Detail langkah panel.

Contoh Kode Mesin Status

Mesin status dalam proyek sampel ini terintegrasi dengan AWS Batch dan Amazon SNS dengan meneruskan parameter langsung ke sumber daya tersebut.

Jelajahi contoh mesin status ini untuk melihat bagaimana Step Functions mengontrol AWS Batch dan Amazon SNS dengan menghubungkan ke Amazon Resource Name (ARN) di Resource lapangan, dan dengan meneruskan Parameters ke layananAPI.

Untuk informasi lebih lanjut tentang caranya AWS Step Functions dapat mengontrol lainnya AWS layanan, lihatMengintegrasikan layanan dengan Step Functions.

{
  "Comment": "An example of the Amazon States Language for using batch job with pre-processing lambda",
  "StartAt": "Generate batch job input",
  "TimeoutSeconds": 3600,
  "States": {
    "Generate batch job input": {
      "Type": "Task",
      "Resource": "arn:aws:states:::lambda:invoke",
      "OutputPath": "$.batch_input",
      "Parameters": {
        "FunctionName": "<GENERATE_BATCH_JOB_INPUT_LAMBDA_FUNCTION_NAME>"
      },
      "Next": "Submit Batch Job"
    },
    "Submit Batch Job": {
      "Type": "Task",
      "Resource": "arn:aws:states:::batch:submitJob.sync",
      "Parameters": {
        "JobName": "BatchJobFanOut",
        "JobQueue": "<BATCH_QUEUE_ARN>",
        "JobDefinition": "<BATCH_JOB_DEFINITION_ARN>",
        "Parameters.$": "$.batch_input"
      },
      "End": true
    }
  }
}

IAMContoh

Contoh ini AWS Identity and Access Management (IAM) kebijakan yang dihasilkan oleh proyek sampel mencakup hak istimewa paling sedikit yang diperlukan untuk mengeksekusi mesin negara dan sumber daya terkait. Kami menyarankan Anda hanya menyertakan izin yang diperlukan dalam IAM kebijakan Anda.

contoh BatchJobWithLambdaAccessPolicy

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "sns:Publish"
            ],
            "Resource": [
                "arn:aws:sns:us-west-2:123456789012:ManageBatchJob-SNSTopic-JHLYYG7AZPZI"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "batch:SubmitJob",
                "batch:DescribeJobs",
                "batch:TerminateJob"
            ],
            "Resource": "*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "events:PutTargets",
                "events:PutRule",
                "events:DescribeRule"
            ],
            "Resource": [
                "arn:aws:events:us-west-2:123456789012:rule/StepFunctionsGetEventsForBatchJobsRule"
            ],
            "Effect": "Allow"
        }
    ]
}

contoh InvokeGenerateBatchJobMapLambdaPolicy

{
    "Statement": [
        {
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": "arn:aws:lambda:us-west-2:123456789012:function:StepFunctionsSample-BatchWithL-GenerateBatchJobMap-444455556666",
            "Effect": "Allow"
        }
    ]
}

Untuk informasi tentang cara mengkonfigurasi IAM saat menggunakan Step Functions dengan lainnya AWS layanan, lihatBagaimana Step Functions menghasilkan IAM kebijakan untuk layanan terintegrasi.