Langkah 4. Buat pipa

Setelah Anda menentukan pipeline secara logis, saatnya membuat infrastruktur untuk mendukung pipeline. Langkah ini membutuhkan kemampuan berikut, minimal:

• Penyimpanan, untuk meng-host dan mengelola input dan output pipeline, termasuk kode, artefak model, dan data yang digunakan dalam pelatihan dan inferensi berjalan.

• Compute (GPU atau CPU), untuk pemodelan dan inferensi serta preprocessing data dan postprocessing.

• Orkestrasi, untuk mengelola sumber daya yang digunakan dan untuk menjadwalkan setiap proses reguler. Misalnya, model mungkin dilatih ulang secara periodik saat data baru tersedia.

• Pencatatan dan peringatan, untuk memantau akurasi model pipa, untuk pemanfaatan sumber daya, dan untuk pemecahan masalah.

Implementasi dengan AWS CloudFormation

Untuk membuat pipeline yang kami gunakan AWS CloudFormation, yang merupakan AWS layanan untuk menyebarkan dan mengelola infrastruktur sebagai kode. AWS CloudFormation Template menyertakan definisi Step Functions yang dibuat pada langkah sebelumnya dengan Step Functions SDK. Langkah ini mencakup pembuatan instance Step Functions yang dikelola AWS, yang disebut mesin status Step Functions. Tidak ada sumber daya untuk pelatihan dan inferensi yang dibuat pada tahap ini, karena pekerjaan pelatihan dan inferensi berjalan sesuai permintaan, hanya ketika dibutuhkan, sebagai pekerjaan SageMaker AI. Langkah ini juga mencakup pembuatan peran AWS Identity and Access Management (IAM) untuk menjalankan Step Functions, menjalankan SageMaker AI, dan membaca dan menulis dari Amazon S3.

Memodifikasi output dari Step Functions SDK

Kami harus membuat beberapa modifikasi kecil pada AWS CloudFormation output dari bagian sebelumnya. Kami menggunakan pencocokan string Python sederhana untuk melakukan hal berikut:

• Kami menambahkan logika untuk membuat Parameters bagian AWS CloudFormation template. Ini karena kita ingin membuat dua peran dan mendefinisikan nama pipeline sebagai parameter bersama dengan lingkungan penerapan. Langkah ini juga mencakup sumber daya dan peran tambahan yang mungkin ingin Anda buat, seperti yang dibahas pada langkah 6.

• Kami memformat ulang tiga bidang untuk memiliki !Sub awalan dan tanda kutip yang diperlukan sehingga dapat diperbarui secara dinamis sebagai bagian dari proses penerapan:

  • StateMachineNameProperti, yang menamai mesin negara.

  • DefinitionStringProperti, yang mendefinisikan mesin negara.

  • RoleArnProperti, yang dikembalikan oleh mesin negara.