Langkah 6. Perluas pipa

Panduan ini menjelaskan bagaimana Anda dapat mulai membangun jaringan pipa ML AWS dengan cepat, dengan arsitektur beton. Ada pertimbangan tambahan untuk pematangan pipa, seperti manajemen metadata, pelacakan eksperimen, dan pemantauan. Ini adalah topik penting yang berada di luar cakupan panduan ini. Bagian berikut membahas aspek lain dari manajemen pipa, yaitu otomatisasi pipa.

Tingkat otomatisasi yang berbeda

Meskipun Anda dapat menyiapkan pipeline pelatihan secara manual di konsol SageMaker AI, dalam praktiknya, kami menyarankan untuk meminimalkan titik kontak manual dalam penerapan pipeline pelatihan ML untuk memastikan bahwa model ML diterapkan secara konsisten dan berulang kali. Bergantung pada kebutuhan Anda dan masalah bisnis yang Anda hadapi, Anda dapat menentukan dan menerapkan strategi penerapan pada tiga tingkatan: semi-otomatis, sepenuhnya otomatis, dan dikelola sepenuhnya.

• Semi-otomatis — Secara default, langkah-langkah yang dibahas di bagian sebelumnya mengikuti pendekatan semi-otomatis, karena mereka menerapkan jalur pelatihan dan inferensi dengan menggunakan templat. AWS CloudFormation Ini membantu memastikan reproduktifitas pipa dan membantu Anda mengubah dan memperbaruinya dengan mudah.

• Sepenuhnya otomatis — Opsi yang lebih canggih adalah menggunakan integrasi berkelanjutan dan penerapan berkelanjutan (CI/CD) to the development, staging, and production environments. Incorporating CI/CDpraktik untuk penyebaran pipa pelatihan dapat memastikan bahwa otomatisasi mencakup keterlacakan serta gerbang kualitas.

• Dikelola sepenuhnya — Pada akhirnya, Anda dapat mengembangkan sistem yang dikelola sepenuhnya sehingga Anda dapat menerapkan pipeline pelatihan ML dengan serangkaian manifes sederhana, dan sistem dapat mengkonfigurasi sendiri dan mengoordinasikan layanan yang diperlukan AWS .

Dalam panduan ini, kami memilih untuk menyajikan arsitektur beton. Namun, ada teknologi alternatif yang dapat Anda pertimbangkan. Dua bagian berikutnya membahas beberapa pilihan alternatif untuk platform dan mesin orkestrasi.

Platform yang berbeda untuk beban kerja ML

Amazon SageMaker AI adalah layanan AWS terkelola untuk pelatihan dan penyajian model ML. Banyak pengguna menghargai beragam fitur bawaannya dan banyak opsi yang ditawarkannya untuk menjalankan beban kerja ML. SageMaker AI sangat berguna jika Anda baru memulai mengimplementasikan ML di cloud. Fitur utama SageMaker AI meliputi:

• Keterlacakan bawaan (termasuk pelabelan, pelatihan, pelacakan model, pengoptimalan, dan inferensi).

• Opsi satu-klik bawaan untuk pelatihan dan inferensi dengan pengalaman Python dan HTML minimal.

• Penyetelan hyperparameter tingkat lanjut.

• Support untuk semua kerangka kerja kecerdasan buatan dan pembelajaran mesin (ML/AI) utama dan wadah Docker khusus.

• Kemampuan pemantauan bawaan.

• Pelacakan riwayat bawaan, termasuk pekerjaan pelatihan, pekerjaan pemrosesan, pekerjaan transformasi batch, model, titik akhir, dan kemampuan pencarian. Beberapa sejarah, seperti pelatihan, pemrosesan, dan transformasi batch, tidak dapat diubah dan hanya ditambahkan.

Salah satu alternatif untuk menggunakan SageMaker AI adalah AWS Batch. AWS Batch memberikan tingkat kontrol yang lebih rendah atas komputasi dan orkestrasi untuk lingkungan Anda, tetapi tidak dibuat khusus untuk pembelajaran mesin. Beberapa fitur utamanya meliputi:

• Out-of-the-box penskalaan otomatis sumber daya komputasi berdasarkan beban kerja.

• Out-of-the-box dukungan untuk prioritas pekerjaan, percobaan ulang, dan ketergantungan pekerjaan.

• Pendekatan berbasis antrian yang mendukung pembangunan pekerjaan berulang dan sesuai permintaan.

• Support untuk beban kerja CPU dan GPU. Kemampuan untuk menggunakan GPU untuk membangun model ML sangat penting, karena GPU dapat mempercepat proses pelatihan secara signifikan, terutama untuk model pembelajaran mendalam.

• Kemampuan untuk menentukan Amazon Machine Image (AMI) khusus untuk lingkungan komputasi.

Mesin yang berbeda untuk orkestrasi pipa

Komponen utama kedua adalah lapisan orkestrasi pipa. AWS menyediakan Step Functions untuk pengalaman orkestrasi yang dikelola sepenuhnya. Alternatif populer untuk Step Functions adalah Apache Airflow. Saat membuat keputusan di antara keduanya, pertimbangkan hal berikut:

• Infrastruktur yang diperlukan - AWS Step Functions adalah layanan yang dikelola sepenuhnya dan tanpa server, sedangkan Airflow memerlukan pengelolaan infrastruktur Anda sendiri dan didasarkan pada perangkat lunak sumber terbuka. Akibatnya, Step Functions menyediakan ketersediaan tinggi di luar kotak, sedangkan administrasi Apache Airflow memerlukan langkah-langkah tambahan.

• Kemampuan penjadwalan - Kedua Step Functions dan Airflow menyediakan fungsionalitas yang sebanding.

• Kemampuan visualisasi dan UI - Kedua Step Functions dan Airflow menyediakan fungsionalitas yang sebanding.

• Melewati variabel dalam grafik komputasi — Step Functions menyediakan fungsionalitas terbatas untuk menggunakan AWS Lambda fungsi, sedangkan Airflow menyediakan antarmuka. XCom

• Penggunaan - Step Functions sangat populer di kalangan AWS pelanggan, dan Airflow telah diadopsi secara luas oleh komunitas rekayasa data.