AWS Batch dukungan untuk pekerjaan pelatihan SageMaker AI

Antrian AWS Batch pekerjaan menyimpan dan memprioritaskan pekerjaan yang dikirimkan sebelum dijalankan pada sumber daya komputasi. Anda dapat mengirimkan pekerjaan pelatihan SageMaker AI ke antrian pekerjaan untuk memanfaatkan penjadwalan pekerjaan tanpa server dan alat prioritas yang disediakan oleh. AWS Batch

Cara kerjanya

Langkah-langkah berikut menjelaskan alur kerja tentang cara menggunakan antrian AWS Batch pekerjaan dengan pekerjaan pelatihan SageMaker AI. Untuk tutorial lebih rinci dan contoh buku catatan, lihat Memulai bagian.

• Siapkan AWS Batch dan izin apa pun yang diperlukan. Untuk informasi selengkapnya, silakan lihat Pengaturan AWS Batch dalam AWS Batch Panduan Pengguna.

• Buat AWS Batch sumber daya berikut di konsol atau gunakan AWS CLI:

  • Lingkungan layanan - Berisi parameter konfigurasi untuk diintegrasikan dengan SageMaker AI.

  • SageMaker Antrian pekerjaan pelatihan AI - Terintegrasi dengan SageMaker AI untuk mengirimkan pekerjaan pelatihan.

• Konfigurasikan detail Anda dan minta pekerjaan pelatihan SageMaker AI, seperti gambar wadah pelatihan Anda. Untuk mengirimkan pekerjaan pelatihan ke AWS Batch antrian, Anda dapat menggunakan, SDK AWS CLI AWS SDK untuk Python (Boto3), atau SageMaker AI Python.

• Kirimkan tugas ke antrean tugas . Anda dapat menggunakan opsi berikut untuk mengirimkan pekerjaan:

  • Gunakan API

  • Gunakan aws_batchmodul dari SageMaker AI Python SDK. Setelah membuat TrainingQueue objek dan objek pelatihan model (seperti Estimator atau ModelTrainer), Anda dapat mengirimkan pekerjaan pelatihan ke TrainingQueue menggunakan queue.submit() metode ini.

• Setelah mengirimkan pekerjaan, lihat antrian pekerjaan dan status pekerjaan Anda dengan AWS Batch konsol, AWS Batch DescribeServiceJobAPI, atau AI API. SageMaker DescribeTrainingJob

Biaya dan ketersediaan

Untuk informasi harga terperinci tentang lowongan pelatihan, lihat harga Amazon SageMaker AI. Dengan AWS Batch, Anda hanya membayar untuk AWS sumber daya apa pun yang digunakan, seperti EC2 instans Amazon. Untuk informasi selengkapnya, lihat harga AWS Batch.

Anda dapat menggunakan AWS Batch untuk pekerjaan pelatihan SageMaker AI di Wilayah AWS mana pun pekerjaan pelatihan tersedia. Untuk informasi selengkapnya, lihat titik akhir dan kuota Amazon EC2 SageMaker di .

Untuk memastikan Anda memiliki kapasitas yang dibutuhkan saat membutuhkannya, Anda dapat menggunakan SageMaker AI Flexible Training Plans (FTP). Rencana ini memungkinkan Anda untuk memesan kapasitas untuk pekerjaan pelatihan Anda. Ketika dikombinasikan dengan AWS Batch kemampuan antrian, Anda dapat memaksimalkan pemanfaatan selama durasi paket Anda. Untuk informasi selengkapnya, lihat Reservasi rencana pelatihan untuk pekerjaan atau HyperPod klaster pelatihan Anda.

Memulai

Untuk tutorial tentang cara mengatur antrian AWS Batch pekerjaan dan mengirimkan pekerjaan pelatihan SageMaker AI, lihat Memulai SageMaker AI AWS Batch di Panduan AWS Batch Pengguna.

Untuk notebook Jupyter yang menunjukkan cara menggunakan aws_batch modul di AI SageMaker Python SDK, lihat AWS Batch contoh notebook pekerjaan Pelatihan SageMaker AI di repositori. amazon-sagemaker-examples GitHub