Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Fitur Inti dari Perpustakaan Paralelisme SageMaker Model
Pustaka paralelisme model Amazon SageMaker menawarkan strategi distribusi dan teknik penghematan memori, seperti paralelisme data sharded, paralelisme tensor, partisi model berdasarkan lapisan untuk penjadwalan pipa, dan checkpointing. Strategi dan teknik paralelisme model membantu mendistribusikan model besar di beberapa perangkat sambil mengoptimalkan kecepatan pelatihan dan konsumsi memori. Pustaka juga menyediakan fungsi pembantu Python, manajer konteks, dan fungsi pembungkus untuk mengadaptasi skrip pelatihan Anda untuk partisi otomatis atau manual model Anda.
Saat Anda menerapkan paralelisme model ke pekerjaan pelatihan Anda, Anda mempertahankan alur kerja dua langkah yang sama yang ditunjukkan di bagian Jalankan Pekerjaan SageMaker Pelatihan Terdistribusi dengan Paralelisme Model. Untuk mengadaptasi skrip pelatihan Anda, Anda akan menambahkan nol atau beberapa baris kode tambahan ke skrip pelatihan Anda. Untuk meluncurkan tugas pelatihan skrip pelatihan yang disesuaikan, Anda harus mengatur parameter konfigurasi distribusi untuk mengaktifkan fitur hemat memori atau untuk meneruskan nilai untuk tingkat paralelisme.
Untuk memulai dengan contoh, lihat buku catatan Jupyter berikut yang menunjukkan cara menggunakan pustaka paralelisme SageMaker model.
Untuk menyelam jauh ke dalam fitur inti perpustakaan, lihat topik berikut.
catatan
Perpustakaan pelatihan SageMaker terdistribusi tersedia melalui wadah pembelajaran AWS mendalam untuk PyTorch, Hugging Face, dan TensorFlow dalam platform SageMaker Pelatihan. Untuk memanfaatkan fitur perpustakaan pelatihan terdistribusi, kami sarankan Anda menggunakan Python SageMaker . SDK Anda juga dapat mengkonfigurasi secara manual dalam sintaks JSON permintaan jika Anda menggunakan SageMaker APIs melalui SDK untuk Python (Boto3) atau. AWS Command Line Interface Sepanjang dokumentasi, instruksi dan contoh berfokus pada cara menggunakan pustaka pelatihan terdistribusi dengan SageMaker PythonSDK.
penting
Pustaka paralelisme SageMaker model mendukung semua fitur inti untuk PyTorch, dan mendukung paralelisme pipa untuk. TensorFlow
Topik
