Contoh perpustakaan paralelisme SageMaker model Amazon v1

Halaman ini menyediakan daftar blog dan buku catatan Jupyter yang menyajikan contoh praktis penerapan pustaka SageMaker model paralelisme (SMP) v1 untuk menjalankan pekerjaan pelatihan terdistribusi. SageMaker

Blog dan Studi Kasus

Blog berikut membahas studi kasus tentang penggunaan SMP v1.

• Peningkatan kinerja baru di perpustakaan paralelisme SageMaker model Amazon, Blog AWS Machine Learning (16 Desember 2022)

• Latih model raksasa dengan penskalaan hampir linier menggunakan paralelisme data sharded di Amazon SageMaker, AWS Machine Learning Blog (31 Oktober 2022)

Notebook contoh

Contoh notebook disediakan dalam SageMaker contoh GitHub repositori. Untuk mengunduh contoh, jalankan perintah berikut untuk mengkloning repositori dan pergi ke. training/distributed_training/pytorch/model_parallel

catatan

Kloning dan jalankan contoh notebook di ID ID berikut SageMaker .

• SageMaker JupyterLab(tersedia di Studio yang dibuat setelah Desember 2023)

• SageMaker Editor Kode (tersedia di Studio yang dibuat setelah Desember 2023)

• Studio Classic (tersedia sebagai aplikasi di Studio yang dibuat setelah Desember 2023)

• SageMaker Instans Notebook

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel

Notebook contoh SMP v1 untuk PyTorch

• Latih GPT-2 dengan penskalaan linier dekat menggunakan teknik paralelisme data sharded di perpustakaan paralelisme model SageMaker

• Sempurnakan GPT-2 dengan penskalaan hampir linier menggunakan teknik paralelisme data sharded di perpustakaan paralelisme model SageMaker

• Latih GPT-Neox-20b dengan penskalaan linier dekat menggunakan teknik paralelisme data sharded di perpustakaan paralelisme model SageMaker

• Latih GPT-J 6B menggunakan paralelisme data sharded dan teknik paralelisme tensor di perpustakaan paralelisme model SageMaker

• Latih FLAN-T5 dengan penskalaan linier dekat menggunakan teknik paralelisme data sharded di perpustakaan paralelisme model SageMaker

• Latih Falcon dengan penskalaan hampir linier menggunakan teknik paralelisme data sharded di perpustakaan paralelisme model SageMaker

Notebook contoh SMP v1 untuk TensorFlow

• CNN dengan TensorFlow 2.3.1 dan perpustakaan paralelisme SageMaker model

• HuggingFace dengan Perpustakaan paralelisme model TensorFlow terdistribusi Pelatihan tentang SageMaker