Contoh perpustakaan paralelisme data Amazon SageMaker AI

Halaman ini menyediakan buku catatan Jupyter yang menyajikan contoh penerapan perpustakaan SageMaker AI distributed data parallelism (SMDDP) untuk menjalankan pekerjaan pelatihan terdistribusi tentang AI. SageMaker

Blog dan Studi Kasus

Blog-blog berikut membahas studi kasus tentang penggunaan perpustakaan SMDDP.

SMDDP v2 blog

• Aktifkan pelatihan lebih cepat dengan library paralel data Amazon SageMaker AI, AWS Machine Learning Blog (05 Desember 2023)

SMDDP v1 blog

• Bagaimana saya melatih 10TB untuk Difusi Stabil pada SageMaker AI dalam Medium (29 November 2022)

• Jalankan PyTorch Lightning dan PyTorch DDP asli di Amazon SageMaker Training, menampilkan Amazon Search, AWS Machine Learning Blog (18 Agustus 2022)

• Pelatihan YOLOv5 AWS dengan PyTorch dan perpustakaan paralel data terdistribusi SageMaker AI, Medium (6 Mei 2022)

• Percepat pelatihan EfficientNet model SageMaker AI dengan PyTorch dan perpustakaan paralel data terdistribusi SageMaker AI, Medium (21 Maret 2022)

• Percepat EfficientNet pelatihan AWS dengan perpustakaan paralel data terdistribusi SageMaker AI, Menuju Ilmu Data (12 Januari 2022)

• Hyundai mengurangi waktu pelatihan model ML untuk model mengemudi otonom menggunakan Amazon SageMaker AI, AWS Machine Learning Blog (25 Juni 2021)

• Pelatihan Terdistribusi: Latih BART/T5 untuk Ringkasan menggunakan Transformers dan Amazon AI, situs web SageMaker Hugging Face (8 April 2021)

Notebook contoh

Contoh notebook disediakan di GitHub repositori contoh SageMaker AI. Untuk mengunduh contoh, jalankan perintah berikut untuk mengkloning repositori dan pergi ke. training/distributed_training/pytorch/data_parallel

catatan

Kloning dan jalankan contoh notebook di SageMaker AI ML berikut. IDEs

• SageMaker AI JupyterLab (tersedia di Studio yang dibuat setelah Desember 2023)

• SageMaker Editor Kode AI (tersedia di Studio yang dibuat setelah Desember 2023)

• Studio Classic (tersedia sebagai aplikasi di Studio yang dibuat setelah Desember 2023)

• SageMaker Instans Notebook

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel

Contoh SMDDP v2

• Latih Llama 2 menggunakan SageMaker AI distributed data parallel library (SMDDP) dan DeepSpeed

• Latih Falcon menggunakan SageMaker AI distributed data parallel library (SMDDP) dan PyTorch Fully Sharded Data Parallelism (FSDP)

Contoh SMDDP v1

• CNN dengan PyTorch dan perpustakaan SageMaker paralelisme data AI

• BERT dengan PyTorch dan perpustakaan paralelisme data SageMaker AI

• CNN dengan TensorFlow 2.3.1 dan perpustakaan SageMaker paralelisme data AI

• BERT dengan TensorFlow 2.3.1 dan perpustakaan paralelisme data SageMaker AI

• HuggingFace Pelatihan Paralel Data Terdistribusi PyTorch di SageMaker AI - Menjawab Pertanyaan Terdistribusi

• HuggingFace Pelatihan Paralel Data Terdistribusi PyTorch di SageMaker AI - Ringkasan Teks Terdistribusi

• HuggingFace Pelatihan Paralel Data Terdistribusi TensorFlow di SageMaker AI