SageMaker catatan rilis perpustakaan paralelisme data

Lihat catatan rilis berikut untuk melacak pembaruan terbaru untuk pustaka paralelisme data SageMaker terdistribusi (SMDDP).

Pustaka paralelisme data SageMaker terdistribusi v2.3.0

Tanggal: 11 Juni 2024

Fitur baru

• Menambahkan dukungan untuk PyTorch v2.3.0 dengan CUDA v12.1 dan Python v3.11.

• Ditambahkan dukungan untuk PyTorch Lightning v2.2.5. Ini diintegrasikan ke dalam wadah SageMaker kerangka kerja untuk PyTorch v2.3.0.

• Menambahkan validasi tipe instance selama impor untuk mencegah pemuatan pustaka SMDDP pada jenis instance yang tidak didukung. Untuk daftar jenis instance yang kompatibel dengan pustaka SMDDP, lihat. Kerangka kerja yang didukung, Wilayah AWS, dan tipe instance

Integrasi ke dalam Wadah SageMaker Kerangka

Versi library SMDDP ini dimigrasikan ke Framework Container berikutSageMaker .

• PyTorch v2.3.0

  763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker

Untuk daftar lengkap versi pustaka SMDDP dan kontainer yang sudah dibuat sebelumnya, lihat. Kerangka kerja yang didukung, Wilayah AWS, dan tipe instance

File biner dari rilis ini

Anda dapat mengunduh atau menginstal perpustakaan menggunakan URL berikut.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl

Perubahan lainnya

• Pustaka SMDDP v2.2.0 diintegrasikan ke dalam wadah SageMaker kerangka kerja untuk v2.2.0. PyTorch

Pustaka paralelisme data SageMaker terdistribusi v2.2.0

Tanggal: 4 Maret 2024

Fitur baru

• Menambahkan dukungan untuk PyTorch v2.2.0 dengan CUDA v12.1.

Integrasi ke dalam wadah Docker didistribusikan oleh perpustakaan SageMaker model paralelisme (SMP)

Versi pustaka SMDDP ini dimigrasikan ke. Pustaka paralelisme SageMaker model v2.2.0

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Untuk Wilayah di mana gambar SMP Docker tersedia, lihat. Wilayah AWS

File biner dari rilis ini

Anda dapat mengunduh atau menginstal perpustakaan menggunakan URL berikut.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl

Pustaka paralelisme data SageMaker terdistribusi v2.1.0

Tanggal: 1 Maret 2024

Fitur baru

• Menambahkan dukungan untuk PyTorch v2.1.0 dengan CUDA v12.1.

Perbaikan bug

• Memperbaiki masalah kebocoran memori CPU diSMDDP v2.0.1.

Integrasi ke dalam Wadah SageMaker Kerangka

Versi pustaka SMDDP ini lulus pengujian benchmark dan dimigrasikan ke Framework Container berikut. SageMaker

• PyTorch v2.1.0

  763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker

Integrasi ke dalam wadah Docker didistribusikan oleh perpustakaan SageMaker model paralelisme (SMP)

Versi pustaka SMDDP ini dimigrasikan ke. Pustaka paralelisme SageMaker model v2.1.0

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

Untuk Wilayah di mana gambar SMP Docker tersedia, lihat. Wilayah AWS

File biner dari rilis ini

Anda dapat mengunduh atau menginstal perpustakaan menggunakan URL berikut.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl

Pustaka paralelisme data SageMaker terdistribusi v2.0.1

Tanggal: 7 Desember 2023

Fitur baru

• Menambahkan implementasi SMDDP baru dari operasi AllGather kolektif yang dioptimalkan untuk sumber daya AWS komputasi dan infrastruktur jaringan. Untuk mempelajari selengkapnya, lihat Operasi kolektif SMDDP AllGather.

• Operasi AllGather kolektif SMDDP kompatibel dengan PyTorch FSDP dan. DeepSpeed Untuk mempelajari selengkapnya, lihat Gunakan perpustakaan SMDDP dalam skrip pelatihan Anda PyTorch .

• Ditambahkan dukungan untuk PyTorch v2.0.1

Masalah yang diketahui

• Ada masalah kebocoran memori CPU dari peningkatan memori CPU bertahap saat berlatih dengan SMDDP dalam mode DDPAllReduce.

Integrasi ke dalam Wadah SageMaker Kerangka

Versi pustaka SMDDP ini lulus pengujian benchmark dan dimigrasikan ke Framework Container berikut. SageMaker

• PyTorch v2.0.1

  763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker

File biner dari rilis ini

Anda dapat mengunduh atau menginstal perpustakaan menggunakan URL berikut.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl

Perubahan lainnya

• Mulai dari rilis ini, dokumentasi untuk perpustakaan SMDDP sepenuhnya tersedia di Panduan SageMaker Pengembang Amazon ini. Untuk mendukung panduan pengembang lengkap untuk SMDDP v2 yang terdapat di Panduan SageMaker Pengembang Amazon, dokumentasi untuk referensi tambahan untuk SMDDP v1.x dalam dokumentasi SageMaker Python SDK tidak lagi didukung. Jika Anda masih memerlukan dokumentasi SMP v1.x, lihat snapshot dokumentasi berikut di dokumentasi SageMaker Python SDK v2.212.0.