Catatan rilis untuk pustaka paralelisme SageMaker model - Amazon SageMaker
SMP v2.4.0SMP v2.3.1SMP v2.3.0SMP v2.2.0SMP v2.1.0SMP v2.0.0

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Catatan rilis untuk pustaka paralelisme SageMaker model

Lihat catatan rilis berikut untuk melacak pembaruan terbaru untuk pustaka SageMaker model paralelisme (SMP). Jika Anda memiliki pertanyaan lebih lanjut tentang perpustakaan SMP, hubungi tim layanan SMP di. sm-model-parallel-feedback@amazon.com

Pustaka paralelisme SageMaker model v2.4.0

Tanggal: 20 Juni 2024

Pembaruan perpustakaan SMP

Perbaikan bug

  • Memperbaiki bug yang menyebabkan bentuk logit salah saat label tidak diteruskan di pass maju saat menggunakan SMP Transformer.

Pembaruan mata uang

  • Ditambahkan dukungan untuk PyTorch v2.3.1.

  • Ditambahkan dukungan untuk Python v3.11.

  • Menambahkan dukungan untuk perpustakaan Hugging Face Transformers v4.40.1.

Pengakhiran

  • Dukungan yang dihentikan untuk Python v3.10.

  • Dukungan yang dihentikan untuk versi pustaka Hugging Face Transformers sebelum v4.40.1.

Perubahan lainnya

  • Termasuk tambalan untuk mengaktifkan penyimpanan tensor de-duplikat pada peringkat yang berbeda. Untuk mempelajari lebih lanjut, lihat utas diskusi di PyTorch GitHub repositori.

Masalah yang diketahui

  • Ada masalah yang diketahui bahwa kerugian mungkin melonjak dan kemudian berlanjut pada nilai kerugian yang lebih tinggi sambil menyempurnakan Llama-3 70B dengan paralelisme tensor.

Wadah SMP Docker

Tim perpustakaan SMP mendistribusikan kontainer Docker sebagai pengganti wadah kerangka kerja. SageMaker PyTorch Jika Anda menggunakan kelas PyTorch estimator di SageMaker Python SDK dan menentukan konfigurasi distribusi untuk menggunakan SMP v2 SageMaker , secara otomatis mengambil kontainer SMP Docker. Untuk menggunakan rilis SMP v2 ini, tingkatkan SDK SageMaker Python Anda ke v2.224.0 atau yang lebih baru.

Pembaruan mata uang

  • Memutakhirkan pustaka SMDDP ke v2.3.0.

  • Memutakhirkan pustaka NCCL ke v2.21.5.

  • Upgrade perangkat lunak EFA ke v1.32.0.

Pengakhiran

Detail kontainer

  • Wadah SMP Docker untuk PyTorch v2.3.1 dengan CUDA v12.1

    658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

  • Paket pra-instal

    • Pustaka SMP v2.4.0

    • Perpustakaan SMDDP v2.3.0

    • CUDNN v8.9.7.29

    • FlashAttention v2.3.3

    • TransformerEngine v1.2.1

    • Trafo Hugging Face v4.40.1

    • Pustaka Kumpulan Data Hugging Face v2.19.0

    • EFA v1.32.0

    • NCCL v2.21.5

Saluran SMP Conda

Bucket S3 berikut adalah saluran Conda publik dari perpustakaan SMP yang diselenggarakan oleh tim layanan SMP. Jika Anda ingin menginstal pustaka SMP v2 di lingkungan sumber daya komputasi yang sangat dapat disesuaikan seperti SageMaker HyperPod cluster, gunakan saluran Conda ini untuk menginstal pustaka SMP dengan benar.

  • https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Untuk informasi selengkapnya tentang saluran Conda secara umum, lihat Saluran di dokumentasi Conda.

Pustaka paralelisme SageMaker model v2.3.1

Tanggal: 9 Mei 2024

Perbaikan bug

  • Memperbaiki ImportError masalah saat menggunakan moe_load_balancing=balanced torch.sagemaker.moe.moe_config.MoEConfig paralelisme ahli.

  • Memperbaiki masalah fine-tuning saat torch.sagemaker.transform panggilan dimunculkan KeyError saat load_state_dict_from_rank0 diaktifkan.

  • Memperbaiki kesalahan out-of-memory (OOM) yang muncul saat memuat model Mixture of Experts (MoE) yang besar, seperti Mixtral 8x22B, untuk fine-tuning.

Wadah SMP Docker

Tim perpustakaan SMP mendistribusikan kontainer Docker sebagai pengganti wadah kerangka kerja. SageMaker PyTorch Rilis ini menggabungkan perbaikan bug yang disebutkan di atas ke dalam gambar SMP Docker berikut.

  • Wadah SMP Docker untuk PyTorch v2.2.0 dengan CUDA v12.1

    658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Pustaka paralelisme SageMaker model v2.3.0

Tanggal: 11 April 2024

Fitur baru

  • Menambahkan fitur inti baru, paralelisme ahli, untuk mendukung model transformator Mixture of Experts. Untuk mempelajari selengkapnya, lihat Paralelisme ahli.

Wadah SMP Docker

Tim perpustakaan SMP mendistribusikan kontainer Docker sebagai pengganti wadah kerangka kerja. SageMaker PyTorch Jika Anda menggunakan kelas PyTorch estimator di SageMaker Python SDK dan menentukan konfigurasi distribusi untuk menggunakan SMP v2 SageMaker , secara otomatis mengambil kontainer SMP Docker. Untuk menggunakan rilis SMP v2 ini, tingkatkan SDK SageMaker Python Anda ke v2.214.4 atau yang lebih baru.

  • Wadah SMP Docker untuk PyTorch v2.2.0 dengan CUDA v12.1

    658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

    • Paket pra-instal dalam wadah Docker ini

      • Pustaka SMDDP v2.2.0

      • CUDNN v8.9.5.29

      • FlashAttention v2.3.3

      • TransformerEngine v1.2.1

      • Trafo Hugging Face v4.37.1

      • Pustaka Kumpulan Data Hugging Face v2.16.1

      • MegaTron-inti 0,5.0

      • EFA v1.30.0

      • NCCL v2.19.4

Pustaka paralelisme SageMaker model v2.2.0

Tanggal: 7 Maret 2024

Fitur Baru

  • Menambahkan dukungan untuk pelatihan FP8 dari model transformator Hugging Face berikut pada instans P5 dengan integrasi Transformer Engine:

    • GPT-Neox

    • Llama 2

Perbaikan Bug

  • Memperbaiki bug di mana tensor tidak dijamin bersebelahan sebelum panggilan AllGather kolektif selama pelatihan paralelisme tensor.

Pembaruan Mata Uang

  • Ditambahkan dukungan untuk PyTorch v2.2.0.

  • Memutakhirkan pustaka SMDDP ke v2.2.0.

  • Memutakhirkan FlashAttention perpustakaan ke v2.3.3.

  • Memutakhirkan pustaka NCCL ke v2.19.4.

penghentian

  • Dukungan yang dihentikan untuk versi Transformer Engine sebelum v1.2.0.

Masalah yang diketahui

  • Pembongkaran aktivasiFitur SMP saat ini tidak berfungsi. Gunakan pembongkaran PyTorch aktivasi asli sebagai gantinya.

Perubahan lainnya

Wadah SMP Docker

Tim perpustakaan SMP mendistribusikan kontainer Docker sebagai pengganti wadah kerangka kerja. SageMaker PyTorch Jika Anda menggunakan kelas PyTorch estimator di SageMaker Python SDK dan menentukan konfigurasi distribusi untuk menggunakan SMP v2 SageMaker , secara otomatis mengambil kontainer SMP Docker. Untuk menggunakan rilis SMP v2 ini, tingkatkan SDK SageMaker Python Anda ke v2.212.0 atau yang lebih baru.

  • Wadah SMP Docker untuk PyTorch v2.2.0 dengan CUDA v12.1

    658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

    • Tersedia untuk instans P4d, P4de, dan P5

    • Paket pra-instal dalam wadah Docker ini

      • Pustaka SMDDP v2.2.0

      • CUDNN v8.9.5.29

      • FlashAttention v2.3.3

      • TransformerEngine v1.2.1

      • Trafo Hugging Face v4.37.1

      • Pustaka Kumpulan Data Hugging Face v2.16.1

      • EFA v1.30.0

      • NCCL v2.19.4

Pustaka paralelisme SageMaker model v2.1.0

Tanggal: 6 Februari 2024

Pembaruan Mata Uang

  • Ditambahkan dukungan untuk PyTorch v2.1.2.

penghentian

  • Dukungan yang dihentikan untuk Hugging Face Transformers v4.31.0.

Masalah yang diketahui

  • Masalah ditemukan bahwa fine-tuning model Hugging Face Llama 2 attn_implementation=flash_attention_2 dengan dan FSDP menyebabkan model menyimpang. Untuk referensi, lihat tiket terbitan di repositori Hugging Face GitHub Transformers. Untuk menghindari masalah divergensi, gunakanattn_implementation=sdpa. Atau, gunakan implementasi model transformator SMP dengan menyiapkanuse_smp_implementation=True.

Wadah SMP Docker

Tim perpustakaan SMP mendistribusikan kontainer Docker sebagai pengganti wadah kerangka kerja. SageMaker PyTorch Jika Anda menggunakan kelas PyTorch estimator di SageMaker Python SDK dan menentukan konfigurasi distribusi untuk menggunakan SMP v2 SageMaker , secara otomatis mengambil kontainer SMP Docker. Untuk menggunakan rilis SMP v2 ini, tingkatkan SDK SageMaker Python Anda ke v2.207.0 atau yang lebih baru.

  • Wadah SMP Docker untuk PyTorch v2.1.2 dengan CUDA v12.1

    658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

    • Tersedia untuk instans P4d, P4de, dan P5

    • Paket pra-instal dalam wadah Docker ini

      • Perpustakaan SMDDP v2.1.0

      • CUDNN v8.9.5.29

      • FlashAttention v2.3.3

      • TransformerEngine v1.2.1

      • Trafo Hugging Face v4.37.1

      • Pustaka Kumpulan Data Hugging Face v2.16.1

      • EFA v1.30.0

Saluran SMP Conda

Bucket S3 berikut adalah saluran Conda publik yang diselenggarakan oleh tim layanan SMP. Jika Anda ingin menginstal pustaka SMP v2 di lingkungan sumber daya komputasi yang sangat dapat disesuaikan seperti SageMaker HyperPod cluster, gunakan saluran Conda ini untuk menginstal pustaka SMP dengan benar.

  • https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Untuk informasi selengkapnya tentang saluran Conda secara umum, lihat Saluran di dokumentasi Conda.

Pustaka paralelisme SageMaker model v2.0.0

Tanggal: 19 Desember 2023

Fitur baru

Merilis perpustakaan SageMaker model paralelisme (SMP) v2.0.0 dengan penawaran baru berikut.

Melanggar perubahan

  • SMP v2 mengubah API sepenuhnya dan menyediakan paket. torch.sagemaker Sebagian besar, Anda hanya perlu menginisialisasi dengan torch.sagemaker.init() modul dan melewati parameter konfigurasi paralel model. Dengan paket baru ini, Anda dapat secara signifikan menyederhanakan modifikasi kode dalam skrip pelatihan Anda. Untuk mempelajari lebih lanjut tentang mengadaptasi skrip pelatihan Anda untuk menggunakan SMP v2, lihat. Memulai dengan SageMaker pustaka paralelisme model v2

  • Jika Anda telah menggunakan SMP v1 untuk melatih model Hugging Face Transformer dan ingin menggunakan kembali model di SMP v2, lihat. Tingkatkan dari SMP v1 ke SMP v2

  • Untuk pelatihan PyTorch FSDP, Anda harus menggunakan SMP v2.

Masalah yang diketahui

  • Checkpointing aktivasi saat ini hanya berfungsi dengan kebijakan pembungkus berikut dengan FSDP.

    • auto_wrap_policy = functools.partial(transformer_auto_wrap_policy, ...)

  • Untuk menggunakanPembongkaran aktivasi, jenis checkpointing aktivasi FSDP harus REENTRANT.

  • Saat menjalankan dengan tensor parallel diaktifkan dengan derajat paralel data sharded yang disetel ke1, Anda harus menggunakan. backend = nccl Opsi smddp backend tidak didukung dalam skenario ini.

  • Mesin Transformer diperlukan untuk digunakan PyTorch dengan perpustakaan SMP bahkan ketika tidak menggunakan paralelisme tensor.

Perubahan lainnya

Pengakhiran

  • Dukungan yang dihentikan untuk TensorFlow.

  • Tidak ada dukungan paralelisme pipa di SMP v2.

  • Tidak ada dukungan untuk DeepSpeed perpustakaan yang mendukung PyTorch FSDP asli.

Wadah SMP Docker

Tim perpustakaan SMP mendistribusikan kontainer Docker sebagai pengganti wadah kerangka kerja. SageMaker PyTorch Jika Anda menggunakan kelas PyTorch estimator di SageMaker Python SDK dan menentukan konfigurasi distribusi untuk menggunakan SMP v2 SageMaker , secara otomatis mengambil kontainer SMP Docker. Untuk menggunakan rilis SMP v2 ini, tingkatkan SDK SageMaker Python Anda ke v2.207.0 atau yang lebih baru.

  • Wadah SMP Docker untuk PyTorch v2.0.1 dengan CUDA v12.1

    658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121