As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
SageMaker notas de lançamento da biblioteca de paralelismo de dados
Consulte as notas de versão a seguir para acompanhar as atualizações mais recentes da biblioteca de paralelismo de dados SageMaker distribuídos (SMDDP).
A biblioteca de paralelismo de dados SageMaker distribuídos v2.3.0
Data: 11 de junho de 2024
Novos atributos
-
Foi adicionado suporte para PyTorch v2.3.0 com CUDA v12.1 e Python v3.11.
-
Foi adicionado suporte para o PyTorch Lightning v2.2.5. Isso é integrado ao contêiner da SageMaker estrutura para PyTorch v2.3.0.
-
Foi adicionada a validação do tipo de instância durante a importação para evitar o carregamento da biblioteca SMDDP em tipos de instância não compatíveis. Para obter uma lista de tipos de instância compatíveis com a biblioteca SMDDP, consulte. Estruturas e tipos Regiões da AWS de instâncias compatíveis
Integração em contêineres de SageMaker estrutura
Essa versão da biblioteca SMDDP é migrada para o seguinte SageMaker Framework Container.
-
PyTorch v2.3.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker
Para obter uma lista completa das versões da biblioteca SMDDP e dos contêineres pré-criados, consulte. Estruturas e tipos Regiões da AWS de instâncias compatíveis
Arquivo binário desta versão
Você pode baixar ou instalar a biblioteca usando o seguinte URL.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl
Outras mudanças
-
A biblioteca SMDDP v2.2.0 está integrada ao contêiner da SageMaker estrutura para a v2.2.0. PyTorch
A biblioteca de paralelismo de dados SageMaker distribuídos v2.2.0
Data: 4 de março de 2024
Novos atributos
-
Foi adicionado suporte para PyTorch v2.2.0 com CUDA v12.1.
Integração em contêineres Docker distribuídos pela biblioteca de paralelismo de SageMaker modelos (SMP)
Essa versão da biblioteca SMDDP foi migrada para o. A biblioteca de paralelismo de SageMaker modelos v2.2.0
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121
Para regiões em que as imagens do SMP Docker estão disponíveis, consulte. Regiões da AWS
Arquivo binário desta versão
Você pode baixar ou instalar a biblioteca usando o seguinte URL.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl
A biblioteca de paralelismo de dados SageMaker distribuídos v2.1.0
Data: 1º de março de 2024
Novos atributos
-
Foi adicionado suporte para PyTorch v2.1.0 com CUDA v12.1.
Correções de erros
-
Corrigido o problema de vazamento de memória da CPU emSMDDP v2.0.1.
Integração em contêineres de SageMaker estrutura
-
PyTorch v2.1.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker
Integração em contêineres Docker distribuídos pela biblioteca de paralelismo de SageMaker modelos (SMP)
Essa versão da biblioteca SMDDP foi migrada para o. A biblioteca de paralelismo de SageMaker modelos v2.1.0
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121
Para regiões em que as imagens do SMP Docker estão disponíveis, consulte. Regiões da AWS
Arquivo binário desta versão
Você pode baixar ou instalar a biblioteca usando o seguinte URL.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl
A biblioteca de paralelismo de dados SageMaker distribuídos v2.0.1
Data: 7 de dezembro de 2023
Novos atributos
-
Foi adicionada uma nova implementação SMDDP de operação
AllGathercoletiva otimizada para recursos AWS computacionais e infraestrutura de rede. Para saber mais, consulte Operação coletiva SMDDP AllGather. -
A operação
AllGathercoletiva SMDDP é compatível com PyTorch FSDP e. DeepSpeed Para saber mais, consulte Use a biblioteca SMDDP em seu PyTorch script de treinamento. -
Suporte adicionado para PyTorch v2.0.1
Problemas conhecidos
-
Há um problema de vazamento de memória da CPU devido ao aumento gradual da memória da CPU durante o treinamento com SMDDP
AllReduceno modo DDP.
Integração em contêineres de SageMaker estrutura
-
PyTorch v2.0.1
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker
Arquivo binário desta versão
Você pode baixar ou instalar a biblioteca usando o seguinte URL.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl
Outras mudanças
-
A partir desta versão, a documentação da biblioteca SMDDP está totalmente disponível neste Amazon SageMaker Developer Guide. Em favor do guia completo do desenvolvedor para SMDDP v2 incluído no Amazon SageMaker Developer Guide, a documentação para a referência adicional para SMDDP v1.x
na documentação do SageMaker Python SDK não é mais suportada. Se você ainda precisar da documentação do SMP v1.x, consulte o seguinte resumo da documentação na documentação do Python SageMaker SDK v2.212.0.
