Amazon SageMaker AI 모델 병렬 처리 라이브러리 v2 예제

이 페이지에서는 SageMaker SageMaker AI에서 분산 훈련 작업을 실행하기 위해 SageMaker 모델 병렬 처리(SMP) 라이브러리 v2를 구현하는 실제 예를 제공하는 블로그 및 Jupyter 노트북 목록을 제공합니다.

블로그 및 사례 연구

다음 블로그에서는 SMP v2 사용에 대한 사례 연구를 설명합니다.

• Amazon SageMaker AI 모델 병렬 라이브러리가 이제 PyTorch FSDP 워크로드를 최대 20% 가속화합니다.

PyTorch 예제 노트북

예제 노트북은 SageMaker AI 예제 GitHub 리포지토리에 제공됩니다. 예제를 다운로드하려면 다음 명령을 실행하여 리포지토리를 복제하고 training/distributed_training/pytorch/model_parallel_v2로 이동합니다.

참고

다음 SageMaker AI ML IDEs에서 예제 노트북을 복제하고 실행합니다.

• SageMaker JupyterLab(2023년 12월 이후에 생성된 Studio에서 사용 가능)

• SageMaker 코드 편집기(2023년 12월 이후에 생성된 Studio에서 사용 가능)

• Studio Classic(2023년 12월 이후에 생성된 Studio에서 애플리케이션으로 사용 가능)

• SageMaker Notebook 인스턴스스

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel_v2

SMP v2 예제 노트북

• P5 인스턴스에서 FP8 훈련을 실행하여 SMP v2, PyTorch FSDP 및 Transformer Engine을 사용한 Llama v2 훈련 가속화

• 텐서 병렬 처리, 하이브리드 샤딩 및 활성화 오프로딩을 사용하여 대규모로 SMP v2 및 PyTorch FSDP를 사용하여 Llama v2를 미세 조정

• SMP v2 및 PyTorch FSDP로 대규모 GPT-NeoX 훈련

• 텐서 병렬 처리, 하이브리드 샤딩 및 활성화 오프로딩을 사용하여 대규모로 SMP v2 및 PyTorch FSDP를 사용하여 GPT-NeoX를 미세 조정