SageMaker 모델 병렬화 라이브러리 v2의 핵심 기능

Amazon SageMaker AI 모델 병렬 처리 라이브러리 v2(SMP v2)는 샤딩된 데이터 병렬 처리, 텐서 병렬 처리 및 체크포인트와 같은 배포 전략과 메모리 절약 기술을 제공합니다. SMP v2가 제공한 모델 병렬 처리 전략 및 기법은 훈련 속도와 메모리 소비를 최적화하면서 여러 디바이스에 대형 모델을 배포하는 데 도움이 됩니다. SMP v2는 또한 코드 변경 줄이 거의 없는 훈련 스크립트를 조정하는 데 도움이 되는 Python 패키지 torch.sagemaker를 제공합니다.

이 가이드는 SageMaker 모델 병렬 처리 라이브러리 v2 사용에 도입된 기본 2단계 흐름을 따릅니다. SMP v2의 핵심 기능과 이를 사용하는 방법을 자세히 알아보려면 다음 주제를 참조하세요.

참고

이러한 핵심 기능은 SMP v2.0.0 이상 및 SageMaker Python SDK v2.200.0 이상에서 사용할 수 있으며 PyTorch v2.0.1 이상에서 작동합니다. 패키지의 버전을 확인하려면 지원되는 프레임워크 및 AWS 리전 섹션을 참조하세요.

주제

• 하이브리드 샤딩 데이터 병렬 처리

• 전문가 병렬 처리

• 컨텍스트 병렬 처리

• AWS 인프라에 최적화된 SMDDP 라이브러리와의 호환성

• 혼합 정밀도 훈련

• 지연된 파라미터 초기화

• 활성화 체크포인트

• 활성화 오프로딩

• 텐서 병렬화

• 미세 조정

• FlashAttention

• SMP를 사용한 체크포인트 지정