기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
SageMaker 모델 병렬화 라이브러리 v2
참고
2023년 12월 19일 SageMaker 모델 병렬화 (SMP) 라이브러리 v2.0.0이 출시된 이후, 이 설명서는 SMP 라이브러리 v2용으로 갱신되었습니다. 이전 버전의 SMP 라이브러리에 대한 내용은 을 참조하십시오. (아카이브) SageMaker 모델 병렬화 라이브러리 v1.x
Amazon SageMaker 모델 병렬화 라이브러리는 SageMaker 가속화된 컴퓨팅 인스턴스에서 고성능 및 최적화된 대규모 교육을 가능하게 SageMaker 하는 기능입니다. SageMaker 모델 병렬화 라이브러리 v2의 핵심 기능여기에는 하이브리드 샤딩 데이터 병렬화, 텐서 병렬화, 활성화 체크포인트, 활성화 오프로딩과 같은 대규모 모델 교육을 가속화하고 단순화하는 기술 및 최적화가 포함됩니다. SMP 라이브러리를 사용하여 수천억 개의 파라미터를 포함하는 대형 언어 모델 (LLM), 대형 비전 모델 (LVM) 및 기초 모델 (FM) 의 학습 및 미세 조정을 가속화할 수 있습니다.
SageMaker 모델 병렬화 라이브러리 v2 (SMP v2) 는 라이브러리의 API와 메서드를 오픈 소스 FSDP ( PyTorch 완전 샤디드 데이터 병렬화) 에 맞춰 조정하여 코드 변경을 최소화하면서 SMP 성능을 최적화하는 이점을 제공합니다. SMP v2를 사용하면 FSDP 교육 스크립트를 사용하여 대규모 모델을 학습시키는 데 필요한 계산 성능을 개선할 수 있습니다. state-of-the-art SageMaker PyTorch SageMaker
SMP v2는 일반 SageMaker 교육 작업 및 클러스터의 분산 교육 워크로드에 사용할 수 있습니다. SageMaker HyperPod
주제
