Beispiele für die Amazon SageMaker AI-Modellparallelismusbibliothek v2

Diese Seite enthält eine Liste von Blogs und Jupyter-Notebooks, die praktische Beispiele für die Implementierung der SageMaker Model Parallelism (SMP) -Bibliothek v2 zur Durchführung verteilter Trainingsaufgaben auf KI präsentieren. SageMaker

Blogs und Fallstudien

In den folgenden Blogs werden Fallstudien zur Verwendung von SMP v2 behandelt.

• Die Amazon SageMaker AI Model Parallel Library beschleunigt PyTorch FSDP-Workloads jetzt um bis zu 20%

PyTorch Beispiele für Notizbücher

Beispiel-Notebooks finden Sie im SageMaker AI Examples GitHub Repository. Um die Beispiele herunterzuladen, führen Sie den folgenden Befehl aus, um das Repository zu klonen, und wechseln Sie zutraining/distributed_training/pytorch/model_parallel_v2.

Anmerkung

Klonen Sie die Beispiel-Notebooks und führen Sie sie in der folgenden SageMaker AI ML aus IDEs.

• SageMaker JupyterLab(verfügbar in Studio, das nach Dezember 2023 erstellt wurde)

• SageMaker Code-Editor (verfügbar in Studio, das nach Dezember 2023 erstellt wurde)

• Studio Classic (als Anwendung in Studio verfügbar, die nach Dezember 2023 erstellt wurde)

• SageMaker Notebook-Instanzen

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel_v2

Beispiel-Notebooks für SMP v2

• Beschleunigen Sie das Training von Llama v2 mit SMP v2, PyTorch FSDP und Transformer Engine, indem Sie das Training auf P5-Instanzen durchführen FP8

• Optimieren Sie Llama v2 mit SMP v2 und PyTorch FSDP im großen Maßstab mithilfe von Tensorparallelität, Hybrid-Sharding und Aktivierungs-Offloading

• Trainieren Sie GPT-Neox mit SMP v2 und FSDP in großem Maßstab PyTorch

• Optimieren Sie GPT-Neox mit SMP v2 und PyTorch FSDP im großen Maßstab mithilfe von Tensorparallelität, Hybrid-Sharding und Aktivierungs-Offloading