Beispiele für die Amazon SageMaker Model Parallelism Library v1

Auf dieser Seite finden Sie eine Liste von Blogs und Jupyter-Notebooks, die praktische Beispiele für die Implementierung der SageMaker Model Parallelism (SMP) -Bibliothek v1 für die Ausführung verteilter Trainingsaufgaben präsentieren. SageMaker

Blogs und Fallstudien

In den folgenden Blogs werden Fallstudien zur Verwendung von SMP v1 behandelt.

• Neue Leistungsverbesserungen in der SageMaker Amazon-Modellparallelismus-Bibliothek, AWS Machine Learning Blog (16. Dezember 2022)

• Trainieren Sie gigantische Modelle mit nahezu linearer Skalierung mithilfe von Sharded Data Parallelism auf Amazon SageMaker, AWS Machine Learning Blog (31. Oktober 2022)

Beispiel-Notebooks

Beispiel-Notebooks finden Sie im Beispiel-Repository. SageMaker GitHub Um die Beispiele herunterzuladen, führen Sie den folgenden Befehl aus, um das Repository zu klonen, und wechseln Sie zutraining/distributed_training/pytorch/model_parallel.

Anmerkung

Klonen Sie die Beispiel-Notebooks und führen Sie sie in den folgenden SageMaker ML-IDEs aus.

• SageMaker JupyterLab(verfügbar in Studio, das nach Dezember 2023 erstellt wurde)

• SageMaker Code-Editor (verfügbar in Studio, das nach Dezember 2023 erstellt wurde)

• Studio Classic (als Anwendung in Studio verfügbar, die nach Dezember 2023 erstellt wurde)

• SageMaker Notebook-Instanzen

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel

SMP v1-Beispiel-Notebooks für PyTorch

• Trainieren Sie GPT-2 mit nahezu linearer Skalierung mithilfe der Sharded-Datenparallelismus-Technik aus der Modellparallelitätsbibliothek SageMaker

• Optimieren Sie GPT-2 mit nahezu linearer Skalierung mithilfe der Sharded-Datenparallelismus-Technik in der Modellparallelitätsbibliothek SageMaker

• Trainieren Sie GPT-Neox-20B mit nahezu linearer Skalierung mithilfe der Sharded-Datenparallelismus-Technik in der Modellparallelismus-Bibliothek SageMaker

• Trainieren Sie GPT-J 6B mithilfe der Techniken der Sharded-Datenparallelität und der Tensorparallelität in der Modellparallelitätsbibliothek SageMaker

• Trainieren Sie FLAN-T5 mit nahezu linearer Skalierung mithilfe der Technik der Sharded-Datenparallelität in der Modellparallelitätsbibliothek SageMaker

• Trainieren Sie Falcon mit nahezu linearer Skalierung mithilfe der Sharded-Datenparallelismus-Technik in der Modellparallelitätsbibliothek SageMaker

SMP v1-Beispiel-Notebooks für TensorFlow

• CNN mit TensorFlow 2.3.1 und der SageMaker Modellparallelismus-Bibliothek

• HuggingFace mit der Bibliothek für TensorFlow verteilte Modellparallelität (Schulung) am SageMaker