Utiliser la bibliothèque de parallélisme des SageMaker modèles v2 - Amazon SageMaker AI
Étape 1 : Adaptez votre script d' PyTorch entraînement FSDPÉtape 2 : Lancer une offre de formation

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utiliser la bibliothèque de parallélisme des SageMaker modèles v2

Sur cette page, vous allez apprendre à utiliser la bibliothèque de parallélisme de SageMaker modèles v2 APIs et à commencer à exécuter une tâche de formation FSDP ( PyTorch Fully Sharded Data Parallel) sur la plateforme de formation ou sur un SageMaker cluster. SageMaker HyperPod

Il existe différents scénarios pour exécuter une tâche de PyTorch formation avec SMP v2.

  1. Pour la SageMaker formation, utilisez l'un des conteneurs SageMaker Framework prédéfinis pour PyTorch v2.0.1 et versions ultérieures, qui sont préemballés avec SMP v2.

  2. Utilisez le fichier binaire SMP v2 pour configurer un environnement Conda afin d'exécuter une charge de travail d'entraînement distribuée sur un SageMaker HyperPod cluster.

  3. Étendez les conteneurs SageMaker Framework prédéfinis pour PyTorch les versions 2.0.1 et ultérieures afin d'installer toute exigence fonctionnelle supplémentaire adaptée à votre cas d'utilisation. Pour savoir comment étendre un conteneur préfabriqué, voirExtension d'un conteneur préconçu.

  4. Vous pouvez également apporter votre propre conteneur Docker et configurer manuellement tous les environnements de SageMaker formation à l'aide de la boîte à outils de SageMaker formation et installer le fichier binaire SMP v2. Il s'agit de l'option la moins recommandée en raison de la complexité des dépendances. Pour savoir comment exécuter votre propre conteneur Docker, consultez Adapter votre propre conteneur de formation.

Ce guide de démarrage couvre les deux premiers scénarios.

Étape 1 : Adaptez votre script d' PyTorch entraînement FSDP

Pour activer et configurer la bibliothèque SMP v2, commencez par importer et ajouter le torch.sagemaker.init() module en haut du script. Ce module prend en compte le dictionnaire de configuration SMP Paramètres de configuration des fonctionnalités principales du SMP v2 que vous allez préparer. Étape 2 : Lancer une offre de formation De plus, pour utiliser les différentes fonctionnalités de base proposées par SMP v2, vous devrez peut-être apporter quelques modifications supplémentaires pour adapter votre script d'entraînement. Des instructions plus détaillées sur l'adaptation de votre script d'entraînement à l'utilisation des fonctionnalités de base de SMP v2 sont fournies à l'Principales fonctionnalités de la bibliothèque de parallélisme de SageMaker modèles v2adresse.

SageMaker Training

Dans votre script d'entraînement, ajoutez les deux lignes de code suivantes, qui constituent le minimum requis pour commencer à vous entraîner avec SMP v2. DansÉtape 2 : Lancer une offre de formation, vous allez configurer un objet de la classe d' SageMaker PyTorchestimateur avec un dictionnaire de configuration SMP via l'distributionargument de la classe d'estimateur.

import torch.sagemaker as tsm
tsm.init()
Note

Vous pouvez également transmettre directement un dictionnaire de configuration du Paramètres de configuration des fonctionnalités principales du SMP v2 au torch.sagemaker.init() module. Cependant, les paramètres transmis à l' PyTorch estimateur sont prioritaires et remplacent ceux spécifiés dans Étape 2 : Lancer une offre de formation le module. torch.sagemaker.init()

SageMaker HyperPod

Dans votre script d'entraînement, ajoutez les deux lignes de code suivantes. DansÉtape 2 : Lancer une offre de formation, vous allez configurer un smp_config.json fichier pour configurer les configurations SMP au format JSON et le télécharger sur un système de stockage ou de fichiers mappé avec votre SageMaker HyperPod cluster. Nous vous recommandons de conserver le fichier de configuration dans le répertoire où vous avez chargé votre script d'entraînement.

import torch.sagemaker as tsm
tsm.init("/dir_to_training_files/smp_config.json")
Note

Vous pouvez également transmettre directement un dictionnaire de configuration du Paramètres de configuration des fonctionnalités principales du SMP v2 au torch.sagemaker.init() module.

Étape 2 : Lancer une offre de formation

Découvrez comment configurer les options de distribution SMP pour lancer une tâche de formation PyTorch FSDP avec les fonctionnalités principales du SMP.

SageMaker Training

Lorsque vous configurez un objet lanceur de tâches d'entraînement de la classe PyTorch framework estimator dans le SDK SageMaker Python, configurez-le Paramètres de configuration des fonctionnalités principales du SMP v2 via distribution un argument comme suit.

Note

La distribution configuration de SMP v2 est intégrée dans le SDK SageMaker Python à partir de la version 2.200. Assurez-vous d'utiliser le SDK SageMaker Python v2.200 ou version ultérieure.

Note

Dans SMP v2, vous devez configurer smdistributed avec torch_distributed pour l'distributionargument de l' SageMaker PyTorchestimateur. Avectorch_distributed, SageMaker AI s'exécutetorchrun, qui est le lanceur de tâches multi-nœuds par défaut de PyTorch Distributed.

from sagemaker.pytorch import PyTorch

estimator = PyTorch(
    framework_version=2.2.0,
    py_version="310"
    # image_uri="<smp-docker-image-uri>" # For using prior versions, specify the SMP image URI directly.
    entry_point="your-training-script.py", # Pass the training script you adapted with SMP from Step 1.
    ... # Configure other required and optional parameters
    distribution={
        "torch_distributed": { "enabled": True },
        "smdistributed": {
            "modelparallel": {
                "enabled": True,
                "parameters": {
                    "hybrid_shard_degree": Integer,
                    "sm_activation_offloading": Boolean,
                    "activation_loading_horizon": Integer,
                    "fsdp_cache_flush_warnings": Boolean,
                    "allow_empty_shards": Boolean,
                    "tensor_parallel_degree": Integer,
                    "expert_parallel_degree": Integer,
                    "random_seed": Integer
                }
            }
        }
    }
)
Important

Pour utiliser l'une des versions précédentes de PyTorch ou SMP au lieu de la dernière, vous devez spécifier l'image Docker SMP directement en utilisant l'image_uriargument au lieu de la framework_version paire et. py_version Voici un exemple de 

estimator = PyTorch(
    ...,
    image_uri="658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121"
)

Pour trouver une image SMP Docker URIs, consultez. Frameworks pris en charge

SageMaker HyperPod

Avant de commencer, assurez-vous que les conditions préalables suivantes sont remplies.

  • Un répertoire FSx partagé Amazon monté (/fsx) sur votre HyperPod cluster.

  • Conda est installé dans le répertoire FSx partagé. Pour savoir comment installer Conda, suivez les instructions de la section Installation sous Linux dans le guide de l'utilisateur de Conda.

  • cuda11.8ou cuda12.1 installé sur la tête et les nœuds de calcul de votre HyperPod cluster.

Si les conditions préalables sont toutes remplies, suivez les instructions suivantes pour lancer un workload avec SMP v2 sur un HyperPod cluster.

  1. Préparez un smp_config.json fichier contenant un dictionnaire deParamètres de configuration des fonctionnalités principales du SMP v2. Assurez-vous de télécharger ce fichier JSON dans l'endroit où vous stockez votre script d'entraînement ou le chemin que vous avez spécifié pour accéder au torch.sagemaker.init() module à l'étape 1. Si vous avez déjà transmis le dictionnaire de configuration au torch.sagemaker.init() module dans le script de formation de l'étape 1, vous pouvez ignorer cette étape. 

    // smp_config.json
{
    "hybrid_shard_degree": Integer,
    "sm_activation_offloading": Boolean,
    "activation_loading_horizon": Integer,
    "fsdp_cache_flush_warnings": Boolean,
    "allow_empty_shards": Boolean,
    "tensor_parallel_degree": Integer,
    "expert_parallel_degree": Integer,
    "random_seed": Integer
}

  2. Téléchargez le smp_config.json fichier dans un répertoire de votre système de fichiers. Le chemin du répertoire doit correspondre au chemin que vous avez spécifié à l'étape 1. Si vous avez déjà transmis le dictionnaire de configuration au torch.sagemaker.init() module dans le script de formation, vous pouvez ignorer cette étape.

  3. Sur les nœuds de calcul de votre cluster, lancez une session de terminal avec la commande suivante.

    sudo su -l ubuntu

  4. Créez un environnement Conda sur les nœuds de calcul. Le code suivant est un exemple de script de création d'un environnement Conda et d'installation de SMP, SMDDP, CUDA et d'autres dépendances.

    # Run on compute nodes
SMP_CUDA_VER=<11.8 or 12.1>

source /fsx/<path_to_miniconda>/miniconda3/bin/activate

export ENV_PATH=/fsx/<path to miniconda>/miniconda3/envs/<ENV_NAME>
conda create -p ${ENV_PATH} python=3.10

conda activate ${ENV_PATH}

# Verify aws-cli is installed: Expect something like "aws-cli/2.15.0*"
aws ‐‐version
# Install aws-cli if not already installed
# https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html#cliv2-linux-install

# Install the SMP library
conda install pytorch="2.0.1=sm_py3.10_cuda${SMP_CUDA_VER}*" packaging ‐‐override-channels \
  -c https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-2.0.0-pt-2.0.1/2023-12-11/smp-v2/ \
  -c pytorch -c numba/label/dev \
  -c nvidia -c conda-forge

# Install dependencies of the script as below
python -m pip install packaging transformers==4.31.0 accelerate ninja tensorboard h5py datasets \
    && python -m pip install expecttest hypothesis \
    && python -m pip install "flash-attn>=2.0.4" ‐‐no-build-isolation

# Install the SMDDP wheel
SMDDP_WHL="smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl" \
  && wget -q https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/${SMDDP_WHL} \
  && pip install ‐‐force ${SMDDP_WHL} \
  && rm ${SMDDP_WHL}

# cuDNN installation for Transformer Engine installation for CUDA 11.8
# Please download from below link, you need to agree to terms 
# https://developer.nvidia.com/downloads/compute/cudnn/secure/8.9.5/local_installers/11.x/cudnn-linux-x86_64-8.9.5.30_cuda11-archive.tar.xz

tar xf cudnn-linux-x86_64-8.9.5.30_cuda11-archive.tar.xz \
    && rm -rf /usr/local/cuda-$SMP_CUDA_VER/include/cudnn* /usr/local/cuda-$SMP_CUDA_VER/lib/cudnn* \
    && cp ./cudnn-linux-x86_64-8.9.5.30_cuda11-archive/include/* /usr/local/cuda-$SMP_CUDA_VER/include/ \
    && cp ./cudnn-linux-x86_64-8.9.5.30_cuda11-archive/lib/* /usr/local/cuda-$SMP_CUDA_VER/lib/ \
    && rm -rf cudnn-linux-x86_64-8.9.5.30_cuda11-archive.tar.xz \
    && rm -rf cudnn-linux-x86_64-8.9.5.30_cuda11-archive/

# Please download from below link, you need to agree to terms 
# https://developer.download.nvidia.com/compute/cudnn/secure/8.9.7/local_installers/12.x/cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz \
# cuDNN installation for TransformerEngine installation for cuda12.1
tar xf cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz \
    && rm -rf /usr/local/cuda-$SMP_CUDA_VER/include/cudnn* /usr/local/cuda-$SMP_CUDA_VER/lib/cudnn* \
    && cp ./cudnn-linux-x86_64-8.9.7.29_cuda12-archive/include/* /usr/local/cuda-$SMP_CUDA_VER/include/ \
    && cp ./cudnn-linux-x86_64-8.9.7.29_cuda12-archive/lib/* /usr/local/cuda-$SMP_CUDA_VER/lib/ \
    && rm -rf cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz \
    && rm -rf cudnn-linux-x86_64-8.9.7.29_cuda12-archive/
    
# TransformerEngine installation
export CUDA_HOME=/usr/local/cuda-$SMP_CUDA_VER
export CUDNN_PATH=/usr/local/cuda-$SMP_CUDA_VER/lib
export CUDNN_LIBRARY=/usr/local/cuda-$SMP_CUDA_VER/lib
export CUDNN_INCLUDE_DIR=/usr/local/cuda-$SMP_CUDA_VER/include
export PATH=/usr/local/cuda-$SMP_CUDA_VER/bin:$PATH
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-$SMP_CUDA_VER/lib

python -m pip install ‐‐no-build-isolation git+https://github.com/NVIDIA/TransformerEngine.git@v1.0

  5. Exécutez une tâche de formation test.

    1. Dans le système de fichiers partagé (/fsx), clonez le GitHub référentiel Awsome Distributed Training et accédez au 3.test_cases/11.modelparallel dossier.

      git clone https://github.com/aws-samples/awsome-distributed-training/
cd awsome-distributed-training/3.test_cases/11.modelparallel

    2. Soumettez une offre d'emploi en procédant sbatch comme suit.

      conda activate <ENV_PATH>
sbatch -N 16 conda_launch.sh

      Si la soumission de la tâche est réussie, le message de sortie de cette sbatch commande doit être similaire àSubmitted batch job ABCDEF.

    3. Vérifiez le fichier journal dans le répertoire actuel ci-dessouslogs/.

      tail -f ./logs/fsdp_smp_ABCDEF.out