Exemples de bloc-notes d'entraînement distribué Amazon SageMaker - Amazon SageMaker

Exemples de bloc-notes d'entraînement distribué Amazon SageMaker

Les études de cas et les blocs-notes suivants fournissent des exemples de mise en œuvre des bibliothèques d'entraînement distribué SageMaker pour les cadres de deep learning (PyTorch, TensorFlow et HuggingFace) et les modèles (comme CNN et MaskrCNN pour la vision et BERT pour le traitement du langage naturel) pris en charge.

Ces blocs-notes sont fournis dans le référentiel GitHub d'exemples SageMaker. Vous pouvez également les parcourir sur la page web d'exemples SageMaker.

Les exemples sont configurés pour utiliser des instances p3.16xlarge pour les nœuds d'employés, mais vous pouvez choisir des types d'instances ml.p3dn.24xlarge ou ml.p4d.24xlarge pour lesquels les bibliothèques d'entraînement distribué SageMaker sont optimisées. Vous pouvez tester les blocs-notes à l'aide d'un cluster d'un seul nœud ; toutefois, pour de meilleures performances, comme indiqué dans la section Points de référence d'entraînement, utilisez un cluster de plusieurs nœuds (deux ou plus). Les exemples appellent la section dans laquelle vous modifiez cette configuration.

Blogs et études de cas

Les blogs suivants traitent d'études de cas sur l'utilisation des bibliothèques d'entraînement distribué SageMaker.

Bibliothèque parallèle de données distribuées SageMaker

Exemples PyTorch

Bibliothèque parallèle de données distribuées SageMaker

Bibliothèque parallèle de modèles distribués SageMaker

Exemple TensorFlow

Bibliothèque de données parallèles distribuées SageMaker

Bibliothèque parallèle de modèles distribués SageMaker

Exemples HuggingFace

Les exemples suivants de HuggingFace sur SageMaker sont disponibles dans le référentiel de blocs-notes HuggingFace.

Bibliothèque de données parallèles distribuées SageMaker

Bibliothèque parallèle de modèles distribués SageMaker

Comment accéder ou télécharger les exemples de bloc-notes d'entraînement distribué SageMaker

Suivez les instructions pour accéder aux blocs-notes d'entraînement distribué SageMaker, ou les télécharger.

Option 1 : utiliser une instance de bloc-notes SageMaker

Pour utiliser les exemples susmentionnés, nous vous recommandons d'utiliser une instance de bloc-notes Amazon SageMaker. Une instance de bloc-notes exécute des applications Jupyter Notebook et JupyterServer sur des instances Amazon EC2, optimisées pour le machine learning. Si vous n'avez pas d'instance de bloc-notes SageMaker active, suivez les instructions décrites sous Création d'une instance de bloc-notes dans le Guide du développeur SageMaker pour en créer une.

Après avoir créé une instance, sur la page Instances de bloc-notes de la console SageMaker, procédez comme suit :

  1. Ouvrez JupyterLab.

  2. Sélectionnez l'icône d'exemples ( ) dans le bac gauche.

  3. Parcourez les exemples d'entraînement et recherchez des blocs-notes intitulés Données parallèles distribuées ou Modèles parallèles distribués.

Option 2 : cloner le référentiel d'exemples SageMaker sur une instance de bloc-notes ou SageMaker Studio

Pour télécharger et utiliser les exemples de blocs-notes susmentionnés, procédez comme suit pour cloner les référentiels GitHub d'exemples :

  1. Ouvrez un terminal.

  2. Dans la ligne de commande, accédez au dossier SageMaker.

    cd SageMaker
  3. Clonez le Référentiel GitHub d'exemples SageMaker.

    git clone https://github.com/aws/amazon-sagemaker-examples.git
    Note

    Pour télécharger les Exemples de blocs-notes HuggingFace, clonez le Référentiel GitHub de blocs-notes HuggingFace :

    git clone https://github.com/huggingface/notebooks huggingface-notebooks
  4. Dans l'interface JupyterLab, accédez au dossier amazon-sagemaker-examples.

  5. Le dossier training/distributed_training contient des dossiers pour les cadres, dont chacun contient des dossiers pour data_parallel et model_parallel. Choisissez l'exemple qui vous convient et suivez les instructions pour lancer l'entraînement distribué avec une bibliothèque d'entraînement distribué SageMaker.