Configurer le canal de saisie des données pour utiliser Amazon FSx for Lustre

Découvrez comment utiliser Amazon FSx for Lustre comme source de données pour un débit plus élevé et une formation plus rapide en réduisant le temps de chargement des données.

Note

Lorsque vous utilisez des instances compatibles avec l'EFA, telles que P4d et P3dn, veillez à définir des règles d'entrée et de sortie appropriées dans le groupe de sécurité. En particulier, l'ouverture de ces ports est nécessaire pour que l' SageMaker IA puisse accéder au système de FSx fichiers Amazon pendant la formation. Pour plus d'informations, consultez File System Access Control with Amazon VPC (Contrôle d'accès aux systèmes de fichiers avec Amazon VPC).

Synchroniser Amazon S3 et Amazon FSx for Lustre

Pour associer votre Amazon S3 à Amazon FSx for Lustre et télécharger vos ensembles de données de formation, procédez comme suit.

1. Préparez votre jeu de données et chargez-le sur un compartiment Amazon S3. Supposons, par exemple, que les chemins Amazon S3 d'un jeu de données d'entraînement et d'un jeu de données de test soient au format suivant.

   s3://amzn-s3-demo-bucket/data/train
   s3://amzn-s3-demo-bucket/data/test

2. Pour créer un système de fichiers FSx pour Lustre lié au compartiment Amazon S3 contenant les données de formation, suivez les étapes décrites dans la section Liaison de votre système de fichiers à un compartiment Amazon S3 dans le guide de l'utilisateur d'Amazon FSx for Lustre. Assurez-vous d'ajouter un point de terminaison à votre VPC permettant l'accès à Amazon S3. Pour de plus amples informations, veuillez consulter Création d’un point de terminaison d’un VPC Amazon S3. Lorsque vous spécifiez Data repository path (Chemin du référentiel de données), fournissez l'URI du compartiment Amazon S3 du dossier contenant vos jeux de données. Par exemple, sur la base des exemples de chemins S3 de l'étape 1, le chemin du référentiel de données doit être le suivant.

   s3://amzn-s3-demo-bucket/data

3. Une fois le système de fichiers FSx for Lustre créé, vérifiez les informations de configuration en exécutant les commandes suivantes.

   aws fsx describe-file-systems && \
   aws fsx describe-data-repository-association

   Ces commandes renvoient FileSystemId, MountName, FileSystemPath et DataRepositoryPath. Le résultat doit ressembler à l'exemple qui suit.

   # Output of aws fsx describe-file-systems
   "FileSystemId": "fs-0123456789abcdef0"
   "MountName": "1234abcd"
   
   # Output of aws fsx describe-data-repository-association
   "FileSystemPath": "/ns1",
   "DataRepositoryPath": "s3://amzn-s3-demo-bucket/data/"

   Une fois la synchronisation entre Amazon S3 et Amazon FSx terminée, vos ensembles de données sont enregistrés dans Amazon FSx dans les répertoires suivants.

   /ns1/train  # synced with s3://amzn-s3-demo-bucket/data/train
   /ns1/test   # synced with s3://amzn-s3-demo-bucket/data/test

Définissez le chemin du système de FSx fichiers Amazon comme canal d'entrée de données pour la SageMaker formation

Les procédures suivantes vous guident tout au long du processus de configuration du système de FSx fichiers Amazon comme source de données pour les tâches de SageMaker formation.

Using the SageMaker Python SDK

Pour définir correctement le système de FSx fichiers Amazon comme source de données, configurez les classes d'estimateur SageMaker AI FileSystemInput en suivant les instructions suivantes.

1. Configurez un objet FileSystemInput de classe.

   from sagemaker.inputs import FileSystemInput
   
   train_fs = FileSystemInput(
       file_system_id="fs-0123456789abcdef0",
       file_system_type="FSxLustre",
       directory_path="/1234abcd/ns1/",
       file_system_access_mode="ro",
   )

   Astuce

   Lorsque vous spécifiezdirectory_path, assurez-vous de fournir le chemin du système de FSx fichiers Amazon en commençant parMountName.

2. Configurez un estimateur SageMaker AI avec la configuration VPC utilisée pour le système de fichiers Amazon. FSx

   from sagemaker.estimator import Estimator
   
   estimator = Estimator(
       ...
       role="your-iam-role-with-access-to-your-fsx",
       subnets=["subnet-id"],  # Should be the same as the subnet used for Amazon FSx
       security_group_ids="security-group-id"
   )

   Assurez-vous que le rôle IAM associé au poste de SageMaker formation dispose des autorisations nécessaires pour accéder à Amazon FSx et lire des informations sur celui-ci.

3. Lancez la tâche de formation en exécutant la méthode estimator.fit avec le système de fichiers Amazon. FSx

   estimator.fit(train_fs)

Pour trouver d'autres exemples de code, consultez la section Utiliser des systèmes de fichiers comme entrées d'apprentissage dans la documentation du SDK SageMaker Python.

Using the SageMaker AI CreateTrainingJob API

Dans le cadre de la CreateTrainingJobrequête JSON, configurez InputDataConfig comme suit.

"InputDataConfig": [ 
    { 
        "ChannelName": "string",
        "DataSource": { 
            "FileSystemDataSource": { 
                "DirectoryPath": "/1234abcd/ns1/",
                "FileSystemAccessMode": "ro",
                "FileSystemId": "fs-0123456789abcdef0",
                "FileSystemType": "FSxLustre"
            }
        }
    }
],

Astuce

Lorsque vous spécifiezDirectoryPath, assurez-vous de fournir le chemin du système de FSx fichiers Amazon en commençant parMountName.