Création de votre DataSync tâche - AWS DataSync

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création de votre DataSync tâche

Si vous utilisez pour la première fois DataSync, les instructions de la sectionDémarrer avec AWS DataSyncvous guide tout au long du processus de création d'une tâche.

Prérequis : Création des emplacements pour votre DataSync tâche

UN DataSync nécessite un emplacement source et de destination pour transférer les données entre.

Pour une liste des domaines des domaines de DataSync emplacements et scénarios de transfert, voirUtilisation d'AWS DataSyncles lieux.

Création d'une tâche pour transférer des données entre le stockage autogéré etAWS

Si vous avez déjà créé une tâche et que vous souhaitez créer des tâches supplémentaires, utilisez la procédure suivante.

Pour créer une tâche

  1. Ouverture d'AWS DataSyncsur la consolehttps://console.aws.amazon.com/datasync/.

  2. Dans le panneau de navigation de gauche, choisissezTâches, puisCréer tâche.

  3. Sur la page Configure source location (Configurer l'emplacement source), choisissez Create new location (Créer un emplacement) et configurez un nouvel emplacement si vous souhaitez en utiliser un pour votre source. Fournissez les paramètres de configuration et choisissez Next (Suivant). Pour obtenir des instructions sur la création d'un emplacement, consultez Utilisation d'AWS DataSyncles lieux.

    Si vous souhaitez utiliser un emplacement source que vous avez précédemment créé, choisissez Choose existing location (Choisir l'emplacement existant), choisissez votre emplacement source dans la liste, puis choisissez Suivant.

    Pour step-by-step instructions, voirConfiguration d'un emplacement source.

Création d'une tâche à transférer entre des sites dans le cloud

Utilisez les instructions suivantes pour configurer le DataSync agent sur une instance Amazon EC2 pour les transferts de données. Les exemples décrits dans cette section couvrent ces cas d'utilisation :

Création d'une tâche à transférer d'un NFS dans le cloud vers NFS dans le cloud ou Amazon S3

Utilisez les instructions suivantes pour transférer des données depuis un système de fichiers NFS dans le cloud versAWS. Pour effectuer ce transfert, le DataSync L'agent doit être situé dans le mêmeRégion AWSet pareilCompte AWSoù le système de fichiers est déployé. Ce type de transfert inclut les transferts d'EFS vers EFS, les transferts d'NFS autogéré vers Amazon EFS et les transferts vers Amazon S3. Pour obtenir des informations sur le fonctionnement d'un transfert de NFS dans le cloud vers NFS dans le cloud ou Amazon S3, consultezTransfert de données d'un système de fichiers cloud vers un autre système de fichiers cloud ou Amazon S3.

Note

Déploiement de l'agent dansRégion AWSetCompte AWSoù l'EFS source ou le système de fichiers NFS auto-géré réside.

Déployer votre DataSync agent en tant qu'instance Amazon EC2 pour lire des fichiers depuis le cloud

Pour déployer le connecteur DataSync agent en tant qu'instance Amazon EC2

  1. De laCompte AWSoù réside EFS source, lancez l'agent à l'aide de votre Amazon Machine Image (AMI) à partir de l'assistant de lancement Amazon EC2. Utilisez l'URL suivante pour lancer l'AMI.

    https://console.aws.amazon.com/ec2/v2/home?region=source-efs-or-nfs-region#LaunchInstanceWizard:ami=ami-id

    Dans l'URL, remplacez les valleurs source-efs-or-nfs-region et ami-id par les vôtres.

    Après le lancement de l'AMI,Choisir un type d'instanceapparaît sur la console Amazon EC2. Pour une liste des ID d'AMI parRégion AWS, voirDéployer votre agent en tant qu'instance Amazon EC2.

  2. Choisissez l'un des types d'instances recommandée pour votre cas d'utilisation, puis choisissezSuivant : Configurer les détails d'instance. Pour obtenir les types d'instances recommandés, consultez Exigences liées à l'instance Amazon EC2.

  3. Sur la page Configure Instance Details (Configurer les détails de l'instance), procédez de la façon suivante :

    1. Pour Réseau, choisissez le VPC dans lequel votre NFS ou EFS source est situé.

    2. Choisissez une valeur pour Attribuer automatiquement l'adresse IP publique. Si vous voulez que votre instance soit accessible depuis l'Internet public, définissez Attribuer automatiquement l'adresse IP publique sur Activer. Sinon, définissez Attribuer automatiquement l'adresse IP publique sur Désactiver. Si aucune une adresse IP publique n'a été attribuée, activez l'agent dans votre VPC à l'aide de son adresse IP privée.

      Lorsque vous transférez des fichiers à partir d'un NFS dans le cloud, afin d'accroître les performances, nous vous recommandons de choisir le groupe de placement dans lequel votre serveur NFS réside.

  4. Choisissez Next (Suivant) Add Storage. L'agent ne nécessite pas de stockage supplémentaire, vous pouvez donc ignorer cette étape et choisirSuivant: Ajout de balises.

  5. (Facultatif) Sur leAjouter des balises, vous pouvez ajouter des balises à votre instance Amazon EC2. Lorsque vous avez terminé sur cette page, choisissezSuivant: Configurer le groupe de sécurité.

  6. Sur la page Configurer le groupe de sécurité, procédez de la façon suivante :

    1. Assurez-vous que le groupe de sécurité sélectionné autorise l'accès entrant à HTTP port 80 à partir du navigateur Web que vous prévoyez d'utiliser pour activer l'agent.

    2. Assurez-vous que le groupe de sécurité du NFS ou EFS source autorise le trafic entrant à partir de l'agent. De plus, assurez-vous que l'agent autorise le trafic sortant vers le NFS ou EFS source. Le trafic est acheminé via le port NFS standard, 2049.

    Pour connaître l'ensemble complet des exigences réseau pour DataSync, voirAWS DataSyncexigences.

  7. Choisissez Vérifier et lancer pour vérifier votre configuration, puis Lancer pour lancer votre instance. N'oubliez pas d'utiliser une paire de clés qui est accessible pour vous. Une page de confirmation apparaît pour indiquer que l'instance est en cours de lancement.

  8. ChoisissezAffichage des instancespour fermer la page de confirmation et revenir à l'écran des instances Amazon EC2. Lorsque vous lancez une instance, son état initial est pending. Lorsque l'instance démarre, son état passe à running. A ce stade, un nom DNS (Domain Name System) public et une adresse IP lui sont attribués, lesquels sont visibles dans leDescriptionsOnglet.

  9. Si vous définissez Attribuer automatiquement l'adresse IP publique sur Activer, choisissez votre instance et notez l'adresse IP publique dans l'onglet Description. Vous utiliserez cette adresse IP ultérieurement pour vous connecter à votre agent de synchronisation.

    Si vous définissez Attribuer automatiquement l'adresse IP publique sur Désactiver, lancez ou utilisez une instance existante dans votre VPC pour activer l'agent. Dans ce cas, vous utilisez l'adresse IP privée de l'agent de synchronisation pour activer l'agent à partir de cette instance dans le VPC.

Création d'une tâche pour transférer des données depuis EFS ou un stockage autogéré

Ensuite, vous créez une tâche pour transférer les données.

Note

Créez la tâche dans leRégion AWSetCompte AWSoù l'EFS de destination ou le compartiment Amazon S3 réside.

Pour créer une tâche

  1. Ouverture d' DataSync sur la consoleRégion AWSoù se trouve votre système de fichiers Amazon EFS de destination. Le compartiment Amazon S3 ou l'EFS de destination doit être situé dans le même compartimentCompte AWS.

  2. ChoisissezCréer tâche, puisSur site àAWSsur leOptions de cas d'utilisationpage, puis choisissezCréer un agent.

  3. DansCréer un agentMagicienActivation, saisissez l'adresse IP de l'instance Amazon EC2 pourAdresse de l'agent, puisObtenir la clé. Cette adresse IP peut être privée ou publique. Pour plus d'informations, veuillez consulter l'étape 9 de Pour déployer le connecteur DataSync agent en tant qu'instance Amazon EC2.

    Votre navigateur se connecte à cette adresse IP pour obtenir une clé d'activation unique à partir de votre agent. Cette clé associe de façon sécurisée votre agent à votreCompte AWS. Il n'est pas nécessaire que cette adresse IP soit accessible à partir de l'extérieur de votre réseau, mais elle doit être accessible à partir de votre navigateur.

  4. Saisissez un nom d'agent que vous pouvez identifier facilement plus tard, puis choisissez Create agent (Créer un agent) lorsque vous avez terminé. Si vous le souhaitez, vous pouvez ajouter des balises à l'agent.

  5. ChoisissezTâchesdans le panneau de navigation de gauche.

  6. ChoisissezSur site àAWS, et choisissezSuivantpour ouvrirConfiguration de la source.

  7. Dans les options d'emplacement de la source, choisissez Create new location (Créer un emplacement) et choisissez Network File System (NFS) ou Server Message Block (SMB). Remplissez les options suivantes :

    • Pour l'agent, choisissez l'agent que vous venez de créer dans la liste.

    • Si vous effectuez une copie depuis l'EFS, procédez comme suit :

      • Pour NFS Server (Serveur NFS), saisissez le Nom DNS de votre EFS source.

      • PourChemin de montage, saisissez/(barre oblique) et choisissezSuivant.

    • Si vous effectuez une copie depuis NFS ou SMB auto-géré, procédez comme suit :

      • Pour NFS server (Serveur NFS), saisissez l'adresse IP ou DNS privée de votre NFS source.

      • PourChemin de montage, saisissez un chemin qui est exporté par votre serveur NFS et choisissezSuivant. Pour plus d'informations, consultez Création d'un emplacement NFS.

  8. Choisissez Create new location (Créer un emplacement). Il s'agit de l'emplacement de destination pour le transfert de vos données. Remplissez les options suivantes :

    • Si vous effectuez une copie vers l'EFS, procédez comme suit :

      • Pour Location type (Type d'emplacement), choisissez EFS.

      • Choisissez votre EFS de destination.

      • PourChemin de montage, saisissez/(barre oblique).

      • Pour Sous-réseau et Groupes de sécurité, utilisez les paramètres par défaut et choisissez Suivant.

    • Si vous effectuez une copie vers Amazon S3, procédez comme suit :

      • PourType de lieu, choisissez Amazon S3 bucket.

      • PourCompartiment Amazon S3, choisissez votre compartiment Amazon S3 source.

      • Pour Dossier, choisissez un préfixe de dossier à utiliser pour le transfert. Vous pouvez également laisser ce champ vide.

      • Choisissez votre compartiment Amazon S3 de destination et un dossier facultatif. DataSync peutgénérerunAWS Identity and Access Management(IAM) pour accéder à votre compartiment, ou vous pouvez créer le vôtre.

  9. Choisissez Suivant et, le cas échéant, attribuez un nom à la tâche et ajoutez des balises.

  10. Choisissez ou créez un compte Amazon CloudWatch Logs log group en bas de la page, puis choisissezSuivant. Pour de plus amples informations sur l'utilisation de CloudWatch Logs, voirAutoriser DataSync à télécharger des journaux vers des groupes de journaux Amazon CloudWatch Logs.

  11. Passez en revue les paramètres sur la page suivante, puis choisissez Create task (Créer une tâche).

  12. Choisissez Start (Démarrer) afin d'exécuter la tâche que vous venez de créer pour démarrer le transfert des données.

Création d'une tâche à transférer d'Amazon S3 vers NFS dans le cloud

Utilisez les instructions suivantes pour transférer des données depuis Amazon S3 vers un système de fichiers NFS dans le cloud, situé dans le mêmeCompte AWSetRégion AWSoù l'agent est déployé. Cette approche inclut les transferts d'Amazon S3 vers EFS, ou d'Amazon S3 vers NFS autogéré. Le schéma suivant illustre ce type de transfert. Pour en savoir plus sur le fonctionnement d'Amazon S3 vers NFS dans le cloud, consultezTransfert de données depuis Amazon S3 vers des systèmes de fichiers dans le cloud.

Déploiement du DataSync agent sur une instance Amazon EC2 pour écrire vers votre emplacement de destination

Tout d'abord, déployez le DataSync agent sur une instance Amazon EC2 dans leRégion AWSetCompte AWSoù réside le système de fichiers EFS de destination ou le serveur NFS autogéré.

Pour déployer l'agent

  • Lancez l'agent à partir de l'AMI sélectionnée à l'aide de l'assistant de lancement Amazon EC2. Pour cela, utilisez l'URL suivante.

    https://console.aws.amazon.com/ec2/v2/home?region=DESTINATION-EFS-or-NFS-REGION#LaunchInstanceWizard:ami=AMI-ID.

    Dans l'URL, remplacezRégion AWSet l'ID d'AMI avec le vôtre. Vous êtes redirigé vers la page Choisir un type d'instance sur la console Amazon EC2. Pour une liste des ID d'AMI parRégion AWS, voirDéployer votre agent en tant qu'instance Amazon EC2.

Création d'une tâche pour transférer des données à partir de Amazon S3

Ensuite, vous créez une tâche pour transférer les données.

Note

Créez la tâche dans leCompte AWSetRégion AWSoù réside le compartiment Amazon S3 source.

Pour créer une tâche qui transfère des données d'Amazon S3 vers EFS ou un NFS ou SMB auto-géré

  1. Ouverture d' DataSync sur la consoleRégion AWSoù se trouve votre compartiment Amazon S3 source.

  2. ChoisissezCréer tâche, puis choisissez le cas d'utilisationAWSsur site.

  3. Choisissez Create agent (Créer un agent).

  4. Si vous définissez Attribuer automatiquement l'adresse IP publique sur Activer, choisissez votre instance et notez l'adresse IP publique dans l'onglet Description. Vous utiliserez cette adresse IP ultérieurement pour vous connecter à votre agent de synchronisation.

    Si vous définissez Attribuer automatiquement l'adresse IP publique sur Désactiver, lancez ou utilisez une instance existante dans votre VPC pour activer l'agent. Dans ce cas, vous utilisez l'adresse IP privée de l'agent de synchronisation pour activer l'agent à partir de cette instance dans le VPC.

  5. DansCréer un agentWizard, pour.Adresse de l'agentsaisissez l'adresse IP de l'instance Amazon EC2 (privée ou publique, comme expliqué à l'étape 3), puis choisissezObtenir la clé.

    Votre navigateur se connecte à cette adresse IP pour obtenir une clé d'activation unique à partir de votre agent. Cette clé associe de façon sécurisée votre agent à votreCompte AWS. Il n'est pas nécessaire que cette adresse IP soit accessible à partir de l'extérieur de votre réseau, mais elle doit être accessible à partir de votre navigateur.

  6. Choisissez un nom d'agent que vous pouvez identifier facilement plus tard. Si vous le souhaitez, vous pouvez ajouter des balises. Lorsque vous avez terminé, choisissez Create agent (Créer un agent).

  7. ChoisissezAWSsur site, et choisissezSuivant.

  8. Choisissez Create new location (Créer un emplacement) :

    • PourType de lieu, choisissez Amazon S3 bucket.

    • PourCompartiment Amazon S3, choisissez votre compartiment Amazon S3 source.

    • Pour Dossier, choisissez un préfixe de dossier pour le transfert. Vous pouvez également laisser ce champ vide.

      DataSync peut générer un rôle IAM pour accéder à votre compartiment, ou vous pouvez créer le vôtre.

  9. Choisissez Next (Suivant). Choisissez Create new location (Créer un emplacement), choisissez NFS or SMB (NFS ou SMB) pour Location type (Type d'emplacement), puis choisissez l'agent que vous venez de créer dans la liste.

    1. Si vous effectuez une copie vers l'EFS, procédez comme suit :

      • Pour NFS Server (Serveur NFS), saisissez le Nom DNS de votre EFS source.

      • PourChemin de montage, saisissez/(barre oblique) et choisissezSuivant.

    2. Si vous effectuez une copie vers NFS dans le cloud, procédez comme suit :

      • Pour NFS server (Serveur NFS), saisissez l'adresse IP ou DNS privée de votre NFS source.

      • Pour Chemin de montage, saisissez un chemin qui est exporté par votre serveur NFS. Pour plus d'informations, consultez Création d'un emplacement NFS.

  10. Choisissez Suivant et, le cas échéant, attribuez un nom à la tâche et ajoutez des balises.

  11. Choisissez ou créez un CloudWatch Logs log group en bas de la page, puis choisissezSuivant. Pour de plus amples informations sur l'utilisation de CloudWatch Logs, voirAutoriser DataSync à télécharger des journaux vers des groupes de journaux Amazon CloudWatch Logs.

  12. Passez en revue les paramètres sur la page suivante, puis choisissez Create task (Créer une tâche).

  13. Choisissez Démarrer afin d'exécuter la tâche que vous venez de créer pour transférer les données, puis choisissez à nouveau Démarrer dans la page Start Task (Démarrer la tâche).

Configuration des paramètres de tâche

Vous trouverez ci-après des informations sur la configuration d'un paramètre de tâche. Vous utiliserez ces paramètres pour contrôler la façon dont l'exécution d'une tâche se comporte. Ces paramètres sont disponibles dans la section Options.

Ces options contrôlent le comportement d'une exécution de tâche. Le comportement inclut la conservation des métadonnées telles que l'ID utilisateur (UID) ou l'ID de groupe (GID), en préservant les autorisations sur les fichiers et la vérification de l'intégrité des données. Si vous ne définissez aucune valeur pour ces options, DataSync utilise un ensemble d'options par défaut qui peuvent être remplacées pour l'exécution d'une tâche.

Pour de plus amples informations sur la configuration d'un DataSync task, voirConfiguration des paramètres de tâche.

Les options disponibles sont les suivantes :

  • Vérification des données— Les options de vérification des données de tâche indiquent comment vérifier les données transférées par la tâche. Pour plus d'informations sur la configuration de ces options, consultezOptions de vérification des data.

  • Propriété et autorisations– DataSyncpréserve les métadonnées entre les systèmes de stockage ayant des structures de métadonnées similaires. Selon le type de système de stockage, différentes options sont utilisées pour configurer cette conservation des métadonnées. Pour plus d'informations sur la configuration de ces options, consultezOptions liées à la propriété et aux autorisations.

  • Métadonnées et gestion des fichiers— Vous pouvez configurer DataSync tâches pour copier les métadonnées des fichiers, conserver les fichiers supprimés et écraser les fichiers dans la destination. Pour plus d'informations, consultez Options de gestion et de métadonnées de fichiers.

  • Bandwidth— Vous pouvez configurer une limite de bande passante pour DataSync tasks. Pour plus d'informations sur la configuration des options de bande passante, consultezOptions de bande passante.

  • Filtrage— Lorsque vous transférez des données depuis votre emplacement source vers votre emplacement de destination, vous pouvez appliquer des filtres pour transférer uniquement un sous-ensemble des fichiers figurant dans votre emplacement source. Pour plus d'informations sur la configuration des options de filtrage, consultezOptions de filtrage.

  • Planification et mise en file d'attente— Vous pouvez planifier une DataSync tâche à exécuter à un moment précis. Si vous utilisez un seul agent pour exécuter plusieurs tâches, vous pouvez mettre ces tâches en file d'attente. Pour plus d'informations sur la configuration des options de planification et de mise en file d'attente, consultezOptions de planification et de mise en file d'attente.

  • Tags et journalisation— Vous pouvez ajouter une ou plusieurs balises pour organiser une DataSync tâche. Pour la journalisation, vous pouvez avoir DataSync publier des journaux pour des fichiers ou des objets individuels dans CloudWatch groupe de journaux que vous spécifiez. Pour plus d'informations sur la configuration des balises et les options de journalisation, consultezBalises et options de journalisation.