Configuration desAWS DataSync transferts avec Google Cloud Storage

Le didacticiel suivant explique commentAWS DataSync migrer des objets d'un compartiment Google Cloud Storage vers un compartiment Amazon S3.

Présentation

Grâce à l'DataSyncintégration à l'API XML de Google Cloud Storage, vous pouvez copier des objets dans Amazon S3 sans écrire de code. La manière dont cela fonctionne dépend de l'endroit où vous déployez l'DataSyncagent qui facilite le transfert.

Agent in Google Cloud

1. Vous déployez unDataSync agent dans votre environnement Google Cloud.

2. L'agent lit votre compartiment Google Cloud Storage à l'aide d'une clé d'authentification de message (HMAC).

3. Les objets de votre compartiment Google Cloud Storage se déplacent en toute sécurité via TLS 1.2 vers le enAWS Cloud utilisant un point de terminaison public.

4. LeDataSync service écrit les données dans votre compartiment Amazon S3.

Le schéma suivant illustre le transfert.

Agent in your VPC

1. Vous déployez unDataSync agent dans un Virtual Private Cloud (VPC) de votreAWS environnement.

2. L'agent lit votre compartiment Google Cloud Storage à l'aide d'une clé d'authentification de message (HMAC).

3. Les objets de votre compartiment Google Cloud Storage se déplacent en toute sécurité via TLS 1.2 vers le enAWS Cloud utilisant un point de terminaison VPC privé.

4. LeDataSync service écrit les données dans votre compartiment Amazon S3.

Le schéma suivant illustre le transfert.

Coûts

Les frais associés à cette migration incluent :

• Exécution d'une instance de machine virtuelle (VM) Google Compute Engine (si vous déployez votreDataSync agent dans Google Cloud)

• Exécution d'une instance Amazon EC2 (si vous déployez votreDataSync agent dans un VPC au sein de celui-ciAWS)

• Transférer les données à l'aide de DataSync

• Transférer des données depuis Google Cloud Storage

• Stockage de données dans Amazon S3

Prérequis

Avant de commencer, vous devez exécuter les actions suivantes si ce n'est pas déjà fait :

• Créez un bucket Google Cloud Storage contenant les objets vers lesquels vous souhaitez transférerAWS.

• S'inscrire à unCompte AWS.

• Créez un compartiment Amazon S3 pour stocker vos objets une fois qu'ils y sontAWS.

Étape 1 : Créer une clé HMAC pour votre compartiment Google Cloud Storage

DataSyncutilise une clé HMAC associée à votre compte de service Google pour vous authentifier auprès du compartiment à partir duquel vous transférez des données et le lire. (Pour obtenir des instructions détaillées sur la création de clés HMAC, consultez la documentation de Google Cloud Storage.)

Pour créer une clé HMAC

1. Créez une clé HMAC pour votre compte de service Google.

2. Assurez-vous que votre compte de service Google possède au moinsStorage Object Viewer des autorisations.

3. Enregistrez l'ID d'accès et le secret d'accès de votre clé HMAC dans un emplacement sécurisé.

   Vous aurez besoin de ces éléments ultérieurement pour configurer votre emplacementDataSync source.

Étape 2 : configuration de votre réseau

La configuration réseau requise pour cette migration dépend de la manière dont vous souhaitez déployer votreDataSync agent.

Pour unDataSync agent dans Google Cloud

Si vous souhaitez héberger votreDataSync agent dans Google Cloud, configurez votre réseau pour autoriser lesDataSync transferts via un point de terminaison public.

Pour unDataSync agent dans votre VPC

Si vous souhaitez héberger votre agentAWS, vous avez besoin d'un VPC doté d'un point de terminaison d'interface. DataSyncutilise le point de terminaison VPC pour faciliter le transfert.

Pour configurer votre réseau pour un point de terminaison VPC

1. Si vous n'en avez pas, créez un VPC dans leRégion AWS même compartiment Amazon S3.

2. Créez un sous-réseau privé pour votre VPC.

3. Créez un point de terminaison VPC pour enDataSync utilisantAWS PrivateLink.

4. Configurez votre réseau pour autoriserDataSync les transferts via un point de terminaison VPC.

   Pour apporter les modifications de configuration nécessaires, vous pouvez modifier le groupe de sécurité associé à votre point de terminaison VPC. Pour plus d'informations, consultez la rubrique Contrôler le trafic vers les ressources à l'aide de groupes de sécurité dans le Guide de l'utilisateur Amazon Virtual Private Cloud.

Étape 3 : Créer unDataSync agent

Vous avez besoin d'unDataSync agent capable d'accéder à votre compartiment Google Cloud Storage et de le lire.

Pour Google Cloud

Dans ce scénario, l'DataSyncagent s'exécute dans votre environnement Google Cloud.

Avant de commencer : installez l'interface de ligne de commande Google Cloud.

Pour créer l'agent pour Google Cloud

1. Ouvrez laAWS DataSync console à l'adresse https://console.aws.amazon.com/datasync/.

2. Dans le panneau de navigation de gauche, choisissez Agents, puis choisissez Créer un agent.

3. Pour Hypervisor, choisissez VMware ESXi, puis choisissez Télécharger l'image pour télécharger un.zip fichier contenant l'agent.

4. Ouvrez un terminal . Décompressez l'image en exécutant les commandes suivantes.

   unzip AWS-DataSync-Agent-VMWare.zip

5. Extrayez le contenu du.ova fichier de l'agentaws-datasync en commençant par en exécutant la commande suivante :

   tar -xvf aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt.ova

6. Importez le.vmdk fichier de l'agent dans Google Cloud en exécutant la commande Google Cloud CLI suivante :

   gcloud compute images import aws-datasync-2-test \
      --source-file INCOMPLETE-aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt-disk1.vmdk \
      --os centos-7

   Note

   L'importation du.vmdk fichier peut prendre jusqu'à deux heures.

7. Créez et démarrez une instance de machine virtuelle pour l'image d'agent que vous venez d'importer.

   L'instance a besoin des configurations suivantes pour votre agent. (Pour obtenir des instructions détaillées sur la création d'une instance, consultez la documentation de Google Cloud Compute Engine.)

   • Pour le type de machine, choisissez l'une des options suivantes :

     • e2-standard-8 — Pour lesDataSync tâches qui transfèrent jusqu'à 20 millions de fichiers.

     • e2-standard-16 — Pour lesDataSync tâches qui transfèrent plus de 20 millions de fichiers.

   • Pour les paramètres du disque de démarrage, accédez à la section des images personnalisées. Choisissez ensuite l'image de l'DataSyncagent que vous venez d'importer.

   • Pour le paramètre du compte de service, choisissez votre compte de service Google (le même compte que celui que vous avez utilisé à l'étape 1).

   • Pour le paramètre du pare-feu, choisissez l'option permettant d'autoriser le trafic HTTP (port 80).

     Pour activer votreDataSync agent, le port 80 doit être ouvert sur l'agent. Le port n'a pas besoin d'être accessible au public. Une fois activé,DataSync ferme le port.

8. Une fois que l'instance de machine virtuelle est en cours d'exécution, notez son adresse IP publique.

   Vous aurez besoin de cette adresse IP pour activer l'agent.

9. Revenez à la console DataSync. Sur l'écran Créer un agent où vous avez téléchargé l'image de l'agent, procédez comme suit pour activer votre agent :

   • Pour Type de point de terminaison, choisissez l'option Points de terminaison du service public (par exemple, points de terminaison du service public dans l'est de l'Ohio aux États-Unis).

   • Dans la zone Clé d'activation, sélectionnez Obtenir automatiquement la clé d'activation auprès de votre agent.

   • Dans Adresse de l'agent, entrez l'adresse IP publique de l'instance de machine virtuelle d'agent que vous venez de créer.

   • Choisissez Obtenir la clé.

10. Donnez un nom à votre agent, puis choisissez Créer un agent.

Votre agent est en ligne et prêt à transférer des données.

Pour votre VPC

Dans ce scénario, l'agent s'exécute en tant qu'instance Amazon EC2 d'un VPC associé à votreCompte AWS.

Avant de commencer : configurez leAWS Command Line Interface (AWS CLI).

Pour créer l'agent pour votre VPC

1. Ouvrez un terminal . Assurez-vous de configurer votreAWS CLI profil pour utiliser le compte associé à votre compartiment S3.

2. Copiez la commande ci-après. vpc-regionRemplacez-le par l'Région AWSendroit où se trouve votre VPC (par exemple,us-east-1).

   aws ssm get-parameter --name /aws/service/datasync/ami --region vpc-region

3. Exécutez la commande . Prenez note de la"Value" propriété figurant dans le résultat retourné.

   Cette valeur est l'IDDataSync Amazon Machine Image (AMI) de la région que vous avez spécifiée. Par exemple, un ID AMI peut ressembler àami-1234567890abcdef0.

4. Copiez l'URL suivante. Encore une fois,vpc-region remplacez-le par l'Région AWSendroit où se trouve votre VPC. Ensuite, remplacez-leami-id par l'ID d'AMI que vous avez noté à l'étape précédente.

   https://console.aws.amazon.com/ec2/v2/home?region=vpc-region#LaunchInstanceWizard:ami=ami-id

5. Collez l'URL dans un navigateur.

   La page de lancement de l'instance Amazon EC2 s'AWS Management Consoleaffiche.

6. Dans Type d'instance, choisissez l'une des instances Amazon EC2 recommandées pour lesDataSync agents.

7. Dans le champ Paire de clés, choisissez une key pair existante ou créez-en une.

8. Pour les paramètres réseau, choisissez le VPC et le sous-réseau sur lesquels vous souhaitez déployer l'agent.

9. Choisissez Launch Instance.

10. Une fois l'instance Amazon EC2 exécutée, choisissez votre point de terminaison VPC.

11. Activez votre agent.

Étape 4 : créer un emplacementDataSync source pour votre compartiment Google Cloud Storage

Pour configurer l'DataSyncemplacement de votre compartiment Google Cloud Storage, vous avez besoin de l'ID d'accès et du code secret de la clé HMAC que vous avez créée à l'étape 1.

Pour créer l'emplacementDataSync source

1. Ouvrez laAWS DataSync console à l'adresse https://console.aws.amazon.com/datasync/.

2. Dans le volet de navigation de gauche, développez Transfert de données, puis choisissez Locations et Créer un emplacement.

3. Pour Type d'emplacement, choisissez Stockage d'objets.

4. Dans la zone Agents, choisissez l'agent que vous avez créé à l'étape 3.

5. Dans le champ Serveur, entrezstorage.googleapis.com.

6. Dans Nom du compartiment, entrez le nom de votre compartiment Google Cloud Storage.

7. Développer Additional settings (Paramètres supplémentaires). Dans le champ Protocole du serveur, choisissez HTTPS. Pour Port du serveur, choisissez 443.

8. Faites défiler jusqu'à la section Authentification. Assurez-vous que la case Requiert des informations d'identification est cochée, puis procédez comme suit :

   • Dans le champ Clé d'accès, saisissez l'identifiant d'accès de votre clé HMAC.

   • Dans le champ Clé secrète, saisissez le secret de votre clé HMAC.

9. Choisissez Créer un lieu.

Étape 5 : Création d'un emplacement deDataSync destination pour votre compartiment S3

Vous avez besoin d'unDataSync emplacement où vous souhaitez que vos données aboutissent.

Pour créer l'emplacementDataSync de destination

1. Ouvrez laAWS DataSync console à l'adresse https://console.aws.amazon.com/datasync/.

2. Dans le volet de navigation de gauche, développez Transfert de données, puis choisissez Locations et Créer un emplacement.

3. Créez unDataSync emplacement pour le compartiment S3.

   Si vous avez déployé l'DataSyncagent dans votre VPC, ce didacticiel part du principe que le compartiment S3 se trouve au même endroitRégion AWS que votre VPC et votreDataSync agent.

Étape 6 : Créer et démarrer uneDataSync tâche

Une fois vos emplacements source et destination configurés, vous pouvez commencer à déplacer vos données versAWS.

Pour créer et démarrer laDataSync tâche

1. Ouvrez laAWS DataSync console à l'adresse https://console.aws.amazon.com/datasync/.

2. Dans le volet de navigation de gauche, développez Transfert de données, puis choisissez Tâches, puis choisissez Créer une tâche.

3. Sur la page Configure source location, procédez de la façon suivante :

   1. Choisissez Choisir un emplacement existant.

   2. Choisissez l'emplacement source que vous avez créé à l'étape 4, puis choisissez Suivant.

4. Sur la page Configure destination, procédez de la façon suivante :

   1. Choisissez Choisir un emplacement existant.

   2. Choisissez l'emplacement de destination que vous avez créé à l'étape 5, puis choisissez Suivant.

5. Sur la page Configure settings, procédez de la façon suivante :

   1. Sous Configuration du transfert de données, développez Paramètres supplémentaires et désactivez la case à cocher Copier les balises de l'objet.

      Important

      CommeDataSync la communication avec Google Cloud Storage s'effectue à l'aide de l'API Amazon S3, certaines limites peuvent entraîner l'échec de votreDataSync tâche si vous essayez de copier des balises d'objet.

   2. Configurez les autres paramètres de tâche de votre choix, puis choisissez Suivant.

6. Sur la page Examiner, vérifiez les paramètres, puis choisissez Créer une tâche.

7. Sur la page des détails de la tâche, choisissez Démarrer, puis choisissez l'une des options suivantes :

   • Pour exécuter la tâche sans modification, choisissez Commencer par les valeurs par défaut.

   • Pour modifier la tâche avant de l'exécuter, choisissez Démarrer avec des options de remplacement.

Lorsque votre tâche est terminée, les objets de votre compartiment Google Cloud Storage s'affichent dans votre compartiment S3.