Didacticiel : Transfert de données de Google Cloud Storage vers Amazon S3

Le didacticiel suivant montre comment vous pouvez utiliserAWS DataSyncpour migrer des objets d'un compartiment Google Cloud Storage vers un compartiment Amazon S3.

Présentation

Etant donné que DataSync Intégration de avec leAPI XML Google Cloud Storage, vous pouvez copier des objets dans Amazon S3 sans écrire de code. Voyons comment fonctionne ce transfert :

1. Vous déployez un DataSync dans un Virtual Private Cloud (VPC) dans votreAWSenvironnement.

2. L'agent lit votre compartiment Google Cloud Storage à l'aide d'une clé HMAC (Message Authentication Code) basé sur le hachage.

3. Les objets de votre compartiment Google Cloud Storage se déplacent en toute sécurité via TLS 1.2 vers leAWS Clouden utilisant un point de terminaison de VPC privé.

4. Le DataSync service écrit les données dans votre compartiment S3.

Le schéma suivant illustre le transfert.

Coûts

Les frais associés à cette migration incluent :

• Exécution d'unAmazon EC2(pour votre DataSync agent)

• Transfert des données à l'aide deDataSync

• Transfert de données hors deStockage dans le cloud Google

• Stockage des données dansAmazon S3

Prérequis

Avant de commencer, vous devez exécuter les actions suivantes, si vous ne l'avez pas déjà fait :

• Créer un compartiment Google Cloud Storageavec les objets dans lesquels vous souhaitez transférerAWS.

• Création d'unCompte AWS.

• Configuration de l'AWS CLI.

• Création d'un compartiment Amazon S3où vous voulez que les objets se trouvent une fois qu'ils sont dansAWS.

Étape 1 : Créez une clé HMAC pour votre compartiment Google Cloud Storage

DataSync utilise une clé HMAC associée à votre compte de service Google pour s'authentifier et lire le compartiment à partir duquel vous transférez des données. (Si vous avez besoin d'instructions détaillées sur la façon de procéder, veuillez consulter leDocumentation Google Cloud Storage.)

Pour créer une clé HMAC

1. Créez une clé HMAC pour votre compte de service Google.

2. Assurez-vous que votre compte de service Google possède au moinsStorage Object Viewerautorisations.

3. Enregistrez l'ID d'accès et le secret de votre clé HMAC dans un emplacement sécurisé.

   Vous en aurez besoin ultérieurement pour configurer votre DataSync emplacement de la source.

Étape 2 : Configurer votre réseau

Vous avez besoin d'un VPC dansAWSpour héberger votre DataSync agent. Le VPC doit également disposer d'un point de terminaison d'interface (à l'aide deAWS PrivateLink) pour faciliter le transfert.

Pour configurer votre réseau

1. Si vous n'en avez pas,Création d'un VPCdans le mêmeRégion AWScomme compartiment S3.

2. Créez un sous-réseau privé pour votre VPC.

3. Création d'un point de terminaison de VPCpour DataSync.

4. Configurer votre réseau pourpermettre à un agent DataSync de transférer des données via un point de terminaison VPC.

   Vous pouvez le faire en modifiant le groupe de sécurité associé à votre point de terminaison VPC.

Étape 3 : Créer un agent DataSync

Vous avez besoin d'un DataSync agent pour se connecter à votre compartiment Google Cloud Storage. Dans ce scénario, l'agent s'exécute dans un VPC associé à votreCompte AWS.

Déploiement de votre agent

Dans ce tutoriel, vous utiliserez l.AWS CLIetAWS Management Consolepour déployer votre agent en tant qu'instance Amazon EC2.

Pour déployer le connecteur DataSync agent

1. Ouvrez un terminal. Assurez-vous de configurer votreAWS CLIpour utiliser le compte avec votre compartiment S3.

2. Copiez la commande ci-après. Remplacezvpc-regionavec leRégion AWSoù réside votre VPC (par exemple,us-east-1).

   aws ssm get-parameter --name /aws/service/datasync/ami --region vpc-region

3. Exécutez la commande . Dans la sortie, veuillez noter le"Value"propriété.

   Cette valeur est la valeur DataSync ID Amazon Machine Image (AMI) de la région que vous avez spécifiée (un ID AMI ressemble àami-1234567890abcdef0).

4. Copiez l'URL ci-après. Encore une fois, remplacervpc-regionavec leRégion AWSoù réside votre VPC. Ensuite, remplacezami-idavec l'ID de l'AMI que vous avez noté à l'étape précédente.

   https://console.aws.amazon.com/ec2/v2/home?region=vpc-region#LaunchInstanceWizard:ami=ami-id

5. Collez l'URL dans un navigateur.

   La page de lancement de l'instance Amazon EC2 s'ouvre dans leAWS Management Console.

6. PourType d'instance, choisissez l'une des optionsInstances Amazon EC2 recommandées pour DataSync agents.

7. PourPaire de clés, choisissez une key pair existante ou créez-en une.

8. PourParamètres réseau, choisissez le VPC et le sous-réseau dans lesquels vous souhaitez déployer l'agent.

9. Choisissez Launch instance (Lancer une instance).

Spécifiez l'agent pour votre DataSync tâche

Lorsque votre réseau est configuré et que l'agent est en cours d'exécution, vous pouvez commencer à configurer votre transfert.

1. Choisissez votre point de terminaison de VPC.

2. Activation de l'agent.

Étape 4 : Créer un emplacement source DataSync pour votre compartiment Google Cloud Storage

Pour configurer un DataSync emplacement de votre compartiment Google Cloud Storage, vous avez besoin de l'ID d'accès et du secret de la clé HMAC que vous avez créée à l'étape 1.

Pour créer le DataSync emplacement source

1. Ouverture d'AWS DataSyncconsole surhttps://console.aws.amazon.com/datasync/.

2. Dans le volet de navigation de gauche, choisissezEmplacements, puisCréation d'un emplacement.

3. PourType d'emplacement, choisissezStockage d'objets.

4. PourAgents, choisissez l'agent que vous avez créé à l'étape 3.

5. Pourde bases de données, saisissezstorage.googleapis.com.

6. PourNom du compartiment, entrez le nom de votre compartiment Google Cloud Storage.

7. Développer Additional settings (Paramètres supplémentaires). PourProtocole serveur, choisissezHTTPS. PourServer port, choisissez443.

8. Faites défiler jusqu'à la pageAuthentificationSection. Vérifiez les éléments suivants :Besoin d'informationsest cochée, puis procédez comme suit :

   • PourClé d’accès, entrez l'ID d'accès de votre clé HMAC.

   • PourClé secrète, entrez le secret de votre clé HMAC.

9. ChoisissezCréation d'un emplacement.

Étape 5 : Création d'un DataSync Emplacement de destination de votre compartiment S3

Vous avez besoin d'un DataSync emplacement où vous souhaitez que vos données finissent.

Pour créer le DataSync lieu de destination

1. Ouverture d'AWS DataSyncconsole surhttps://console.aws.amazon.com/datasync/.

2. Dans le panneau de navigation de gauche, choisissezEmplacements, puisCréation d'un emplacement.

3. Création d'un DataSync emplacement du godet S3.

   Vous pouvez configurer les paramètres de l'emplacement comme vous le souhaitez, bien que ce didacticiel suppose que le compartiment S3 est dans le même.Région AWScomme VPC et DataSync agent.

Étape 6 : Créez et démarrez un DataSync tâche

Lorsque vos emplacements source et destination sont configurés, vous pouvez commencer à transférer vos données dansAWS.

Pour créer et démarrer l' DataSync tâche

1. Ouverture d'AWS DataSyncconsole surhttps://console.aws.amazon.com/datasync/.

2. Dans le panneau de navigation de gauche, choisissezTâches, puisCréer tâche.

3. Dans la pageConfigurer l'emplacement source, procédez de la façon suivante :

   1. Tâche de sélectionChoisissez un emplacement existant.

   2. Choisissez l'emplacement source que vous avez créé à l'étape 4, puis choisissezSuivant.

4. Dans la pageConfigurer l'emplacement de destination, procédez de la façon suivante :

   1. Tâche de sélectionChoisissez un emplacement existant.

   2. Choisissez l'emplacement de destination que vous avez créé à l'étape 5, puis choisissezSuivant.

5. Dans la pageConfiguration des paramètres, procédez de la façon suivante :

   1. UNDERConfiguration du transfert des données, agrandirParamètres supplémentaireset désélectionnez la caseCopie d'étiquettes d'objetsoption.

      Important

      Votre DataSync peut échouer si vous essayez de copier des balises d'objets. Pour plus d'informations, consultez Considérations relatives à la migration vers ou depuis un bucket Google Cloud Storage.

   2. Configurez tous les autres paramètres de tâches que vous voulez, puis choisissezSuivant.

6. Dans la pageVérification, vérifiez vos paramètres, puis choisissezCréer tâche.

7. Sur la page des détails de la tâche, choisissezDémarrer, puis choisissez l'une des options suivantes :

   • Pour exécuter la tâche sans modification, choisissezCommencez par les valeurs par défaut.

   • Pour modifier la tâche avant de l'exécuter, choisissezCommencez par remplacer les options.

Lorsque votre tâche est terminée, vous verrez les objets de votre compartiment Google Cloud Storage dans votre compartiment S3.