Tutoriel : Transfert de données depuis le stockage sur site vers Amazon S3 via Comptes AWS

Lorsque vous utilisez AWS DataSync le stockage sur site, vous transférez généralement les données vers un service AWS de stockage qui appartient au même Compte AWS que votre DataSync agent. Il existe toutefois des situations dans lesquelles vous devrez peut-être transférer des données vers un compartiment Amazon S3 associé à un autre compte.

Important

Le transfert de données à Comptes AWS l'aide des méthodes décrites dans ce didacticiel ne fonctionne que lorsque Amazon S3 est l'un des sites de DataSync transfert.

Présentation

Il n'est pas rare de devoir transférer des données entre différents acteurs Comptes AWS, en particulier si vous avez des équipes distinctes qui gèrent les ressources de votre organisation. Voici à quoi DataSync peut ressembler un transfert entre comptes :

• Compte source : Compte AWS pour gérer les ressources du réseau. Il s'agit du compte avec lequel vous activez votre DataSync agent.

• Compte de destination : Compte AWS pour gérer le compartiment S3 vers lequel vous devez transférer des données.

Le schéma suivant illustre ce type de scénario.

Prérequis : autorisations de compte source requises

Pour votre source Compte AWS, deux ensembles d'autorisations doivent être pris en compte pour ce type de transfert entre comptes :

• Autorisations utilisateur qui permettent à un utilisateur de travailler avec DataSync (il peut s'agir de vous ou de votre administrateur de stockage). Ces autorisations vous permettent de créer des DataSync emplacements et des tâches.

• DataSync autorisations de service qui permettent DataSync de transférer des données vers le compartiment de votre compte de destination.

User permissions

Dans votre compte source, ajoutez au moins les autorisations suivantes à un rôle IAM pour créer vos DataSync emplacements et vos tâches. Pour plus d'informations sur la façon d'ajouter des autorisations à un rôle, consultez la section Création ou modification d'un rôle IAM.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "SourceUserRolePermissions",
            "Effect": "Allow",
            "Action": [
                "datasync:CreateLocationS3",
                "datasync:CreateTask",
                "datasync:DescribeLocation*",
                "datasync:DescribeTaskExecution",
                "datasync:ListLocations",
                "datasync:ListTaskExecutions",
                "datasync:DescribeTask",
                "datasync:CancelTaskExecution",
                "datasync:ListTasks",
                "datasync:StartTaskExecution",
                "iam:CreateRole",
                "iam:CreatePolicy",
                "iam:AttachRolePolicy",
                "iam:ListRoles",
                "s3:GetBucketLocation",
                "s3:ListAllMyBuckets"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "iam:PassedToService": [
                        "datasync.amazonaws.com"
                    ]
                }
            }
        }
    ]
}

Astuce

Pour configurer vos autorisations d'utilisateur, pensez à utiliser AWSDataSyncFullAccess. Il s'agit d'une politique AWS gérée qui fournit à l'utilisateur un accès complet DataSync et un accès minimal à ses dépendances.

DataSync service permissions

Le DataSync service a besoin des autorisations suivantes dans votre compte source pour transférer des données vers le compartiment de votre compte de destination.

Plus loin dans ce didacticiel, vous ajouterez ces autorisations lors de la création d'un rôle IAM pour DataSync. Vous spécifiez également ce rôle (source-datasync-role) dans votre politique de compartiment de destination et lors de la création de votre position de DataSync destination.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": [
        "s3:GetBucketLocation",
        "s3:ListBucket",
        "s3:ListBucketMultipartUploads"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::amzn-s3-demo-destination-bucket"
    },
    {
      "Action": [
        "s3:AbortMultipartUpload",
        "s3:DeleteObject",
        "s3:GetObject",
        "s3:ListMultipartUploadParts",
        "s3:PutObject",
        "s3:GetObjectTagging",
        "s3:PutObjectTagging"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::amzn-s3-demo-destination-bucket/*"
    }
  ]
}

Prérequis : autorisations requises pour le compte de destination

Dans votre compte de destination, vos autorisations utilisateur doivent vous permettre de mettre à jour la politique de votre compartiment de destination et de désactiver ses listes de contrôle d'accès (ACLs). Pour plus d'informations sur ces autorisations spécifiques, consultez le guide de l'utilisateur Amazon S3.

Étape 1 : Dans votre compte source, créez un DataSync agent

Pour commencer, vous devez créer un DataSync agent capable de lire depuis votre système de stockage sur site et de communiquer avec le DataSync service. Ce processus inclut le déploiement d'un agent dans votre environnement de stockage sur site et l'activation de l'agent dans votre source Compte AWS.

Note

Les étapes de ce didacticiel s'appliquent à tous les types d'agent et de point de terminaison de service que vous utilisez.

Pour créer un DataSync agent

1. Déployez un DataSync agent dans votre environnement de stockage sur site.

2. Choisissez un point de terminaison de service avec lequel l'agent communiquera AWS.

3. Activez votre agent dans votre compte source.

Étape 2 : dans votre compte source, créez un rôle DataSync IAM pour accéder au compartiment de destination

Dans votre compte source, vous avez besoin d'un rôle IAM qui autorise DataSync le transfert de données vers le compartiment de votre compte de destination.

Comme vous effectuez un transfert entre comptes, vous devez créer le rôle manuellement. (vous DataSync pouvez créer ce rôle dans la console lors du transfert vers le même compte.)

Création du rôle DataSync IAM

Créez un rôle IAM en DataSync tant qu'entité de confiance.

Pour créer le rôle IAM

1. Connectez-vous au AWS Management Console avec votre compte source.

2. Ouvrez la console IAM à l'adresse https://console.aws.amazon.com/iam/.

3. Dans le volet de navigation de gauche, sous Gestion des accès, sélectionnez Rôles, puis sélectionnez Créer un rôle.

4. Sur la page Sélectionner une entité de confiance, pour Type d'entité de confiance, sélectionnez Service AWS.

5. Pour Cas d'utilisation, choisissez DataSyncdans la liste déroulante et sélectionnez DataSync. Choisissez Suivant.

6. Sur la page Add permissions (Ajouter des autorisations), sélectionnez Next (Suivant).

7. Donnez un nom à votre rôle et choisissez Créer un rôle.

Pour plus d'informations, consultez la section Création d'un rôle pour une Service AWS (console) dans le guide de l'utilisateur IAM.

Ajouter des autorisations au rôle DataSync IAM

Le rôle IAM que vous venez de créer nécessite les autorisations permettant de transférer des données DataSync vers le compartiment S3 de votre compte de destination.

Pour ajouter des autorisations à votre rôle IAM

1. Sur la page Rôles de la console IAM, recherchez le rôle que vous venez de créer et choisissez son nom.

2. Sur la page de détails du rôle, choisissez l'onglet Autorisations. Choisissez Ajouter des autorisations, puis Créer une politique en ligne.

3. Choisissez l'onglet JSON et procédez comme suit :

   1. Collez le code JSON suivant dans l'éditeur de règles :

      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Action": [
              "s3:GetBucketLocation",
              "s3:ListBucket",
              "s3:ListBucketMultipartUploads"
            ],
            "Effect": "Allow",
            "Resource": "arn:aws:s3:::amzn-s3-demo-destination-bucket"
          },
          {
            "Action": [
              "s3:AbortMultipartUpload",
              "s3:DeleteObject",
              "s3:GetObject",
              "s3:ListMultipartUploadParts",
              "s3:PutObject",
              "s3:GetObjectTagging",
              "s3:PutObjectTagging"
            ],
            "Effect": "Allow",
            "Resource": "arn:aws:s3:::amzn-s3-demo-destination-bucket/*"
          }
        ]
      }

   2. Remplacez chaque instance de amzn-s3-demo-destination-bucket par le nom du compartiment S3 dans votre compte de destination.

4. Choisissez Suivant. Donnez un nom à votre politique et choisissez Create policy.

Étape 3 : dans votre compte de destination, mettez à jour votre politique de compartiment S3

Dans votre compte de destination, modifiez la politique du compartiment S3 de destination pour inclure le rôle DataSync IAM que vous avez créé dans votre compte source.

Avant de commencer : assurez-vous que vous disposez des autorisations requises pour votre compte de destination.

Pour mettre à jour la politique du compartiment S3 de destination

1. Dans le AWS Management Console, passez à votre compte de destination.

2. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

3. Dans le panneau de navigation de gauche, choisissez Compartiments.

4. Dans la liste des compartiments, choisissez le compartiment S3 vers lequel vous transférez les données.

5. Sur la page détaillée du bucket, choisissez l'onglet Permissions.

6. Sous Politique de compartiment, choisissez Modifier et procédez comme suit pour modifier votre politique de compartiment S3 :

   1. Mettez à jour le contenu de l'éditeur pour inclure les déclarations de politique suivantes :

      {
        "Version": "2008-10-17",
        "Statement": [
          {
            "Sid": "DataSyncCreateS3LocationAndTaskAccess",
            "Effect": "Allow",
            "Principal": {
              "AWS": "arn:aws:iam::source-account:role/source-datasync-role"
            },
            "Action": [
              "s3:GetBucketLocation",
              "s3:ListBucket",
              "s3:ListBucketMultipartUploads",
              "s3:AbortMultipartUpload",
              "s3:DeleteObject",
              "s3:GetObject",
              "s3:ListMultipartUploadParts",
              "s3:PutObject",
              "s3:GetObjectTagging",
              "s3:PutObjectTagging"
            ],
            "Resource": [
              "arn:aws:s3:::amzn-s3-demo-destination-bucket",
              "arn:aws:s3:::amzn-s3-demo-destination-bucket/*"
            ]
          }
        ]
      }

   2. Remplacez chaque instance de source-account par l' Compte AWS ID de votre compte source.

   3. source-datasync-roleRemplacez-le par le rôle IAM que vous avez créé DataSync dans votre compte source.

   4. Remplacez chaque instance de amzn-s3-demo-destination-bucket par le nom du compartiment S3 dans votre compte de destination.

7. Sélectionnez Enregistrer les modifications.

Étape 4 : Dans votre compte de destination, ACLs désactivez-la pour votre compartiment S3

Il est important que toutes les données que vous copiez dans le compartiment S3 appartiennent à votre compte de destination. Pour vous assurer que ce compte possède les données, désactivez les listes de contrôle d'accès du bucket (ACLs). Pour plus d'informations, consultez la section Contrôle de la propriété des objets et désactivation ACLs de votre compartiment dans le guide de l'utilisateur Amazon S3.

Pour le désactiver ACLs pour votre compartiment de destination

1. Tout en restant connecté à la console S3 avec votre compte de destination, choisissez le compartiment S3 vers lequel vous souhaitez transférer les données.

2. Sur la page détaillée du bucket, choisissez l'onglet Permissions.

3. Sous Object Ownership (Propriétaire de l’objet), sélectionnez Edit (Modifier).

4. Si ce n'est pas déjà fait, choisissez l'option ACLs désactivée (recommandée).

5. Sélectionnez Enregistrer les modifications.

Étape 5 : Dans votre compte source, créez un emplacement DataSync source pour votre stockage sur site

Dans votre compte source, créez un emplacement DataSync source pour le système de stockage sur site à partir duquel vous transférez les données. Cet emplacement utilise l'agent que vous avez activé dans votre compte source.

Étape 6 : Dans votre compte source, créez un emplacement de DataSync destination pour votre compartiment S3

Pendant que vous êtes toujours dans votre compte source, créez un emplacement pour le compartiment S3 vers lequel vous transférez les données.

Avant de commencer : assurez-vous que vous disposez des autorisations requises pour votre compte source.

Comme vous ne pouvez pas créer d'emplacements entre comptes à l'aide de l'interface de DataSync console, ces instructions nécessitent que vous exécutiez une create-location-s3 commande pour créer votre emplacement de destination. Nous vous recommandons d'exécuter la commande à l'aide AWS CloudShell d'un shell pré-authentifié basé sur un navigateur que vous lancez directement depuis la console. CloudShell vous permet d'exécuter AWS CLI des commandes create-location-s3 sans télécharger ni installer d'outils de ligne de commande.

Note

Pour effectuer les étapes suivantes à l'aide d'un outil de ligne de commande autre que CloudShell, assurez-vous que votre AWS CLI profil utilise le même rôle IAM qui inclut les autorisations utilisateur requises pour être utilisé DataSync dans votre compte source.

Pour créer un lieu de DataSync destination en utilisant CloudShell

1. Lorsque vous êtes toujours dans votre compte source, effectuez l'une des opérations suivantes pour lancer CloudShell depuis la console :

   • Cliquez sur l' CloudShell icône dans la barre de navigation de la console. Il est situé à droite de la zone de recherche.

   • Utilisez le champ de recherche de la barre de navigation de la console pour rechercher, CloudShellpuis choisissez l'CloudShelloption.

2. Copiez la commande suivante :

   aws datasync create-location-s3 \
     --s3-bucket-arn arn:aws:s3:::amzn-s3-demo-destination-bucket \
     --s3-config '{
       "BucketAccessRoleArn":"arn:aws:iam::source-user-account:role/source-datasync-role"
     }'

3. amzn-s3-demo-destination-bucketRemplacez-le par le nom du compartiment S3 dans votre compte de destination.

4. source-user-accountRemplacez-le par l' Compte AWS identifiant de votre compte source.

5. source-datasync-roleRemplacez-le par le rôle DataSync IAM que vous avez créé dans votre compte source.

6. Exécutez la commande dans CloudShell.

   Si la commande renvoie un ARN de DataSync localisation similaire à celui-ci, cela signifie que vous avez créé l'emplacement avec succès :

   {
     "LocationArn": "arn:aws:datasync:us-east-2:123456789012:location/loc-abcdef01234567890"
   }

7. Dans le volet de navigation de gauche, développez Transfert de données, puis choisissez Locations.

Depuis votre compte source, vous pouvez voir l'emplacement S3 que vous venez de créer pour votre compartiment de comptes de destination.

Étape 7 : Dans votre compte source, créez et lancez votre DataSync tâche

Avant de commencer DataSync à transférer vos données, récapitulons ce que vous avez fait jusqu'à présent :

• Dans votre compte source, vous avez créé votre DataSync agent. L'agent peut lire depuis votre système de stockage sur site et communiquer avec le DataSync service.

• Dans votre compte source, vous avez créé un rôle IAM qui permet de transférer des données DataSync vers le compartiment S3 de votre compte de destination.

• Dans votre compte de destination, vous avez configuré votre compartiment S3 afin de DataSync pouvoir y transférer des données.

• Dans votre compte source, vous avez créé les emplacements DataSync source et de destination de votre transfert.

Pour créer et démarrer la DataSync tâche

1. Tout en utilisant la DataSync console de votre compte source, développez Transfert de données dans le volet de navigation de gauche, puis choisissez Tâches et Créer une tâche.

2. Sur la page Configurer l'emplacement de la source, choisissez Choisir un emplacement existant. Choisissez l'emplacement source à partir duquel vous copiez les données (votre stockage sur site), puis Next.

3. Sur la page Configurer l'emplacement de destination, choisissez Choisir un emplacement existant. Choisissez l'emplacement de destination vers lequel vous copiez les données (le compartiment S3 de votre compte de destination), puis Next.

4. Sur la page Configurer les paramètres, nommez la tâche. Le cas échéant, configurez des paramètres supplémentaires, tels que la spécification d'un groupe de CloudWatch journaux Amazon. Choisissez Suivant.

5. Sur la page Révision, passez en revue vos paramètres et choisissez Créer une tâche.

6. Sur la page de détails de la tâche, choisissez Démarrer, puis choisissez l'une des options suivantes :

   • Pour exécuter la tâche sans modification, choisissez Démarrer avec les valeurs par défaut.

   • Pour modifier la tâche avant de l'exécuter, choisissez Démarrer avec des options de remplacement.

Lorsque votre tâche est terminée, vérifiez le compartiment S3 dans votre compte de destination. Vous devriez voir les données qui ont été déplacées depuis votre emplacement source.

Ressources connexes

Pour plus d'informations sur ce que vous avez fait dans ce didacticiel, consultez les rubriques suivantes :

• Création d'un rôle pour une Service AWS (console)

• Modifier une politique de confiance en matière de rôles (console)

• Ajouter une politique de compartiment à l'aide de la console Amazon S3

• Créez un emplacement S3 à l'aide du AWS CLI