Création deAWS DataSync lieux à l'aide duAWS CLI - AWS DataSync

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création deAWS DataSync lieux à l'aide duAWS CLI

ChaqueAWS DataSync tâche est composée de deux emplacements dans un transfert. L'emplacement source définit le système de stockage ou le service à partir duquel vous souhaitez lire les données. L'emplacement de destination définit le système de stockage ou le service dans lequel vous souhaitez écrire des données.

À l'aide duAWS Command Line Interface (AWS CLI), vous pouvez créer des emplacements pour les systèmes et services de stockage suivants :

  • Système de fichiers réseau (NFS)

  • SMB (Server Message Block)

  • Système de fichiers distribué Hadoop (HDFS)

  • Emplacements sources de stockage d'objets autogérés

  • Amazon Elastic File System (Amazon EFS)

  • Amazon FSx for Windows File Server

  • Amazon FSx for Lustre

  • Amazon FSx for OpenZFS

  • Amazon FSx for NetApp ONTAP

  • Amazon Simple Storage Service (Amazon S3)

Pour plus d'informations, veuillez consulter Où puis-je transférer mes donnéesAWS DataSync ?.

Création d'un emplacement NFS

Un emplacement NFS définit un système de fichiers sur un serveur NFS, dans lequel vous pouvez lire et écrire des données. Vous pouvez également créer un emplacement NFS en utilisant` theAWS Management Console. Pour plus d'informations, veuillez consulter Configuration des AWS DataSync transferts depuis un serveur de fichiers NFS.

Note

Si vous utilisez une localisation NFS sur unAWS Snowcone appareil, consultezConfiguration desAWS DataSync transferts avecAWS Snowcone pour plus d'informations sur le transfert de données vers ou depuis cet appareil.

Pour créer un emplacement NFS à l'aide de l'interface de ligne de commande
  • Utilisez la commande suivante pour créer un emplacement source NFS.

    $ aws datasync create-location-nfs \ --server-hostname nfs-server-address \ --on-prem-config AgentArns=datasync-agent-arns \ --subdirectory nfs-export-path

    Les éléments suivants s'appliquent à la commande précédente :

    • Le chemin (nfs-export-path) que vous fournissez pour le--subdirectory paramètre doit être un chemin qui est exporté par le serveur NFS, ou un sous-répertoire. Les autres clients NFS de votre réseau doivent être en mesure de monter ce chemin. Pour afficher tous les chemins exportés par votre serveur NFS, exécutez la commande showmount -e nfs-server-address à partir d'un client NFS avec un accès à votre serveur. Vous pouvez spécifier n'importe quel répertoire qui apparaît dans les résultats et n'importe quel sous-répertoire de ce répertoire.

    • Pour transférer toutes les données dans le dossier que vous avez spécifié, DataSync doit disposer des autorisations permettant de lire toutes les données. Pour accorder DataSync des autorisations, vous pouvez procéder de deux manières. Vous pouvez configurer l'exportation NFS avec no_root_squash. Ou, pour tous les fichiers auxquels vous voulez que DataSync accède, vous pouvez vous assurer que les autorisations permettront l'accès en lecture de tous les utilisateurs. Ces actions permettent à l'agent de lire les fichiers. Pour que l'agent accède aux répertoires, vous devez également donner à tous les utilisateurs un accès en exécution.

    • Assurez-vous que le chemin d'exportation NFS est accessible sans authentification Kerberos.

    DataSync choisit automatiquement la version NFS qu'il utilise pour lire à partir d'un emplacement NFS. Pour spécifier une version NFS, utilisez le paramètre Version facultatif dans l'opération d'API NfsMountOptions.

Cette commande renvoie l'Amazon Resource Name (ARN) de l'emplacement NFS, similaire à l'ARN indiqué ci-après.

{ "LocationArn": "arn:aws:datasync:us-east-1:111222333444:location/loc-0f01451b140b2af49" }

Pour vérifier que le répertoire peut être monté, vous pouvez vous connecter à n'importe quel ordinateur possédant la même configuration réseau que votre agent et exécuter la commande suivante.

mount -t nfs -o nfsvers=<nfs-server-version <nfs-server-address:<nfs-export-path <test-folder

Voici un exemple de la commande.

mount -t nfs -o nfsvers=3 198.51.100.123:/path_for_sync_to_read_from /temp_folder_to_test_mount_on_local_machine

Création d'un emplacement pour PME

Un emplacement SMB définit un système de fichiers sur un serveur SMB, dans lequel vous pouvez lire et écrire des données. Vous pouvez également créer un emplacement SMB à l'aide de la console. Pour plus d'informations, veuillez consulter Configuration des AWS DataSync transferts depuis un serveur de fichiers SMB.

Pour créer un emplacement SMB à l'aide de l'interface de ligne de commande
  • Utilisez la commande suivante pour créer un emplacement source SMB.

    aws datasync create-location-smb \ --server-hostname smb-server-address \ --user user-who-can-mount-share \ --domain windows-domain-of-smb-server \ --password user-password \ --agent-arns datasync-agent-arns \ --subdirectory smb-export-path

    Le cheminsmb-export-path que vous fournissez pour le--subdirectory paramètre doit être un chemin qui est exporté par le serveur SMB. Spécifiez le chemin à l'aide de barres obliques ; par exemple,/path/to/folder. Les autres clients SMB de votre réseau doivent pouvoir accéder à ce chemin.

    DataSync choisit automatiquement la version SMB qu'il utilise pour lire depuis un emplacement SMB. Pour spécifier une version SMB, utilisez le paramètre Version facultatif dans l'opération d'API SmbMountOptions.

Cette commande renvoie l'Amazon Resource Name (ARN) de l'emplacement SMB, similaire à l'ARN indiqué ci-après.

{ "LocationArn": "arn:aws:datasync:us-east-1:111222333444:location/loc-0f01451b140b2af49" }

Création d'un emplacement HDFS

Un emplacement HDFS définit un système de fichiers d'un cluster Hadoop à partir duquel lire ou sur lequel écrire. Vous pouvez également créer un emplacement HDFS à l'aide duAWS Management Console. Pour plus d'informations, veuillez consulter Configuration des AWS DataSync transferts depuis HDFS.

Pour créer un emplacement HDFS à l'aide duAWS CLI
  • Utilisez la commande suivante pour créer un emplacement HDFS. Dans l'exemple suivant, remplacez chaque élémentuser input placeholder par vos propres informations.

    aws datasync create-location-hdfs --name-nodes [{"Hostname":"host1", "Port": 8020}] \ --authentication-type "SIMPLE|KERBEROS" \ --agent-arns [arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890example] \ --subdirectory "/path/to/my/data"

    Les paramètres suivants sont obligatoires dans lacreate-location-hdfs commande :

    • name-nodes— Spécifie le nom d'hôte ou l' NameNode adresse IP du cluster Hadoop et le port TCP sur NameNode lequel il écoute.

    • authentication-type— Le type d'authentification à utiliser lors de la connexion au cluster Hadoop. Spécifiez SIMPLE ou KERBEROS.

      Si vous utilisezSIMPLE l'authentification, utilisez le--simple-user paramètre pour spécifier le nom d'utilisateur de l'utilisateur. Si vous utilisezKERBEROS l'authentification, utilisez les--kerberos-principal--kerberos-krb5-conf paramètres--kerberos-keytab, et. Pour plus d'informations, reportez-vous à la section create-location-hdfs.

    • agent-arns— Les ARN des DataSync agents à utiliser pour la localisation HDFS.

    La commande précédente renvoie l'emplacement ARN, qui se présente de la manière suivante :

    { "arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890example" }

Création d'un emplacement de stockage d'objets

Un emplacement est un DataSync point de terminaison qui représente un système de stockage d'objets hébergé sur site ou par un autre fournisseur de cloud (par exemple, un bucket Google Cloud Storage).

Pour plus d'informations sur les emplacements de stockage des objets, y compris les exigences de compatibilité, consultezConfiguration des AWS DataSync transferts depuis un système de stockage d'objets.

Pour créer un emplacement de stockage d'objets à l'aide duAWS CLI
  1. Copiez lacreate-location-object-storage commande suivante :

    aws datasync create-location-object-storage \ --server-hostname object-storage-server.example.com \ --bucket-name your-bucket \ --agent-arns arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb
  2. Spécifier les paramètres requis suivants dans la commande :

    • --server-hostname— Spécifier le nom de domaine ou l'adresse IP de votre serveur de stockage d'objets.

    • --bucket-name— Spécifiez le nom du compartiment sur votre serveur de stockage d'objets vers ou depuis lequel vous effectuez un transfert.

    • --agent-arns— Spécifiez les DataSync agents que vous souhaitez connecter à votre serveur de stockage d'objets.

  3. (Facultatif) Ajoutez l'un des paramètres suivants à la commande :

    • --server-port— Spécifie le port sur lequel votre serveur de stockage d'objets accepte le trafic réseau entrant (par exemple, port443).

    • --server-protocol— Spécifie le protocole (HTTPouHTTPS) utilisé par votre serveur de stockage d'objets pour communiquer.

    • --access-key— Spécifie la clé d'accès (par exemple, un nom d'utilisateur) si des informations d'identification sont requises pour s'authentifier auprès du serveur de stockage d'objets.

    • --secret-key— Spécifie la clé secrète (par exemple, un mot de passe) si des informations d'identification sont requises pour s'authentifier auprès du serveur de stockage d'objets.

    • --server-certificate— Spécifie un certificat privé ou auto-signé auquel l' DataSync agent fera confiance lors de la connexion à votre serveur de stockage d'objets.

      Le fichier de certificat personnalisé doit avoir une.pem extension (par exemple,file:///home/user/mycert.pem).

    • --subdirectory— Spécifie le préfixe d'objet pour votre serveur de stockage d'objets.

      DataSync copie uniquement les objets ayant ce préfixe.

    • --tags— Spécifie la paire clé-valeur qui représente une balise que vous souhaitez ajouter à la ressource de localisation.

      Les balises vous aident à gérer, filtrer et rechercher vos ressources. Nous vous recommandons de créer une balise de nom pour votre emplacement.

  4. Exécutez la commande create-location-object-storage.

    Vous obtenez une réponse qui vous indique l'ARN de localisation que vous venez de créer.

    { "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890abcdef" }

Création d'un emplacement Amazon EFS

Un emplacement est le point de terminaison d'un système de fichiers Amazon EFS à partir duquel lire ou sur lequel écrire. Vous pouvez également créer ce type d'emplacement à l'aide de la console. Pour plus d'informations, veuillez consulter Configuration des AWS DataSync transferts avec Amazon EFS.

Pour créer un emplacement Amazon EFS à l'aide duAWS CLI
  1. Si vous n'avez pas de système de fichiers Amazon EFS, créez-en un. Pour plus d'informations sur la création d'un système de fichiers EFS, consultez Mise en route avec Amazon Elastic File System dans le Guide de l'utilisateur Amazon Elastic File System.

  2. Identifiez un sous-réseau ayant au moins une cible de montage pour ce système de fichiers. Vous pouvez voir toutes les cibles de montage et les sous-réseaux associés à un système de fichiers EFS à l'aide de ladescribe-mount-targets commande.

    aws efs describe-mount-targets \ --region aws-region \ --file-system-id file-system-id
    Note

    L'Région AWSemplacement de votre compartiment S3 ou système de fichiers EFS cible est celui dans lequel se trouve votre compartiment S3 cible ou système de fichiers EFS.

    Cette commande renvoie des informations sur la cible, similaires aux informations indiquées ci-après.

    { "MountTargets": [ { "OwnerId": "111222333444", "MountTargetId": "fsmt-22334a10", "FileSystemId": "fs-123456ab", "SubnetId": "subnet-f12a0e34", "LifeCycleState": "available", "IpAddress": "11.222.0.123", "NetworkInterfaceId": "eni-1234a044" } ] }
  3. Spécifier un groupe de sécurité Amazon EC2 pouvant accéder à la cible de montage. Vous pouvez exécuter la commande suivante afin de déterminer le groupe de sécurité de la cible de montage.

    aws efs describe-mount-target-security-groups \ --region aws-region \ --mount-target-id mount-target-id

    Le groupe de sécurité que vous fournissez doit être en mesure de communiquer avec le groupe de sécurité de la cible de montage dans le sous-réseau spécifié.

    La relation entre le groupe de sécurité M de la cible de montage et le groupe de sécurité S, que vous DataSync souhaitez utiliser à ce stade, est la suivante :

    • Le groupe de sécurité M, que vous associez à la cible de montage, doit autoriser l'accès entrant pour le protocole TCP sur le port NFS (2049) à partir du groupe de sécurité S.

      Vous pouvez activer une connexion entrante par son adresse IP (plage CIDR) ou son groupe de sécurité.

    • Le groupe de sécurité S, que vous fournissez pour accéder DataSync à Amazon EFS, doit avoir une règle qui autorise les connexions sortantes vers le port NFS. Elle autorise les connexions sortantes sur l'une des cibles de montage du système de fichiers.

      Vous pouvez activer les connexions sortantes par adresse IP (plage d'adresses CIDR) ou par groupe de sécurité.

      Pour obtenir des informations sur les groupes de sécurité et les cibles de montage, veuillez consulter Utilisation de groupes de sécurité pour les instances Amazon EC2 et les cibles de montage dans le Guide de l'utilisateur Amazon Elastic File System.

  4. Créez le lieu. Pour créer l'emplacement EFS, vous avez besoin des ARN de votre sous-réseau Amazon EC2, de votre groupe de sécurité Amazon EC2 et d'un système de fichiers. Étant donné que l'API DataSync accepte les noms ARN complets, vous pouvez construire ces noms ARN. Pour plus d'informations sur la manière de créer des ARN pour différents services, consultez Amazon Resource Names (ARN) dans le Références générales AWS.

    Utilisez la commande suivante pour créer un emplacement EFS.

    aws datasync create-location-efs \ --subdirectory /path/to/your/subdirectory \ --efs-filesystem-arn 'arn:aws:elasticfilesystem:region:account-id:file-system/filesystem-id' \ --ec2-config SecurityGroupArns='arn:aws:ec2:region:account-id:security-group/security-group-id',SubnetArn='arn:aws:ec2:region:account-id:subnet/subnet-id'
Note

L'Région AWSemplacement de votre compartiment S3 ou système de fichiers EFS cible est celui dans lequel se trouve votre compartiment S3 cible ou système de fichiers EFS.

La commande renvoie un nom ARN d'emplacement similaire à celui indiqué ci-après.

{ "LocationArn": "arn:aws:datasync:us-west-2:111222333444:location/loc-07db7abfc326c50fb" }

Création d'un emplacement Amazon FSx for Windows File Server

Un emplacement est le point de terminaison d'un FSx for Windows File Server à partir duquel vous pouvez lire ou écrire.

Vous pouvez également créer un emplacement FSx for Windows File Server à l'aide de la console. Pour plus d'informations, veuillez consulter Configuration de AWS DataSync transferts avec Amazon FSx for Windows File Server.

Pour créer un emplacement FSx for Windows File Server à l'aide d'AWS CLI
  • Utilisez la commande suivante pour créer un emplacement Amazon FSx.

    aws datasync create-location-fsx-windows \ --fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system/filesystem-id \ --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \ --user smb-user --password password

    Dans la commande create-location-fsx-windows, spécifiez les éléments suivants :

    • fsx-filesystem-arn— Nom de ressource Amazon (ARN) complet du système de fichiers vers ou vers lequel vous souhaitez lire ou sur lequel vous souhaitez écrire.

      L' DataSync API accepte des ARN entièrement qualifiés, et vous pouvez créer ces ARN. Pour plus d'informations sur la manière de créer des ARN pour différents services, consultez Amazon Resource Names (ARN) dans le Références générales AWS.

    • security-group-arns— L'ARN d'un groupe de sécurité Amazon EC2 qui peut être appliqué aux interfaces réseau du sous-réseau préféré du système de fichiers.

    • LaRégion AWS : la région que vous spécifiez est celle où se trouve votre système de fichiers Amazon FSx cible.

La commande renvoie un ARN d'emplacement similaire à celui indiqué ci-après.

{ "LocationArn": "arn:aws:datasync:us-west-2:111222333444:location/loc-07db7abfc326c50fb" }

Création d'un emplacement Amazon FSx for Lustre

Un emplacement est le point de terminaison d'un système de fichiers FSx for Lustre dans lequel vous pouvez lire ou écrire.

Vous pouvez également créer un emplacement FSx for Lustre à l'aide de la console. Pour plus d'informations, veuillez consulter Configuration des AWS DataSync transferts avec Amazon FSx for Lustre.

Pour créer un emplacement FSx for Lustre à l'aide duAWS CLI
  • Utilisez la commande suivante pour créer un emplacement FSx for Lustre.

    aws datasync create-location-fsx-lustre \ --fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system:filesystem-id \ --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id

    Les paramètres suivants sont obligatoires dans lacreate-location-fsx-lustre commande.

    • fsx-filesystem-arn— Nom de ressource Amazon (ARN) complet du système de fichiers vers ou vers lequel vous souhaitez lire ou sur lequel vous souhaitez écrire.

    • security-group-arns— L'ARN d'un groupe de sécurité Amazon EC2 à appliquer aux interfaces réseau du sous-réseau préféré du système de fichiers.

La commande précédente renvoie un emplacement ARN similaire à ce qui suit.

{ "LocationArn": "arn:aws:datasync:us-west-2:111222333444:location/loc-07sb7abfc326c50fb" }

Création d'un emplacement Amazon FSx pour OpenZFS

Un emplacement est le point de terminaison d'un système de fichiers FSx pour OpenZFS auquel il est DataSync possible d'accéder pour un transfert. Vous pouvez également créer un emplacement FSx pour OpenZFS dans la console.

Pour créer un emplacement FSx pour OpenZFS à l'aide d'AWS CLI
  1. Copiez la commande suivante :

    $ aws datasync create-location-fsx-openzfs \ --fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system/filesystem-id \ --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \ --protocol NFS={}
  2. Spécifiez les options requises suivantes dans la commande :

    • Pourfsx-filesystem-arn, spécifiez l'Amazon Resource Name (ARN) complet du système de fichiers de localisation. Cela inclut l'Région AWSemplacement de votre système de fichiersCompte AWS, votre et l'ID du système de fichiers.

    • Poursecurity-group-arns, spécifiez l'ARN du groupe de sécurité Amazon EC2 qui permet d'accéder aux interfaces réseau de votre FSx pour le sous-réseau préféré du système de fichiers OpenZFS. Cela inclut l'Région AWSemplacement de votre instance Amazon EC2Compte AWS, votre identifiant et l'identifiant du groupe de sécurité.

      Pour en savoir plus sur les groupes de sécurité, veuillez consulter Contrôle d'accès au système de fichiers avec Amazon VPC dans le Guide de l'utilisateur Amazon FSx pour OpenZFS.

    • Pourprotocol, spécifiez le protocole que DataSync utilise pour accéder à votre système de fichiers. (ne prendDataSync actuellement en charge que NFS.)

  3. Exécutez la commande . Vous obtenez une réponse indiquant l'emplacement que vous venez de créer.

    { "LocationArn": "arn:aws:datasync:us-west-2:123456789012:location/loc-abcdef01234567890" }

Création d'un emplacement Amazon FSx pour NetApp ONTAP

Un emplacement est le point de terminaison d'un système de fichiers FSx pour ONTAP auquel un transfert DataSync peut être effectué. Vous pouvez également créer un emplacement FSx pour ONTAP dans la console.

Pour créer un emplacement FSx pour ONTAP à l'aide d'AWS CLI
  1. Copiez la commande suivante :

    $ aws datasync create-location-fsx-ontap \ --storage-virtual-machine-arn arn:aws:fsx:region:account-id:storage-virtual-machine/fs-file-system-id \ --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \ --protocol data-transfer-protocol={}
  2. Spécifiez les options requises suivantes dans la commande :

    • Pourstorage-virtual-machine-arn, spécifiez le Amazon Resource Name (ARN) complet de la machine virtuelle de stockage (SVM) de votre système de fichiers vers ou depuis laquelle vous souhaitez copier des données.

      Cet ARN inclut l'Région AWSemplacement de votre système de fichiers, vos identifiantsCompte AWS, le système de fichiers et la SVM.

    • Poursecurity-group-arns, spécifiez les ARN des groupes de sécurité Amazon EC2 qui fournissent un accès aux interfaces réseau du sous-réseau préféré de votre système de fichiers.

      Cela inclut l'Région AWSemplacement de votre instance Amazon EC2Compte AWS, vos identifiants et ceux de votre groupe de sécurité. Vous pouvez spécifier jusqu'à cinq ARN de groupes de sécurité.

      Pour plus d'informations sur les groupes de sécurité, consultez la section Contrôle d'accès au système de fichiers avec Amazon VPC dans le guide de l'utilisateur d'Amazon FSx pour NetApp ONTAP.

    • Pourprotocol, configurez le protocole DataSync utilisé pour accéder à la SVM de votre système de fichiers.

      • Pour NFS, vous pouvez utiliser la configuration par défaut :

        --protocol NFS={}

      • Pour SMB, vous devez spécifier un nom d'utilisateur et un mot de passe permettant d'accéder à la SVM :

        --protocol SMB={User=smb-user,Password=smb-password}

  3. Exécutez la commande .

    Vous obtenez une réponse qui indique l'emplacement que vous venez de créer.

    { "LocationArn": "arn:aws:datasync:us-west-2:123456789012:location/loc-abcdef01234567890" }

Création d'un emplacement Amazon S3

Un emplacement Amazon S3 nécessite un compartiment S3 qui peut être lu ou écrit. Pour créer un compartiment S3, consultez la section Création d'un compartiment dans le Guide de l'utilisateur Amazon S3.

Pour accéder DataSync à un compartiment S3, vous DataSync devez disposer d'un rôleAWS Identity and Access Management (IAM) doté des autorisations requises. La procédure suivante vous permet de créer le rôle IAM, les politiques IAM requises et l'emplacement S3 à l'aide duAWS CLI.

DataSync Pour assumer le rôle IAM,AWS Security Token Service (AWS STS) doit être activé dans votre compte et la région. Pour plus d'informations sur les informations d'identification de sécurité temporaires, veuillez consulter la rubrique Informations d'identification de sécurité temporaires dans le Guide de l'utilisateur IAM.

Vous pouvez également créer un emplacement S3 à l'aide de la console. Pour plus d'informations, veuillez consulter Configuration des AWS DataSync transferts avec Amazon S3.

Pour créer un emplacement S3 à l'aide de l'interface de ligne de commande
  1. Créez une politique de confiance IAM qui permet DataSync d'assumer le rôle IAM requis pour accéder à votre compartiment S3.

    Voici un exemple de stratégie d'approbation.

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "datasync.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }
  2. Créez un fichier temporaire pour la stratégie IAM, comme indiqué dans l'exemple suivant.

    $ ROLE_FILE=$(mktemp -t sync.iam.role.filename.json) $ IAM_ROLE_NAME='YourBucketAccessRole' $ cat<<EOF> ${ROLE_FILE} { "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Principal": { "Service": "datasync.amazonaws.com" }, "Action": "sts:AssumeRole" }] }
  3. Créez un rôle IAM et attachez-lui la politique IAM.

    La commande suivante crée un rôle IAM et lui attache la stratégie.

    $ aws iam create-role --role-name ${IAM_ROLE_NAME} --assume-role-policy-document file://${ROLE_FILE} { "Role": { "Path": "/", "RoleName": "YourBucketAccessRole", "RoleId": "role-id", "Arn": "arn:aws:iam::account-id:role/YourBucketAccessRole", "CreateDate": "2018-07-27T02:49:23.117Z", "AssumeRolePolicyDocument": { "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Principal": { "Service": "datasync.amazonaws.com" }, "Action": "sts:AssumeRole" }] } } }
  4. Autorisez le rôle IAM que vous avez créé à écrire dans votre compartiment S3.

    Associez au rôle IAM une politique IAM disposant d'autorisations suffisantes pour accéder à votre compartiment S3. L'exemple suivant montre les autorisations minimales requises DataSync pour lire et écrire dans un compartiment S3 dans unRégion AWS.

    { "Version": "2012-10-17", "Statement": [ { "Action": [ "s3:GetBucketLocation", "s3:ListBucket", "s3:ListBucketMultipartUploads" ], "Effect": "Allow", "Resource": "YourS3BucketArn" }, { "Action": [ "s3:AbortMultipartUpload", "s3:DeleteObject", "s3:GetObject", "s3:ListMultipartUploadParts", "s3:PutObjectTagging", "s3:GetObjectTagging", "s3:PutObject" ], "Effect": "Allow", "Resource": "YourS3BucketArn/*" } ] }

    Pour attacher la stratégie à votre rôle IAM, exécutez la commande suivante.

    $ aws iam attach-role-policy \ --role-name role-name \ --policy-arn 'arn:aws:iam::aws:policy/YourPolicyName'

    Pour les compartiments Amazon S3 activésAWS Outposts, appliquez la politique suivante.

    { "Version": "2012-10-17", "Statement": [{ "Action": [ "s3-outposts:ListBucket", "s3-outposts:ListBucketMultipartUploads" ], "Effect": "Allow", "Resource": [ "s3OutpostsBucketArn", "s3OutpostsAccessPointArn" ], "Condition": { "StringLike": { "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn" } } }, { "Action": [ "s3-outposts:AbortMultipartUpload", "s3-outposts:DeleteObject", "s3-outposts:GetObject", "s3-outposts:ListMultipartUploadParts", "s3-outposts:PutObjectTagging", "s3-outposts:GetObjectTagging", "s3-outposts:PutObject" ], "Effect": "Allow", "Resource": [ "s3OutpostsBucketArn/*", "s3OutpostsAccessPointArn" ], "Condition": { "StringLike": { "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn" } } }, { "Effect": "Allow", "Action": [ "s3-outposts:GetAccessPoint" ], "Resource": "s3OutpostsAccessPointArn" } ] }
  5. Créez l'emplacement S3.

    Utilisez la commande suivante pour créer votre emplacement Amazon S3.

    $ aws datasync create-location-s3 \ --s3-bucket-arn 'arn:aws:s3:::DOC-EXAMPLE-BUCKET' \ --s3-storage-class 'your-S3-storage-class' \ --s3-config 'BucketAccessRoleArn=arn:aws:iam::account-id:role/role-allowing-DS-operations' \ --subdirectory /your-folder

    La commande renvoie un nom ARN d'emplacement similaire à celui indiqué ci-après.

    { "LocationArn": "arn:aws:datasync:us-east-1:111222333444:location/loc-0b3017fc4ba4a2d8d" }

    Les informations relatives au type de localisation sont codées dans leLocationUri. Dans cet exemple, les3:// préfixe inLocationUri indique le type du lieu.

    Si votre compartiment Amazon S3 se trouve sur unAWS Outpost, vous devez déployer un agent Amazon EC2 sur votre Outpost. L'agent doit être dans un cloud privé virtuel (VPC) autorisé à accéder au point d'accès spécifié dans la commande. L'agent doit également être activé dans la région parent pour l'Outpost et être en mesure d'acheminer le compartiment vers Amazon S3 sur lesAWS Outposts points de terminaison. Pour plus d'informations sur le lancement d'un DataSync agent surAWS Outposts, consultezDéployez votre agent sur AWS Outposts.

    Utilisez la commande suivante pour créer un emplacement Amazon S3 sur votre Outpost.

    aws datasync create-location-s3 \ --s3-bucket-arn access-point-arn \ --s3-config BucketAccessRoleArn=arn:aws:iam::account-id:role/role-allowing-DS-operations \ --agent-arns arn-of-datasync-agent-in-vpc-that-can-access-your-s3-access-point
Note
  • Les modifications apportées aux données ou aux métadonnées d'un objet équivalent à la suppression d'un objet et à la création d'un nouvel objet pour le remplacer. Cela entraîne des frais supplémentaires dans les scénarios suivants :

    • Lors de l'utilisation de la gestion des versions d'objets : les modifications apportées aux données ou aux métadonnées de l'objet créent une nouvelle version de l'objet.

    • Lorsque vous utilisez des classes de stockage qui peuvent entraîner des frais supplémentaires pour le remplacement, la suppression ou la récupération d'objets, les modifications apportées aux données ou aux métadonnées des objets entraînent de tels frais. Pour plus d'informations, veuillez consulter Considérations relatives à la classe de stockage lors des transferts vers Amazon S3.

  • Lorsque vous utilisez la gestion des versions d'objets, l'exécution d'une seule DataSync tâche peut créer plusieurs versions d'un objet Amazon S3.

  • Outre les politiques IAM qui accordent DataSync des autorisations, nous vous recommandons de créer une politique de compartiment de téléchargement partitionné pour vos compartiments S3. Cela peut vous aider à contrôler vos coûts de stockage. Pour en savoir plus, veuillez consulter le billet de blog Mise à jour de la gestion du cycle de vie S3 Lifecycle Management : prise en charge des chargements partitionnés et des marqueurs de suppression.