Transfert vers ou depuis un stockage compatible S3 sur Snowball Edge

Vous pouvez ainsi transférer des objets entre le stockage compatible Amazon S3 sur un AWS Snowball Edge appareil ou un cluster et l'un des services de AWS stockage suivants : AWS DataSync

• Amazon S3

• Amazon Elastic File System (Amazon EFS)

• Serveur FSx de fichiers Amazon pour Windows

• Amazon FSx pour Lustre

• Amazon FSx pour OpenZFS

• Amazon FSx pour NetApp ONTAP

Prérequis

Avant de commencer, assurez-vous d'avoir effectué les opérations suivantes :

• Vous avez créé une ressource de AWS stockage vers ou depuis Région AWS laquelle vous prévoyez de transférer des données. Par exemple, il peut s'agir d'un compartiment S3 ou d'un système de fichiers Amazon EFS dans l'est des États-Unis (Virginie du Nord).

• Mise en place d'une connexion réseau étendu (WAN) pour le trafic entrant et sortant de votre environnement de stockage sur site. Par exemple, vous pouvez établir ce type de connexion avec AWS Direct Connect.

  Lorsque vous créerez votre DataSync agent, vous configurerez cette connexion WAN afin de DataSync pouvoir transférer des données entre votre espace de stockage compatible Amazon S3 sur site et votre ressource de stockage dans AWS.

• Vous avez téléchargé et installé le client Snowball Edge.

Fournir DataSync un accès au stockage compatible S3

Pour accéder à votre compartiment de stockage compatible Amazon S3, vous devez DataSync disposer des éléments suivants :

• Informations d'identification utilisateur sur votre appareil ou cluster Snowball Edge qui peuvent accéder au compartiment vers ou depuis lequel vous transférez des données.

• Un certificat HTTPS qui permet DataSync de vérifier l'authenticité de la connexion entre l' DataSync agent et le s3api point de terminaison sur votre appareil ou votre cluster.

Obtenir les informations d'identification utilisateur pour accéder à votre compartiment S3

DataSync a besoin de la clé d'accès et de la clé secrète pour un utilisateur qui peut accéder au compartiment avec lequel vous travaillez sur votre appareil ou cluster Snowball Edge.

Pour obtenir les informations d'identification utilisateur permettant d'accéder à votre bucket

1. Ouvrez un terminal et exécutez le client Snowball Edge.

   Pour plus d'informations sur l'exécution du client Snowball Edge, consultez la section Utilisation du client Snowball Edge dans le manuel du développeur.AWS Snowball Edge

2. Pour obtenir les clés d'accès associées à votre appareil ou à votre cluster, exécutez la snowballEdge commande suivante :

   snowballEdge list-access-keys

3. Dans la sortie, recherchez la clé d'accès au compartiment qui DataSync fonctionnera avec (par exemple,AKIAIOSFODNN7EXAMPLE).

4. Pour obtenir la clé d'accès secrète, exécutez la snowballEdge commande suivante. access-key-for-datasyncRemplacez-la par la clé d'accès que vous avez trouvée à l'étape précédente.

   snowballEdge get-secret-access-key --access-key-id access-key-for-datasync

   La sortie inclut la clé secrète correspondante à la clé d'accès (par exemple,wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY).

5. Enregistrez la clé d'accès et la clé secrète dans un endroit dont vous vous souviendrez.

   Vous aurez besoin de ces clés pour configurer l'emplacement de la DataSync source pour votre transfert.

Obtenir un certificat pour la connexion du s3api point de terminaison

Vous avez besoin d'un certificat HTTPS capable de vérifier l'authenticité de la connexion entre votre DataSync agent et un s3api point de terminaison sur votre appareil ou cluster Snowball Edge.

Pour obtenir un certificat pour la connexion du s3api point de terminaison

1. Dans le client Snowball Edge, exécutez la commande suivante : list-certificates

   snowballEdge list-certificates

   Dans le résultat, prenez note de la CertificateArn valeur. Il s'agit du nom de ressource Amazon (ARN) du certificat. Vous avez besoin de l'ARN pour obtenir le contenu du certificat.

2. Exécutez la get-certificate commande suivante qui spécifie l'ARN du certificat que vous venez de récupérer :

   snowballEdge get-certificate --certificate-arn arn:aws:snowball-device:::certificate/78EXAMPLE516EXAMPLEf538EXAMPLEa7

3. Copiez la sortie, y compris les END CERTIFICATE lignes BEGIN CERTIFICATE et, et enregistrez-la sous forme de .pem fichier.

   Exemple de get-certificate sortie :

   -----BEGIN CERTIFICATE-----
   Certificate
   -----END CERTIFICATE-----

Vous spécifiez ce .pem fichier lors de la création de l'emplacement DataSync source de votre transfert.

Création d'un DataSync agent dans votre environnement de stockage sur site

Au cours d'un transfert, DataSync utilise un agent pour lire ou écrire sur le stockage compatible Amazon S3 sur votre appareil ou cluster Snowball Edge.

Cet agent doit être déployé dans votre environnement de stockage sur site où il peut se connecter à votre appareil ou à votre cluster via votre réseau. Par exemple, vous pouvez exécuter l'agent sur un VMware ESXi hyperviseur disposant d'un accès réseau local à votre cluster.

Pour créer un DataSync agent dans votre environnement de stockage sur site

1. Assurez-vous que l'DataSync agent peut s'exécuter sur votre hyperviseur et que vous lui allouez suffisamment de ressources de machine virtuelle (VM).

2. Déployez l'agent dans votre environnement sur site.

   Pour obtenir des instructions, consultez l'une des rubriques suivantes, en fonction du type d'hyperviseur sur lequel vous déployez l'agent :

   • Déployez votre agent sur VMware

   • Déployez votre agent sur une machine basée sur le noyau Linux (KVM)

   • Déployez votre agent sur Microsoft Hyper-V

   • Déployez votre agent sur Amazon EC2

     Avertissement

     Nous ne recommandons pas de déployer un agent sur un EC2 agent Amazon pour accéder au stockage sur site en raison de l'augmentation de la latence du réseau.

3. Configurez votre réseau pour autoriser le trafic suivant entre l'agent et votre espace de stockage compatible Amazon S3 :

   De	Pour	Protocole et port
   DataSync agent	Interface réseau virtuelle (VNI) pour un s3api point de terminaison sur votre appareil ou votre cluster. Si vous avez un cluster, il peut s'agir de n'importe quel s3api point de terminaison VNI.	TCP 443 (HTTPS)

   Si vous avez besoin de trouver un VNI sur votre appareil ou votre cluster, reportez-vous à la section Description de vos interfaces réseau virtuelles sur Snowball Edge.

4. Choisissez un point de terminaison de service que l'agent utilise pour communiquer avec le DataSync service.

5. Activez votre agent.

Configuration de l'emplacement de la source pour votre transfert

Après avoir créé votre agent, vous pouvez configurer l'emplacement source de votre DataSync transfert.

Note

Les instructions suivantes supposent que vous effectuez un transfert depuis un stockage compatible avec Amazon S3, mais vous pouvez également utiliser cet emplacement comme destination de transfert.

Pour configurer l'emplacement de la source à l'aide de la DataSync console

1. Ouvrez la AWS DataSync console à l'adresse https://console.aws.amazon.com/datasync/.

2. Dans le volet de navigation de gauche, développez Transfert de données. Choisissez Tâches, puis choisissez Créer une tâche.

3. Sur la page Configure source location (Configurer l'emplacement source), choisissez Create a new location (Créer un nouvel emplacement).

4. Pour Type d'emplacement, choisissez Stockage d'objets.

5. Pour les agents, choisissez l' DataSync agent que vous avez créé dans votre environnement de stockage sur site.

6. Pour Server, entrez le VNI du s3api point de terminaison utilisé par votre système de stockage compatible Amazon S3.

   Si vous disposez d'un cluster Snowball Edge au lieu d'un seul appareil, vous pouvez spécifier n'importe quel point de terminaison du s3api cluster. VNIs

7. Dans le champ Nom du compartiment, entrez le nom du compartiment de stockage compatible Amazon S3 à partir duquel vous transférez des objets.

8. Pour Dossier, entrez un préfixe d'objet.

   DataSync transfère uniquement les objets portant ce préfixe.

9. Pour configurer la DataSync connexion au périphérique ou au cluster Snowball Edge, développez les paramètres supplémentaires et procédez comme suit :

   1. Pour le protocole du serveur, choisissez HTTPS.

   2. Pour Port du serveur, entrez443.

   3. Pour Certificat, choisissez le fichier de certificat pour la connexion du s3api point de terminaison.

10. Sélectionnez Requiert des informations d'identification, puis entrez la clé d'accès et la clé secrète pour accéder au compartiment de stockage compatible Amazon S3 sur votre appareil ou cluster Snowball Edge.

11. Choisissez Suivant.

Configuration de l'emplacement de destination pour votre transfert

Le lieu de destination de votre transfert doit être le même que celui Région AWS Compte AWS où vous avez créé votre agent.

Avant de commencer : assurez-vous d'avoir configuré l'emplacement source pour votre transfert.

Pour configurer l'emplacement de destination de votre transfert à l'aide de la DataSync console

1. Sur la page Configurer l'emplacement de destination, choisissez Créer un nouvel emplacement ou Choisissez un emplacement existant pour la ressource AWS de stockage vers laquelle vous transférez des objets.

   Si vous créez un nouveau point de vente, consultez l'une des rubriques suivantes :

   • Amazon S3

   • Amazon EFS

   • FSx pour le serveur de fichiers Windows

   • FSx pour Lustre

   • FSx pour OpenZFS

   • FSx pour ONTAP

2. Lorsque vous avez terminé de configurer l'emplacement de destination, choisissez Next.

Configuration de vos paramètres de transfert

Vous pouvez notamment définir un calendrier de transfert, personnaliser la manière dont l'intégrité de vos données est vérifiée et indiquer si vous souhaitez transférer uniquement un sous-ensemble d'objets. DataSync

Avant de commencer : assurez-vous d'avoir configuré le lieu de destination de votre transfert.

Pour configurer vos paramètres de transfert à l'aide de la DataSync console

1. Sur la page Configurer les paramètres, modifiez les paramètres de transfert ou utilisez les valeurs par défaut.

   Pour plus d’informations sur ces paramètres, consultez la page Choisir quels AWS DataSync transferts.

2. Choisissez Suivant.

3. Vérifiez les détails de votre transfert, puis choisissez Créer une tâche.

Commencer votre transfert

Une fois que vous avez créé votre tâche de transfert, vous êtes prêt à commencer à déplacer les données. Pour obtenir des instructions sur le démarrage d'une tâche à l'aide de la DataSync console ou AWS CLI consultez la section Démarrage de votre tâche.

Limites

• Si votre système de stockage source utilise le protocole NFS (tel qu'Amazon EFS), DataSync vous ne pouvez pas transférer de fichiers contenant des liens physiques vers un appareil Snowball Edge.

• DataSync Impossible de transférer des objets de plus de 1 024 octets d'un appareil Snowball Edge vers un compartiment S3. Pour plus d'informations, consultez le guide de l'utilisateur Amazon S3.