Utilisation de NFS pour le transfert de données hors ligne - AWS Snowcone Guide de l'utilisateur

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation de NFS pour le transfert de données hors ligne

Votre appareil Snow Family contient une interface de fichier qui permet d'accéder au stockage interne de l'appareil. Pour importer vos données hors connexion vers Amazon S3 avec votre appareil Snow Family, vous connectez l'appareil à votre réseau local, puis utilisezAWS OpsHubpour le déverrouiller. Vous pouvez copier des données depuis des périphériques de stockage locaux vers l'appareil Snow Family via l'interface de fichiers NFS.

Après avoir copié les données sur l'appareil Snow Family, l'étiquette d'expédition E Ink est mise à jour pour s'assurer que l'appareil est automatiquement envoyé au bonAWSinstallation. Vous pouvez suivre l'appareil Snow Family à l'aide de messages texte ou d'e-mails générés par Amazon SNS et de la console. Pour de plus amples informations sur AWS OpsHub, consultez Utilisation d’AWS OpsHub for Snow Family afin de gérer des appareils.

Note

Les noms de fichiers sont des clés d'objet dans votre compartiment S3 local sur l'appareil Snow Family. Le nom de clé est une séquence de caractères Unicode dont l'encodage UTF-8 est long de 1,024 octets maximum. Nous vous recommandons d'utiliser NFSv4.1 dans la mesure du possible et d'encoder les noms de fichiers avec Unicode UTF-8 pour garantir une importation réussie des données. Les noms de fichiers qui ne sont pas codés avec UTF-8 peuvent ne pas être téléchargés sur S3 ou peuvent être téléchargés sur S3 avec un nom de fichier différent en fonction du codage NFS que vous utilisez.

Assurez-vous que la longueur maximale du chemin d'accès à votre fichier est inférieure à 1024 caractères. Les appareils de la famille Snow ne prennent pas en charge les chemins de fichiers supérieurs à 1 024 caractères. Le dépassement de cette longueur de chemin de fichier entraînera des erreurs d'importation de fichiers.

Pour de plus amples informations, veuillez consulterClés d'objetdans leManuel de l'utilisateur Amazon Simple Storage Service.

Vous pouvez transférer jusqu'à 8 To avec un seul appareil Snowcone et transférer des jeux de données plus volumineux avec plusieurs appareils, en parallel ou séquentiellement. Par exemple, vous pouvez transférer 24 To de données avec trois appareils Snowcone. Pour les tâches de transfert de données plus volumineuses, vous pouvez utiliser l'appareil Snowball Edge Storage Optimized. Vous pouvez transférer jusqu'à 80 To avec un seul appareil Snowball Edge Storage Optimized et transférer des jeux de données plus volumineux avec plusieurs appareils, en parallel ou séquentiellement.

Note
  • Vous ne pouvez transférer jusqu'à 40 millions de fichiers qu'à l'aide d'un seul appareil Snow Family. Si vous devez transférer plus de 40 millions de fichiers dans une seule tâche, veuillez grouper les fichiers afin de réduire le nombre de fichiers par transfert. Les fichiers individuels peuvent être de n'importe quelle taille et la taille maximale du fichier peut atteindre 5 To. Il ne s'agit pas d'une limitation de neige, mais d'une limite S3. S3 limite la taille du fichier à 5 To maximum.

  • Vous pouvez fournir des blocs CIDR pour les plages IP autorisées à monter les partages NFS exposés par l’appareil. Par exemple, 10.0.0.0/16. Si vous ne fournissez pas de blocs CIDR autorisés, toutes les demandes de montage seront refusées. Pour plus d'informations, consultez .Restriction de l'accès aux partages NFS lorsque NFS est en cours d'exécution.

  • Pour les transferts basés sur NFS, des métadonnées de style POSIX standard seront ajoutées à vos objets lorsqu'ils sont importés dans Amazon S3 à partir de Snowball Edge. En outre, vous verrez les métadonnées « x-amz-meta-user-agent aws-datasync » telles que nous utilisons actuellementAWS DataSyncdans le cadre du mécanisme d'importation interne vers l'option Amazon S3 for Snowball Edge avec l'option NFS.

Configuration NFS pour Snowball Edge

NFS est omniprésent (existant ou présent en même temps). Chaque ordinateur portable, poste de travail et serveur dispose d'une connexion IP et chaque système d'exploitation moderne dispose d'un client NFS intégré. Les systèmes de stockage d'objets utilisent généralement l'API Amazon S3, moins omniprésente que NFS, en particulier dans le centre de données privé. Amazon S3 ne prend pas en charge NFS. Par conséquent, avant de commander le SBE, vous devez décider d'utiliser l'interface S3 ou l'interface NFS. Si vous choisissez l'interface NFS, montez le compartiment NFS de SBE en tant que volume.

Prérequis

  • 2 adresses IP :

    • Un pour une interface réseau physique pour activer SBE (par exemple 192.168.0.9)

    • Le deuxième pour l'interface réseau virtuelle pour monter SBE (par exemple 192.168.0.10)

  • Station de travail

Comment configurer Snowball Edge

confirmer que le service NFS est actif

snowballEdge describe-service --service-id nfs --profile sbe1 { "ServiceId" : "nfs", "Status" : { "State" : "ACTIVE" } }

Si l'état est actif, vous pouvez monter le volume SBE, sinon vous devez redémarrer le service ou créer une interface réseau virtuelle

Créer une interface réseau virtuelle et démarrer le service NFS

Vérifiez si une interface réseau virtuelle existe déjà

$ snowballEdge describe-virtual-network-interface --profile sbe1

Identification de l'ID d'interface physique

$ snowballEdge describe-device --profile sbe1

Créer une interface réseau virtuelle et identifier l'arn v-nic

$ snowballEdge create-virtual-network-interface \ --physical-network-interface-id s.ni-abcd1234 \ --ip-address-assignment STATIC \ --static-ip-address-configuration IpAddress=192.168.0.10,Netmask=255.255.255.0 --profile sbe1

Démarrer le service NFS

$ snowballEdge start-service --virtual-network-interface-arns arn:aws:snowball-device:::interface/s.ni-8712e3a5cb180e65d --service-id nfs --service-configuration AllowedHosts=0.0.0.0/0 —profile sbe1

vérifier l'état du service

$ snowballEdge describe-service --service-id nfs --profile sbe1 { "ServiceId" : "nfs", "Status" : { "State" : "ACTIVE" }, "Endpoints" : [ { "Protocol" : "nfs", "Port" : 2049, "Host" : "192.168.0.10" } ], "ServiceConfiguration" : { "AllowedHosts" : [ "192.168.0.6/32", "11.160.2.156/32", "192.168.0.10/32" ] } }

Montage SBE

Sur le poste de travail, vous pouvez monter le volume SBE, qui est le nom de compartiment du stockage NFS.

$ sudo mkdir /mnt/local $ sudo mount -t nfs 192.168.0.10:/buckets/your-nfs-bucket-name /mnt/local

Après avoir monté le volume SBE, vous pouvez vérifier la taille du volume à l'aide de la commande « df ».

$ df -h* */mnt/local Filesystem Size Used Avail Use% Mounted on 192.168.0.10 80TB 20G 79TB 1% /mnt/local
Note

Résolution des problèmes NFS

Les erreurs suivantes peuvent être rencontrées lors de l'utilisation de NFS sur des appareils de la famille Snow.

J'obtiens un message d'erreur DÉSACTIVÉ

Ce message s'affiche si vous éteignez votre appareil Snow Family sans arrêter le service NFS au préalable. La prochaine fois que vous démarrez NFS, un message d'erreur DEACTIVED peut échouer.

Par exemple : Démarrage du service sur votre Snowball Edge.

snowballEdge start-service --service-id nfs --virtual-network-interface-arns arn:aws:snowball-device:::interface/s.ni-84991da69040a7xxx

Vous pouvez déterminer l'état du service à l'aide de ladescribe-servicecommande.

snowballEdge describe-service --service-id nfs { "ServiceId" : "nfs", "Status" : { "State" : "DEACTIVATED" } }

Comment corriger le problème

Pour corriger le problème, arrêtez et redémarrez le service NFS en suivant les étapes suivantes.

Étape 1 : Utilisation de l'describe-servicepour déterminer l'état du service :

snowballEdge describe-service --service-id nfs { "ServiceId" : "nfs", "Status" : { "State" : "DEACTIVATED" } }

Étape 2 : Utilisation de l'stop-servicepour arrêter le service NFS :

snowballEdge stop-service --service-id nfs --profile 11

Étape 3 : Utilisation de l'start-servicepour démarrer normalement le service NFS :

snowballEdge start-service --virtual-network-interface-arns arn:aws:snowball-device:::interface/s.ni-8712e3a5cb180e65d --service-id nfs --service-configuration AllowedHosts=0.0.0.0/0 --profile 11

Étape 4 : Utilisation de l'describe-servicepour vous assurer que le service est ACTIF :

SnowBalledge describe-service —service-id nfs

{ "ServiceId" : "nfs", "Status" : { "State" : "ACTIVE" }, "Endpoints" : [ { "Protocol" : "nfs", "Port" : 2049, "Host" : "192.168.0.10" } ], "ServiceConfiguration" : { "AllowedHosts" : [ "192.168.0.6/32", "11.160.2.156/32", "192.168.0.10/32" ] } }