Résolution des problèmes liés auxAWSDataSync transferts - AWS DataSync

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Résolution des problèmes liés auxAWSDataSync transferts

Les rubriques suivantes décrivent les problèmes communs auxAWSDataSync sites et aux tâches et expliquent comment les résoudre.

Comment configurerDataSync pour utiliser une version NFS ou SMB spécifique pour monter mon partage de fichiers ?

Pour les emplacements qui prennent en charge le système de fichiers réseau (NFS) ou le bloc de messages du serveur (SMB), choisissezDataSync par défaut la version du protocole qui vous convient. Vous pouvez également spécifier vous-même la version à l'aide de laDataSync console ou de l'API.

Action à effectuer (DataSyncconsole)

Lorsque vous créez votre emplacement NFS ou SMB, configurez la version du protocole que vousDataSync souhaitez utiliser. Pour de plus amples informations, reportez-vous à la sectionConfiguration des AWS DataSync transferts depuis un serveur de fichiers NFS ouConfiguration des AWS DataSync transferts depuis un serveur de fichiers SMB).

Action à effectuer (DataSyncAPI)

Lorsque vous créez ou mettez à jour votre emplacement NFS ou SMB, spécifiez leVersion paramètre. Par obtenir des exemples, consultez CreateLocationNfs ou CreateLocationSmb.

L'exemple deAWS CLI commande suivant crée un emplacement NFS qui estDataSync monté à l'aide de la version 4.0 de NFS.

$ aws datasync create-location-nfs --server-hostname your-server-address \ --on-prem-config AgentArns=your-agent-arns \ --subdirectory nfs-export-path \ --mount-options Version="NFS4_0"

L'exemple deAWS CLI commande suivant crée un emplacement SMB qui seDataSync monte à l'aide de la version 3 de SMB.

$ aws datasync create-location-smb --server-hostname your-server-address \ --on-prem-config AgentArns=your-agent-arns \ --subdirectory smb-export-path \ --mount-options Version="SMB3"

Erreur : SyncOptionvaleur non valide. Option :TransferModePreserveDeletedFiles, Valeur : TOUT, SUPPRIMER.

Cette erreur se produit lorsque vous créez ou modifiez votreDataSync tâche et que vous sélectionnez l'option Transférer toutes les données et désélectionnez l'option Conserver les fichiers supprimés. Lorsque vous transférez toutes les données,DataSync il ne scanne pas votre emplacement de destination et ne sait pas quoi supprimer.

Ma tâche échoue sans cesse avec une EniNotFounderreur

Cette erreur se produit si vous supprimez l'une des interfaces réseau de votre tâche dans votre cloud privé cloud privé cloud privé cloud privé cloud privé cloud privé cloud privé cloud privé cloud privé cloud privé cloud privé cloud privé cloud privé cloud privé cloud privé Si votre tâche est planifiée ou en file d'attente, elle échouera s'il ne dispose pas d'une interface réseau requise pour transférer vos données.

Actions à exécuter

Vous disposez des options suivantes pour résoudre ce problème :

  • Redémarrez manuellement la tâche. Ce faisant, vousDataSync créerez toutes les interfaces réseau manquantes dont il a besoin pour exécuter la tâche.

  • Si vous devez nettoyer les ressources de votre VPC, veillez à ne pas supprimer les interfaces réseau associées à uneDataSync tâche que vous utilisez toujours.

    Pour consulter les interfaces réseau allouées à votre tâche, effectuez l'une des actions suivantes :

    • Utilisez l'DescribeTaskopération. Vous pouvez visualiser les interfaces réseau dansSourceNetworkInterfaceArns les éléments deDestinationNetworkInterfaceArns réponse.

    • Dans la console Amazon EC2, recherchez votre identifiant de tâche (tel quetask-f012345678abcdef0) pour trouver ses interfaces réseau.

  • Pensez à ne pas exécuter vos tâches automatiquement. Cela peut inclure la désactivation de la mise en file d'attente ou de la planification des tâches (viaDataSync une automatisation ou une automatisation personnalisée).

Ma tâche a échoué en raison d'une erreur de mappage d'ID NFSv4 côté serveur qui ne prend pas en chargeDataSync actuellement

Cette erreur peut se produire si un système de fichiers impliqué dans votre transfert utilise le mappage d'identifiants NFS version 4, une fonctionnalité quiDataSync n'est pas prise en charge.

Action à exécuter

Plusieurs options s'offrent à vous pour résoudre ce problème :

  • Créez un nouvelDataSync emplacement pour le système de fichiers qui utilise la version 3 de NFS.

  • Désactivez le mappage des identifiants NFS version 4 sur le système de fichiers.

Réessayez le transfert. L'une ou l'autre option devrait résoudre le problème.

L'état de ma tâche n'est pas disponible et indique une erreur de montage

DataSyncindiquera que votre tâche n'est pas disponible si votre agent ne parvient pas à monter un emplacement NFS.

Action à exécuter

Tout d'abord, assurez-vous que le serveur NFS et l'exportation que vous avez spécifiés sont tous deux valides. Si ce n'est pas le cas, supprimez la tâche, créez-en une nouvelle en utilisant le serveur NFS correct, puis procédez à l'exportation. Pour plus d'informations, veuillez consulter Configuration des AWS DataSync transferts depuis un serveur de fichiers NFS.

Si le serveur NFS et l'exportation sont tous deux valides, ce problème peut avoir deux origines. Soit un pare-feu empêche l'agent de monter le serveur NFS, soit le serveur NFS n'est pas configuré pour autoriser l'agent à le monter.

Assurez-vous qu'il n'y a pas de pare-feu entre l'agent et le serveur NFS. Ensuite, assurez-vous que le serveur NFS est configuré pour autoriser l'agent à monter la fin d'exportation spécifiée dans la tâche. Pour plus d'informations sur les exigences de réseau et de pare-feu, consultez AWS DataSyncexigences en matière de réseau.

Si vous effectuez ces actions et que l'agent ne parvient toujours pas à monter le serveur NFS et à l'exporter, ouvrez un canal d'AWSassistance avec Support. Pour plus d'informations sur l'ouverture d'un canal de support, consultez Obtenir de l'aide concernant votre agent auprès deAWS Support.

Ma tâche a échoué avec le message d'erreur Impossible d'allouer de la mémoire

Lorsque votreDataSync tâche échoue avec une erreur Impossible d'allouer de la mémoire, cela peut signifier différentes choses.

Action à exécuter

Essayez ce qui suit jusqu'à ce que le problème ne s'affiche plus :

Ma tâche a échoué avec une erreur d'entrée/sortie

Vous pouvez recevoir un message d'erreur d'entrée/sortie si votre système de stockage échoue aux demandes d'E/S de l'DataSyncagent. Cela est souvent dû à une panne du disque du serveur, à des modifications de la configuration de votre pare-feu ou à une panne de routeur réseau.

Si l'erreur concerne un serveur NFS ou un cluster HDFS (Hadoop Distributed File System), procédez comme suit pour résoudre l'erreur.

Action à entreprendre (NFS)

Commencez par vérifier vos journaux et métriques du serveur NFS afin de déterminer si le problème a commencé sur le serveur NFS. Si c'est le cas, résolvez ce problème.

Ensuite, vérifiez que votre configuration réseau n'a pas changé. Pour vérifier si le serveur NFS est correctement configuré et s'ilDataSync peut y accéder, procédez comme suit :

  1. Configurez un autre client NFS sur le même sous-réseau réseau que l'agent .

  2. Montez votre partage sur ce client.

  3. Veillez à ce que le client puisse lire et écrire dans le partage avec succès.

Action à entreprendre (HDFS)

Assurez-vous que votre cluster HDFS autorise l'agent à communiquer avec lesDataNode portsNameNode et les ports du cluster. Dans la plupart des clusters, vous pouvez trouver les numéros de port utilisés par le cluster dans les fichiers de configuration suivants.

  1. Pour trouver leNameNode port, consultez lecore-site.xml fichier situé sous lafs.default.name propriétéfs.default or (selon la distribution Hadoop).

  2. Pour trouver leDataNode port, consultez lehdfs-site.xml fichier situé sous ladfs.datanode.address propriété.

L'exécution de ma tâche a un statut de lancement mais rien ne semble se passer

L'exécution de votre tâche peut rester bloquée dans l'état Lancement lorsqueDataSync vous ne pouvez pas demander à l'agent source spécifié de commencer une tâche. Ce problème se produit généralement parce que l'agent est hors tension ou a perdu sa connectivité réseau.

Action à exécuter

Assurez-vous que l'agent est connecté et que le statut est EN LIGNE. Si le statut est HORS LIGNE, l'agent n'est pas connecté. Pour plus d'informations sur le test de la connectivité réseau, consultez Tester la connexion de votre agent àAWS.

Ensuite, assurez-vous que votre agent est sous tension. Si ce n'est pas le cas, mettez-le sous tension.

Si l'agent est sous tension et que la tâche est toujours bloquée à l'état de lancement, ilDataSync est fort probable qu'il s'agisse d'un problème de connectivité réseau entre l'agent et l'agent. Vérifiez les paramètres de votre réseau et du pare-feu pour vous assurer que l'agent peut se connecter à DataSync.

Si vous effectuez ces actions et que le problème persiste, ouvrez un canal d'assistance avecAWS Support. Pour plus d'informations sur l'ouverture d'un canal de support, consultez Obtenir de l'aide concernant votre agent auprès deAWS Support.

L'exécution de mes tâches est en cours de préparation depuis longtemps

Le temps passé par DataSync dans le statut Preparing (Préparation) dépend du nombre de fichiers dans les systèmes de fichiers source et de destination, et des performances de ces systèmes de fichiers. Lorsqu'une tâche démarre, DataSync établit une liste récursive des répertoires pour découvrir tous les fichiers et les métadonnées de fichiers dans le système de fichiers source et de destination. Ces listes sont utilisées pour identifier les différences et déterminer ce qui est à copier. Ce processus prend généralement entre quelques minutes et quelques heures. Pour plus d'informations, veuillez consulter Démarrage de votre AWS DataSync tâche.

Action à exécuter

Tu ne devrais rien faire. Continuez d'attendre que le statut En cours de préparation passe à Transfert. Si le statut ne change toujours pas, contactezAWS Support.

Ma tâche a échoué avec une erreur d'autorisation refusée

Vous pouvez recevoir un message d'erreur de refus d'autorisation si vous configurez votre serveur NFS avec les options root_squash ou all_squash activées, et que vos fichiers ne disposent pas de tous les accès en lecture.

Action à exécuter

Pour résoudre ce problème, vous pouvez configurer l'exportation NFS avec no_root_squash. Vous pouvez également vous assurer que les autorisations pour tous les fichiers que vous souhaitez transférer autorisent l'accès en lecture à tous les utilisateurs. Ces actions permettent à l'agent de lire les fichiers. Pour que l'agent puisse accéder aux répertoires, vous devez également activer toutes les accès en exécution.

Pour vous assurer que le répertoire peut être monté, vconnectez-vous d'abord à n'importe quel ordinateur possédant la même configuration réseau que votre agent. Puis, exécutez la commande d'interface de ligne de commande suivante.

mount -t nfs -o nfsvers=<your-nfs-server-version> <your-nfs-server-name>:<nfs-export-path-youspecified> <new-test-folder-on-your-computer>

Si vous effectuez ces actions et que le problème persiste, contactezAWS Support.

En combien de temps résolve une tâche que j'ai exécutée ?

Le temps passé par DataSync dans l'état VERIFYING (VÉRIFICATION) dépend d'un certain nombre de facteurs. Il s'agit du nombre de fichiers, de la taille totale de tous les fichiers des systèmes de fichiers source et de destination, et des performances de ces systèmes de fichiers. Par défaut, le mode Vérification est activé dans le paramètre Options. La vérification effectuéeDataSync inclut une somme de contrôle SHA256 sur tout le contenu des fichiers et une comparaison exacte de toutes les métadonnées des fichiers.

Action à exécuter

Tu ne devrais rien faire. Continuez à attendre que le statut de VÉRIFICATION soit terminé. Si le statut ne change toujours pas, contactezAWS Support.

Ma tâche échoue lors du transfert vers un compartiment S3 dans un autreCompte AWS

Contrairement auxDataSync transferts entre ressources d'un même compartimentCompte AWS, la copie de données vers un compartiment S3 situé dans un autre compartimentCompte AWS nécessite quelques étapes supplémentaires.

  • Si votreDataSync tâche échoue en raison d'une erreur liée aux autorisations du compartiment S3 : lors de la création de la tâche, assurez-vous d'être connecté enAWS Management Console utilisant le même rôle IAM que celui que vous avez spécifié dans la politique de votre compartiment S3 de destination. (Remarque : ce n'est pas le rôle IAM qui donneDataSync l'autorisation d'écrire dans le compartiment S3.)

  • Si vous copiez également des données vers un compartiment situé dans un autre compartimentRégion AWS et que vous obtenez une erreur de connexion au point de terminaison S3 : créez laDataSync tâche dans la même région que le compartiment S3 de destination.

Pour obtenir des instructions complètes sur les transferts entre comptes avec Amazon S3, consultez les didacticiels suivants :

Ma tâche échoue lors du transfert depuis un bucket Google Cloud Storage

Comme laDataSync communication avec Google Cloud Storage s'effectue via l'API Amazon S3, il existe une limitation qui peut entraîner l'échec de votreDataSync tâche si vous essayez de copier des balises d'objet. Le message suivant relatif au problème apparaît dans vosCloudWatch journaux :

[WARN] Impossible de lire les métadonnées du fichier /your-bucket/your-object : S3 Get Object Tagging Failed : poursuite sans balisage

Pour éviter cela, désélectionnez l'option Copier les balises d'objet lors de la configuration des paramètres de vos tâches.

Les heures de début et de fin de mes tâches ne correspondent pas aux journaux

Les heures de début et de fin de l'exécution de votre tâche affichées sur laDataSync console peuvent différer selon les horodatages que vous voyez ailleurs en rapport avec votre transfert. Cela est dû au fait que la console ne prend pas en compte le temps passé à exécuter une tâche lors de son lancement ou de sa mise en file d'attente.

Par exemple, vosCloudWatch journaux Amazon peuvent indiquer que l'exécution de votre tâche s'est terminée plus tard que ce qui est affiché dans laDataSync console. Vous remarquerez peut-être une différence similaire dans les domaines suivants :

  • Journaux du système de fichiers ou du système de stockage d'objets impliqué dans votre transfert

  • Date de dernière modification sur un objet Amazon S3 quiDataSync a écrit à

  • Trafic réseau provenant de l'DataSyncagent

  • EventBridgeÉvénements Amazon

Erreur: SyncTaskDeletedByUser

Cette erreur peut s'afficher de manière inattendue lors de l'automatisation de certainsDataSync flux de travail. Par exemple, vous avez peut-être un script qui supprime votre tâche avant que son exécution ne soit terminée ou qu'elle ne soit en file d'attente.

Pour résoudre ce problème, reconfigurez votre automatisation afin que ces types d'actions ne se chevauchent pas.

Erreur: NoMem

L'ensemble de données que vous essayez de transférer est peut-être trop volumineuxDataSync. Si cette erreur s'affiche, contactez le AWS SupportCentre.

Erreur: FsS3UnableToConnectToEndpoint

DataSyncImpossible de se connecter à votre emplacement Amazon S3. Cela peut signifier que le compartiment S3 de l'emplacement n'est pas accessible ou que l'emplacement n'est pas configuré correctement.

Procédez comme suit jusqu'à ce que le problème soit résolu :

Erreur: FsS3HeadBucketFailed

DataSyncne peut pas accéder au compartiment S3 vers ou depuis le compartiment S3 dans lequel vous effectuez un transfert. VérifiezDataSync s'il est autorisé à accéder au compartiment à l'aide de l'HeadBucketopération Amazon S3.