Résolution des problèmes AWS DataSync - AWS DataSync

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Résolution des problèmes AWS DataSync

Utilisez les informations suivantes pour résoudre les problèmes :AWS DataSync problèmes.

J'ai besoin de DataSync pour utiliser une version NFS ou SMB spécifique pour monter mon partage

DataSync sélectionne automatiquement la version Network File System (NFS) ou Server Message Block (SMB) utilisée pour accéder à votre emplacement. Si vous avez besoin DataSync pour utiliser une version spécifique, utilisez la valeur DataSync API, console ou leAWS CLI.

Action à exécuter

Procédez comme suit avec l'API :

  • Pour NFS, utilisez le paramètre Version facultatif pour l'opération d'API CreateLocationNfs.

  • Pour SMB, utilisez le paramètre Version facultatif pour l'opération d'API CreateLocationSmb.

Procédez comme suit :AWS CLIcrée un emplacement source pour NFS et cause de DataSync pour utiliser NFS version 4.0. Spécifiez l'option subdirectory avec des barres obliques, par exemple /path/to/folder.

$ aws datasync create-location-nfs --server-hostname your-server-address --on-prem-config AgentArns=your-agent-arns --subdirectory nfs-export-path --mount-options Version=NFS4_0

Procédez comme suit :AWS CLIcrée un emplacement source SMB et cause de DataSync pour utiliser SMB version 3. Spécifiez l'option subdirectory avec des barres obliques, par exemple /path/to/folder.

$ aws datasync create-location-smb --server-hostname your-server-address --on-prem-config AgentArns=your-agent-arns --subdirectory smb-export-path --mount-options Version=SMB3

Que signifie l'erreur « Impossible de récupérer la clé d'activation de l'agent » ?

Lorsque vous activez votre DataSync agent, l'agent se connecte au point de terminaison spécifié pour demander une clé d'activation. Vous pouvez obtenir cette erreur dans des cas d'utilisation de point de terminaison d'un non-VPC. Par exemple, lorsque votre agent est déployé sur site et que vos paramètres de pare-feu bloquent la connexion. Vous pouvez également obtenir cette erreur si votre agent est déployé en tant qu'instance Amazon EC2 et que les groupes de sécurité sont verrouillés.

Action à exécuter

Vérifiez que votre groupe de sécurité est configuré pour autoriser votre agent à se connecter au point de terminaison d'un VPC et que vous avez autorisé les ports requis. Pour de plus amples informations sur les ports requis, veuillez consulter AWS DataSyncexigences réseau.

Vérifiez également vos paramètres de pare-feu et de routeur et assurez-vous qu'ils autorisent la communication avec les points de terminaison dansAWS. Pour de plus amples informations sur la communication de point de terminaison, veuillez consulter Configuration réseau requise lors de l'utilisation de points de terminaison publics ou FIPS.

Je ne peux pas activer un agent que j'ai créé à l'aide d'un point de terminaison VPC

Si vous rencontrez des problèmes lorsque vous activez un agent créé à l'aide d'un point de terminaison d'un VPC, ouvrez un canal de support sur l'elastic network interface de votre point de terminaison d'un VPC. Pour de plus amples informations sur le canal de support, veuillez consulterObtention d'aide avec votre agent auprèsAWS Support.

L'état de ma tâche n'est pas disponible et indique une erreur de montage

Lorsque vous créez une tâche, celle-ci peut passer de l'état CREATING (CRÉATION) à l'état UNAVAILABLE (INDISPONIBLE) lorsque l'agent que vous choisissez ne peut pas monter l'emplacement que vous avez spécifié lors de la configuration.

Action à exécuter

Tout d'abord, assurez-vous que le serveur NFS et l'exportation que vous avez spécifiés sont tous deux valides. Si ce n'est pas le cas, supprimez la tâche, créez-en une nouvelle en utilisant le serveur NFS correct, puis procédez à l'exportation. Pour plus d'informations, consultez Création d'un emplacement NFS.

Si le serveur NFS et l'exportation sont tous deux valides, ce problème peut avoir deux origines. Soit un pare-feu empêche l'agent de monter le serveur NFS, soit le serveur NFS n'est pas configuré pour autoriser l'agent à le monter.

Assurez-vous qu'il n'y a pas de pare-feu entre l'agent et le serveur NFS. Ensuite, assurez-vous que le serveur NFS est configuré pour autoriser l'agent à monter la fin d'exportation spécifiée dans la tâche. Pour plus d'informations sur les exigences de réseau et de pare-feu, consultez AWS DataSyncexigences réseau.

Si vous effectuez ces actions et que l'agent ne peut toujours pas monter le serveur NFS et l'exportation, ouvrez un canal de support et collaborez avecAWSSupport. Pour plus d'informations sur l'ouverture d'un canal de support, consultez Obtention d'aide avec votre agent auprèsAWS Support.

Ma tâche a échoué avec un message d'erreur d'entrée/sortie

Vous pouvez obtenir un message d'entrée/de sortie si votre système de stockage fait échouer les demandes d'E/S de la valeur DataSync agent. Les raisons courantes de cette situation incluent une défaillance du disque serveur, des modifications apportées à la configuration de votre pare-feu ou une défaillance du routeur réseau.

Si l'erreur concerne un serveur NFS ou un cluster HDFS (Hadoop Distributed File System), procédez comme suit pour résoudre l'erreur.

Action à exécuter (NFS)

Commencez par vérifier vos journaux et métriques du serveur NFS afin de déterminer si le problème a commencé sur le serveur NFS. Si oui, résolvez ce problème.

Ensuite, vérifiez que votre configuration réseau n'a pas changé. Pour vérifier si le serveur NFS est configuré correctement et que DataSync peut y accéder, procédez comme suit :

  1. Configurez un autre client NFS sur le même sous-réseau réseau que l'agent .

  2. Montez votre partage sur ce client.

  3. Veillez à ce que le client puisse lire et écrire dans le partage avec succès.

Action à exécuter (HDFS)

Assurez-vous que votre cluster HDFS permet à l'agent de communiquer avec le cluster NameNode et DataNode ports. Dans la plupart des clusters, vous pouvez trouver les numéros de port que le cluster utilise dans les fichiers de configuration suivants.

  1. Pour trouver le NameNode port, regardez dans lecore-site.xmlsous la valeurfs.defaultoufs.default.name(en fonction de la distribution Hadoop).

  2. Pour trouver le DataNode port, regardez dans lehdfs-site.xmlsous la valeurdfs.datanode.addresspropriété.

Ma tâche est bloquée dans l'état de lancement

Votre tâche d'exécution peut se bloquer sur le statut LANCEMENT lorsque DataSync ne peut pas ordonner à l'agent source spécifié de commencer une tâche. Ce problème se produit généralement parce que l'agent est hors tension ou a perdu sa connectivité réseau.

Action à exécuter

Assurez-vous que l'agent est connecté et que le statut est EN LIGNE. Si le statut est HORS LIGNE, l'agent n'est pas connecté. Pour plus d'informations sur le test de la connectivité réseau, consultez Test de la connexion de votre agent à DataSync points finaux.

Ensuite, assurez-vous que votre agent est sous tension. Si ce n'est pas le cas, mettez-le sous tension.

Si l'agent de synchronisation est sous tension et que la tâche de synchronisation continue d'être bloquée surLANCEMENTétat, puis un problème de connectivité réseau entre l'agent et DataSync est l'explication la plus probable. Vérifiez les paramètres de votre réseau et du pare-feu pour vous assurer que l'agent peut se connecter à DataSync.

Si vous effectuez ces actions et que le problème n'est pas résolu, ouvrez un canal de support et collaborez avec.AWSSupport. Pour plus d'informations sur l'ouverture d'un canal de support, consultez Obtention d'aide avec votre agent auprèsAWS Support.

Ma tâche a échoué avec un message d'erreur sur les autorisations refusées

Vous pouvez recevoir un message d'erreur de refus d'autorisation si vous configurez votre serveur NFS avec les options root_squash ou all_squash activées, et que vos fichiers ne disposent pas de tous les accès en lecture.

Action à exécuter

Pour résoudre ce problème, vous pouvez configurer l'exportation NFS avec no_root_squash. Vous pouvez également vous assurer que les autorisations pour tous les fichiers que vous souhaitez transférer autorisent l'accès en lecture à tous les utilisateurs. Ces actions permettent à l'agent de lire les fichiers. Pour que l'agent puisse accéder aux répertoires, vous devez également activer toutes les accès en exécution.

Pour vous assurer que le répertoire peut être monté, vconnectez-vous d'abord à n'importe quel ordinateur possédant la même configuration réseau que votre agent. Puis, exécutez la commande d'interface de ligne de commande suivante.

mount -t nfs -o nfsvers=<your nfs server version> <your nfs server name>:<the nfs export path you specified> <a new test folder on your computer>

Si vous effectuez ces actions et que le problème n'est pas résolu, contactezAWSSupport.

Ma tâche est en état de préparation depuis longtemps.

Le moment DataSync dépense dans lePRÉPARANTdépend du nombre de fichiers dans les systèmes de fichiers source et de destination, et des performances de ces systèmes de fichiers. Lorsqu'une tâche commence, DataSync établit une liste récursive des répertoires pour découvrir tous les fichiers et les métadonnées de fichiers dans le système de fichiers source et de destination. Ces listes sont utilisées pour identifier les différences et déterminer ce qui est à copier. Ce processus prend généralement entre quelques minutes et quelques heures. Pour plus d'informations, consultez Démarrage de votre DataSync tâche.

Action à exécuter

Vous ne devriez pas avoir à faire quoi que ce soit. Continuez à attendre lePRÉPARANTstatut pour passer àTRANSFERT. Si le statut ne change toujours pas, contactezAWSSupport.

En combien de temps vérifie-t-on une tâche que j'ai exécutée ?

Le moment DataSync dépense dans leVÉRIFIANTle statut dépend d'un certain nombre de facteurs. Il s'agit du nombre de fichiers, de la taille totale de tous les fichiers des systèmes de fichiers source et de destination, et des performances de ces systèmes de fichiers. Par défaut, le mode Vérification est activé dans le paramètre Options. Vérification de la vérification DataSync effectue inclut un total de contrôle SHA256 sur tous les contenus de fichiers et une comparaison exacte de toutes les métadonnées de fichiers.

Action à exécuter

Vous ne devriez pas avoir à faire quoi que ce soit. Continuez à attendre leVÉRIFIANTStatut à compléter. Si le statut ne change toujours pas, contactezAWSSupport.

Mon coût de stockage est plus élevé que prévu

Si votre coût de stockage est plus élevé que prévu, cela peut être dû à une ou plusieurs des raisons suivantes :

  • DataSync utilise la fonctionnalité de chargement partitionné Amazon S3 pour charger des objets vers Amazon S3. Cette approche peut entraîner des frais de stockage inattendus pour les chargements qui n'ont pas été terminés avec succès.

  • La gestion des versions d'objet peut être activée sur votre compartiment S3. La gestion des versions d'objet fait en sorte qu'Amazon S3 stocke plusieurs copies d'objets qui ont le même nom.

Action à exécuter

Dans ces cas, vous pouvez procéder comme suit :

  • Si le problème est lié à des chargements partitionnés, configurez une stratégie pour les chargements partitionnés pour votre compartiment S3 afin de nettoyer les chargements partitionnés incomplets et réduire le coût de stockage. Pour plus d'informations, consultez le .AWSbillet de blogMise à jour de la gestion du cycle de vie S3 - Support des chargements partitionnés et des marqueurs de suppression.

  • Si le problème est lié aux versions d'objet, vérifiez si les versions d'objet sont activées pour votre compartiment Amazon S3. Si la gestion des versions est activée, désactivez-la.

Si vous effectuez ces actions et que le problème n'est pas résolu, contactezAWSSupport. Pour plus d'informations sur la façon de contacterAWSSupport, voirDémarrage avecAWSSupport.

Je ne sais pas ce qui se passe avec mon agent. Quelqu'un peut-il m'aider ?

Si vous rencontrez des problèmes avec votre déploiement DataSync agent que vous ne pouvez pas résoudre,AWSL'Support peut vous aider.

Pour de plus amples informations sur l'ouverture du canal de support, veuillez consulter Obtention d'aide avec votre agent auprèsAWS Support.

Comment puis-je me connecter à la console locale d'un agent Amazon EC2 ?

Assurez-vous que le groupe de sécurité de l'instance Amazon EC2 autorise l'accès avec SSH (port TCP 22), puis connectez-vous à l'aide de la commande suivante :

ssh -i PRIVATE-KEY admin@AGENT-PUBLIC-DNS-NAME

  • Le nom d'utilisateur est admin.

  • LePRIVATE-KEYvaleur est la valeur.pemqui contient le certificat privé de la key pair Amazon EC2 que vous avez utilisée pour lancer l'instance. Pour de plus amples informations, veuillez consulterextraire la clé publique de la clé privéedans leGuide de l'utilisateur Amazon EC2 pour les instances Linux.

  • La valeur AGENT-PUBLIC-DNS-NAME est le nom DNS public de votre agent. Vous pouvez trouver ce nom DNS public en choisissant l'instance dans la console Amazon EC2 et accédez à la page deDescriptiononglet.

Pour plus d'informations sur la connexion à l'instance Amazon EC2, consultez la sectionConnectez-vous à votre instancedans leGuide de l'utilisateur Amazon EC2 pour les instances Linux.

Ma tâche échoue lors du transfert vers un compartiment S3 dans un autreCompte AWS.

Contrairement à DataSync transferts entre des ressources dans la même ressourceCompte AWS, copie de données vers un compartiment S3 dans un compartiment différentCompte AWSnécessite quelques étapes supplémentaires.

  • Si vos recettes DataSync échoue avec une erreur liée aux autorisations du compartiment S3 : Lors de la création de la tâche, veillez à être connecté auAWS Management Consoleen utilisant le même nom d'utilisateur (ou rôle) IAM que vous avez spécifié dans la stratégie de votre compartiment S3 de destination. (Remarque : Ce n'est pas le rôle IAM qui donne DataSync Autorisation d'écrire dans le compartiment S3.)

  • Si vous copiez également des données vers un compartiment dans un autreRégion AWSet obtenez une erreur de connexion au point de terminaison S3 : Création de l' DataSync dans la même région que le compartiment S3 de destination.

Pour obtenir des instructions complètes sur les transferts entre comptes avec Amazon S3, consultez les didacticiels suivants :

Ma tâche échoue lors d'un transfert depuis un compartiment Google Cloud Storage

Etant donné que DataSync communique avec Google Cloud Storage à l'aide de l'API Amazon S3, il existe une limitation qui peut entraîner votre DataSync échoue si vous essayez de copier des balises d'objets. Le message suivant relatif au problème apparaît dans votre CloudWatch Bûches :

[WARN] Impossible de lire les métadonnées du fichier/votre compartiment/votre-objet : Échec de l'obtention du balisage des objets S3 : en cours sans marquage

Pour éviter cela, désélectionnez la caseCopie de balises objetlors de la configuration de vos paramètres de tâche.