Behebung von Problemen mitAWSDataSync Übertragungen

In den folgenden Themen werden Probleme beschrieben, die beiAWSDataSync Standorten und Aufgaben häufig auftreten, und es wird beschrieben, wie Sie diese lösen können.

Wie konfiguriere ichDataSync, um eine bestimmte NFS- oder SMB-Version zum Mounten meines Fileshares zu verwenden?

Für Standorte, die Network File System (NFS) oder Server Message Block (SMB) unterstützen,DataSync wird standardmäßig die Protokollversion für Sie ausgewählt. Sie können die Version auch selbst angeben, indem Sie dieDataSync Konsole oder die API verwenden.

Zu ergreifende Maßnahmen (DataSyncKonsole)

Konfigurieren Sie bei der Erstellung Ihres NFS- oder SMB-Standorts die Protokollversion, die Sie verwendenDataSync möchten. Weitere Informationen finden Sie unterKonfiguration von AWS DataSync Übertragungen von einem NFS-Dateiserver oderKonfiguration von AWS DataSync Übertragungen von einem SMB-Dateiserver).

Zu ergreifende Maßnahmen (DataSyncAPI)

Geben Sie denVersion Parameter an, wenn Sie Ihren NFS- oder SMB-Standort erstellen oder aktualisieren. Beispiele finden Sie unter CreateLocationNfs oder CreateLocationSmb.

Der folgendeAWS CLI Beispielbefehl erstellt einen NFS-Speicherort, der mit NFS Version 4.0DataSync gemountet wird.

$ aws datasync create-location-nfs --server-hostname your-server-address \
   --on-prem-config AgentArns=your-agent-arns \
   --subdirectory nfs-export-path \
   --mount-options Version="NFS4_0"

Der folgendeAWS CLI Beispielbefehl erstellt einen SMB-Standort, der mit SMB Version 3DataSync gemountet wird.

$ aws datasync create-location-smb --server-hostname your-server-address \
   --on-prem-config AgentArns=your-agent-arns \
   --subdirectory smb-export-path \
   --mount-options Version="SMB3"

Fehler: UngültigerSyncOption Wert. Option:TransferMode,PreserveDeletedFiles, Wert: ALL, ENTFERNEN.

Dieser Fehler tritt auf, wenn Sie IhreDataSync Aufgabe erstellen oder bearbeiten und die Option Alle Daten übertragen auswählen und die Option Gelöschte Dateien behalten deaktivieren. Wenn Sie alle Daten übertragen, scannt Ihr ZielverzeichnisDataSync nicht und weiß nicht, was gelöscht werden soll.

Meine Aufgabe schlägt immer wieder mit einem EniNotFoundFehler fehl

Dieser Fehler tritt auf, wenn Sie eine der NetzwerkInterfaces Ihrer Aufgabe in Ihrer Virtual Private Cloud (VPC) löschen. Wenn Ihre Aufgabe geplant ist oder in die Warteschlange gestellt wird, schlägt sie fehl, wenn eine Netzwerkschnittstelle fehlt, die für die Übertragung Ihrer Daten erforderlich ist.

Zu ergreifende Maßnahmen

Sie verfügen über folgende Optionen, um dieses Problem zu umgehen:

• Starten Sie die Aufgabe manuell neu. Wenn Sie dies tun,DataSync werden alle fehlenden Netzwerkschnittstellen erstellt, die für die Ausführung der Aufgabe benötigt werden.

• Wenn Sie Ressourcen in Ihrer VPC bereinigen müssen, stellen Sie sicher, dass Sie keine Netzwerkschnittstellen löschen, die sich auf eineDataSync Aufgabe beziehen, die Sie noch verwenden.

  Führen Sie einen der folgenden Schritte aus, um die Ihrer Aufgabe zuzuordnen, führen Sie einen der folgenden Schritte aus:

  • Benutze die DescribeTaskOperation. Sie können die Netzwerkschnittstellen in den AntwortelementenSourceNetworkInterfaceArns und in denDestinationNetworkInterfaceArns Antwortelementen anzeigen.

  • Suchen Sie in der Amazon EC2 EC2-Konsole nach Ihrer Aufgaben-ID (z. B.task-f012345678abcdef0), um die Netzwerkschnittstellen zu finden.

• Erwägen Sie, Ihre Aufgaben nicht automatisch auszuführen. Dies könnte das Deaktivieren der Warteschlange oder der Planung von Aufgaben (durchDataSync oder durch benutzerdefinierte Automatisierung) beinhalten.

Meine Aufgabe ist mit einem DataSyncderzeit nicht unterstützten serverseitigen NFSv4-ID-Zuordnungsfehler fehlgeschlagen

Dieser Fehler kann auftreten, wenn ein an Ihrer Übertragung beteiligtes Dateisystem die NFS-ID-Zuordnung der Version 4 verwendet, eine Funktion, dieDataSync nicht unterstützt wird.

Maßnahme

Sie verfügen über verschiedene Optionen, um dieses Problem zu umgehen:

• Erstellen Sie einen neuenDataSync Speicherort für das Dateisystem, das NFS Version 3 verwendet.

• Deaktivieren Sie die NFS-ID-Zuordnung der Version 4 auf dem Dateisystem.

Versuchen Sie die Übertragung erneut. Jede der Optionen sollte das Problem beheben.

Mein Aufgabenstatus ist nicht verfügbar und weist auf einen Mount-Fehler hin

DataSynczeigt an, dass Ihre Aufgabe nicht verfügbar ist, wenn Ihr Agent keinen NFS-Standort mounten kann.

Maßnahme

Stellen Sie zuerst sicher, dass der angegebene NFS-Server und Export beide gültig sind. Ist dies nicht der Fall, löschen Sie die Aufgabe, erstellen Sie einen neuen mit dem korrekten NFS-Server und führen Sie dann den Exportvorgang durch. Weitere Informationen finden Sie unter Konfiguration von AWS DataSync Übertragungen von einem NFS-Dateiserver.

Wenn NFS-Server und Export beide gültig sind, weist dies in der Regel auf zwei Dinge hin. Entweder verhindert eine Firewall, dass der Agent den NFS-Server einrichtet, oder der NFS-Server ist nicht konfiguriert, damit der Agent ihn einbinden kann.

Stellen Sie sicher, dass sich keine Firewall zwischen dem Agenten und dem NFS-Server befindet. Vergewissern Sie sich dann, dass der NFS-Server so konfiguriert ist, dass der Aufgabenagent den angegebenen Export mounten kann. Weitere Informationen zum Netzwerk und Firewall-Anforderungen finden Sie unter AWS DataSyncNetzwerkanforderungen.

Wenn Sie diese Aktionen ausführen und der Agent den NFS-Server und den Export immer noch nicht mounten und exportieren kann, öffnen Sie einen Support-Channel mitAWS Support. Weitere Informationen zum Öffnen eines Support-Kanals finden Sie unter Hilfe bei Ihrem Agenten erhalten Sie vonAWS Support.

Meine Aufgabe ist mit dem Fehler „Speicher kann nicht zugewiesen werden“ fehlgeschlagen

Wenn IhreDataSync Aufgabe mit dem Fehler „Speicher kann nicht zugewiesen werden“ fehlschlägt, kann das verschiedene Ursachen haben.

Maßnahme

Versuchen Sie Folgendes, bis das Problem nicht mehr auftritt:

• Wenn an Ihrer Übertragung ein Agent beteiligt ist, stellen Sie sicher, dass der Agent die Anforderungen der virtuellen Maschine (VM) erfüllt.

• Teilen Sie Ihre Übertragung mithilfe von Filtern in mehrere Aufgaben auf. Es ist möglich, dass Sie versuchen, mehr Dateien oder Objekte zu übertragen, als eineDataSync Aufgabe bewältigen kann.

• Wenn das Problem weiterhin besteht, wenden Sie sich anAWS Support.

Meine Aufgabe ist mit einem Eingabe-/Ausgabefehler fehlgeschlagen

Sie können eine Eingabe-/Ausgabe-Fehlermeldung erhalten, wenn Ihr Speichersystem die I/O-Anforderungen desDataSync Agenten nicht erfüllt. Zu den häufigsten Gründen hierfür gehören ein Festplattenausfall auf dem Server, Änderungen an Ihrer Firewallkonfiguration oder ein Ausfall des Netzwerk-Routers.

Wenn der Fehler einen NFS-Server oder einen Hadoop Distributed File System (HDFS) -Cluster betrifft, gehen Sie wie folgt vor, um den Fehler zu beheben.

Zu ergreifende Maßnahmen (NFS)

Überprüfen Sie zunächst die Protokolle und Metriken Ihres NFS-Servers, um festzustellen, ob das Problem auf dem NFS-Server verursacht wurde. Falls ja, lösen Sie das Problem.

Als nächstes überprüfen Sie, ob Ihre Netzwerkkonfiguration unverändert ist. Gehen Sie wie folgt vor, um zu überprüfen, ob der NFS-Server korrekt konfiguriert ist und ob er darauf zugreifenDataSync kann:

1. Richten Sie einen anderen NFS-Client im gleichen Netzwerk-Subnetz wie den -Agenten ein.

2. Mounten Sie Ihre Freigabe auf diesem Client.

3. Überprüfen Sie, ob der Client die Freigabe erfolgreich lesen und schreiben kann.

Zu ergreifende Maßnahmen (HDFS)

Stellen Sie sicher, dass Ihr HDFS-Cluster dem Agenten die Kommunikation mit den ClusternNameNode undDataNode Ports ermöglicht. In den meisten Clustern finden Sie die Portnummern, die der Cluster verwendet, in den folgenden Konfigurationsdateien.

1. Um denNameNode Port zu finden, schauen Sie in dercore-site.xml Datei unter derfs.default.name Eigenschaftfs.default or nach (abhängig von der Hadoop-Distribution).

2. Um denDataNode Port zu finden, schauen Sie in derhdfs-site.xml Datei unter derdfs.datanode.address Eigenschaft nach.

Meine Aufgabenausführung hat einen Startstatus, aber es scheint nichts zu passieren

Die Ausführung Ihrer Aufgabe kann im Status Wird gestartet hängen bleiben, wennDataSync Sie den angegebenen Quellagenten nicht anweisen können, eine Aufgabe zu starten. Dieses Problem tritt in der Regel auf, wenn der Aufgabenagent entweder ausgeschaltet ist oder die Netzwerkverbindung getrennt wurde.

Maßnahme

Stellen Sie sicher, dass der Agent verbunden ist und der Status ONLINE lautet. Wenn der Status OFFLINE lautet, ist der Agent nicht verbunden. Weitere Informationen zum Testen der Netzwerkverbindung finden Sie unter Testen Sie die Verbindung Ihres Agenten zuAWS.

Stellen Sie als Nächstes sicher, dass der Agent eingeschaltet ist. Wenn dies nicht der Fall ist, schalten Sie ihn ein.

Wenn der Agent eingeschaltet ist und die Aufgabe immer noch im Status Wird gestartet bleibt, ist ein Netzwerkverbindungsproblem zwischen dem Agenten undDataSync dem Agenten das wahrscheinlichste Problem. Überprüfen Sie Ihre Netzwerk- und Firewall-Einstellungen, um sicherzustellen, dass der Agent eine Verbindung mit DataSync herstellen kann.

Wenn Sie diese Aktionen ausführen und das Problem nicht behoben ist, öffnen Sie einen Support-Kanal mitAWS Support. Weitere Informationen zum Öffnen eines Support-Kanals finden Sie unter Hilfe bei Ihrem Agenten erhalten Sie vonAWS Support.

Meine Aufgabenausführung befindet sich schon lange im Vorbereitungsstatus

Die imDataSync Status Vorbereitung verbrachte Zeit hängt von der Anzahl der Dateien sowohl im Quell- als auch im Zieldateisystem und von der Leistung dieser Dateisysteme ab. Wenn eine Aufgabe startet, erstellt DataSync rekursiv eine Verzeichnisliste zur Ermittlung aller Dateien und Dateimetadaten im Quell- und Zieldateisystem. Diese Auflistungen dienen dazu, Unterschiede zu identifizieren und festzustellen, was kopiert werden soll. Dieser Vorgang dauert zwischen wenigen Minuten und einigen Stunden. Weitere Informationen finden Sie unter Beginne deine AWS DataSync Aufgabe.

Maßnahme

Du solltest nichts tun müssen. Warten Sie weiter, bis der Status „Vorbereitung“ in „Übertragung“ wechselt. Wenn sich der Status immer noch nicht ändert, wenden Sie sich anAWS Support.

Meine Aufgabe ist mit einem Fehler beim Verweigern von Berechtigungen fehlgeschlagen

Sie können eine Fehlermeldung "Berechtigungen verweigert" erhalten, wenn Sie Ihren NFS-Server mit root_squash oder all_squash konfiguriert haben und Ihre Dateien nicht alle Leserechte haben.

Maßnahme

Um dieses Problem zu beheben, können Sie den NFS-Export mit no_root_squash konfigurieren. Oder Sie können sicherstellen, dass die Berechtigungen für alle Dateien, die Sie übertragen möchten, Lesezugriff für alle Benutzer erlauben. Wenn Sie eine dieser Aktionen ausführen, kann der Agent die Dateien lesen. Damit der Agent auf Verzeichnisse zugreifen kann, müssen Sie zusätzlich den Vollzugriff aktivieren.

Um sicherzustellen, dass das Verzeichnis gemountet werden kann, verbinden Sie sich zunächst mit einem Computer, der die gleiche Netzwerkkonfiguration wie Ihr Agent hat. Führen Sie dann den folgenden CLI-Befehl aus.

mount -t nfs -o nfsvers=<your-nfs-server-version> <your-nfs-server-name>:<nfs-export-path-youspecified> <new-test-folder-on-your-computer>

Wenn Sie diese Aktionen ausführen und das Problem nicht behoben ist, wenden Sie sich anAWS Support.

Wie lange dauert es, bis eine von mir ausgeführte Aufgabe überprüft werden?

Die Zeit, die DataSync im Status VERIFYING (ÜBERPRÜFEN) verbringt, hängt von einer Reihe von Faktoren ab. Diese sind die Anzahl der Dateien, die Gesamtgröße aller Dateien im Quell- und Zieldateisystem und die Leistung dieser Dateisysteme. Standardmäßig ist der Verifizierungsmodus in den Optionseinstellungen aktiviert. Die ÜberprüfungDataSync umfasst eine SHA256-Prüfsumme für den gesamten Dateiinhalt und einen genauen Vergleich aller Dateimetadaten.

Maßnahme

Du solltest nichts tun müssen. Warten Sie weiter, bis der Status VERIFIZIEREN abgeschlossen ist. Wenn sich der Status immer noch nicht ändert, wenden Sie sich anAWS Support.

Meine Aufgabe schlägt fehl, wenn sie in einen S3-Bucket in einem anderen übertragen wirdAWS-Konto

Im Gegensatz zuDataSync Übertragungen zwischen Ressourcen innerhalb desselbenAWS-KontoAWS-Konto erfordert das Kopieren von Daten in einen S3-Bucket in einem anderen Bucket einige zusätzliche Schritte.

• Wenn IhreDataSync Aufgabe mit einem Fehler im Zusammenhang mit den S3-Bucket-Berechtigungen fehlschlägt: Stellen Sie beim Erstellen der Aufgabe sicher, dass SieAWS Management Console mit derselben IAM-Rolle angemeldet sind, die Sie in der Richtlinie Ihres S3-Zielbuckets angegeben haben. (Hinweis: Dies ist nicht die IAM-Rolle, die dieDataSync Berechtigung zum Schreiben in den S3-Bucket erteilt.)

• Wenn Sie auch Daten in einen Bucket in einem anderen kopierenAWS-Region und ein S3-Endpunktverbindungsfehler angezeigt wird: Erstellen Sie dieDataSync Aufgabe in derselben Region wie der Ziel-S3-Bucket.

Vollständige Anweisungen zu kontoübergreifenden Übertragungen mit Amazon S3 finden Sie in den folgenden Tutorials:

• Übertragung von Daten aus dem lokalen Speicher auf Amazon S3 in einer anderenAWS-Konto

• übertragungskostenAWS-Konto

Meine Aufgabe schlägt bei der Übertragung aus einem Google Cloud Storage-Bucket fehl

DaDataSync die Kommunikation mit Google Cloud Storage über die Amazon S3-API erfolgt, gibt es eine Einschränkung, die dazu führen kann, dass IhreDataSync Aufgabe fehlschlägt, wenn Sie versuchen, Objekt-Tags zu kopieren. Die folgende Meldung zu dem Problem wird in IhrenCloudWatch Protokollen angezeigt:

[WARN] Metadaten für die Datei//your-bucket/your-object konnten nicht gelesen werden: S3 Objekt-Tagging fehlgeschlagen: ohne Tagging fortfahren

Um dies zu verhindern, deaktivieren Sie bei der Konfiguration Ihrer Aufgabeneinstellungen die Option Objekt-Tags kopieren.

Die Start- und Endzeiten meiner Aufgabe stimmen nicht mit den Protokollen überein

Die Start- und Endzeiten Ihrer Aufgabenausführung, die Sie in derDataSync Konsole sehen, können sich zwischen den Zeitstempeln unterscheiden, die Sie an anderer Stelle im Zusammenhang mit Ihrer Übertragung sehen. Dies liegt daran, dass die Konsole die Zeit, die eine Aufgabenausführung im Startzustand oder in der Warteschlange verbringt, nicht berücksichtigt.

IhreCloudWatch Amazon-Protokolle können beispielsweise darauf hinweisen, dass die Ausführung Ihrer Aufgabe später als in derDataSync Konsole angezeigt wurde, beendet wurde. Möglicherweise stellen Sie in den folgenden Bereichen eine ähnliche Diskrepanz fest:

• Protokolle für das Dateisystem oder Objektspeichersystem, das an Ihrer Übertragung beteiligt ist

• Das Datum der letzten Änderung eines Amazon S3 S3-Objekts, an dasDataSync geschrieben wurde

• VomDataSync Agenten kommender Netzwerkverkehr

• EventBridgeAmazon-Ereignisse

Fehler: SyncTaskDeletedByUser

Dieser Fehler kann unerwartet auftreten, wenn Sie einigeDataSync Workflows automatisieren. Vielleicht haben Sie zum Beispiel ein Skript, das Ihre Aufgabe löscht, bevor eine Aufgabenausführung abgeschlossen ist oder sich in der Warteschlange befindet.

Um dieses Problem zu beheben, konfigurieren Sie Ihre Automatisierung neu, sodass sich diese Aktionstypen nicht überschneiden.

Fehler: NoMem

Der Datensatz, den Sie übertragen möchten, ist möglicherweise zu großDataSync. Wenn Sie diesen Fehler sehen, wenden Sie sich an AWS Supportdas Center.

Fehler: FsS3UnableToConnectToEndpoint

DataSynckann keine Verbindung zu Ihrem Amazon S3 S3-Standort herstellen. Dies könnte bedeuten, dass der S3-Bucket des Standorts nicht erreichbar ist oder der Standort nicht richtig konfiguriert ist.

Gehen Sie wie folgt vor, bis Sie das Problem behoben haben:

• Prüfen Sie, obDataSync Sie auf Ihren S3-Bucket zugreifen können.

• Stellen Sie sicher, dass der Standort korrekt konfiguriert ist, indem Sie dieDataSync Konsole oder den DescribeLocationS3-Vorgang verwenden.

Fehler: FsS3HeadBucketFailed

DataSynckann nicht auf den S3-Bucket zugreifen, zu oder aus dem Sie übertragen. Überprüfen Sie, ob SieDataSync über die Berechtigung verfügen, auf den Bucket zuzugreifen, indem Sie den Amazon S3 HeadBucketS3-Vorgang verwenden.