Wie AWS DataSync funktioniert

Lernen Sie die wichtigsten Konzepte und Begriffe im Zusammenhang mit AWS DataSync Übertragungen kennen, einschließlich der Art und Weise, wie Daten von lokalen und Cloud-Standorten übertragen werden.

DataSync Architektur der Übertragung

Die folgenden Diagramme zeigen, wie und wo Speicherdaten DataSync üblicherweise übertragen werden. Eine vollständige Liste der DataSync unterstützten Speichersysteme und Dienste finden Sie unter Mit wem kann ich meine Daten übertragen AWS DataSync?

Übertragung zwischen lokalem Speicher und AWS

Das folgende Diagramm zeigt einen allgemeinen Überblick über die DataSync Übertragung von Dateien zwischen selbstverwalteten, lokalen Speichersystemen und. AWS-Services

Das Diagramm veranschaulicht einen häufigen DataSync Anwendungsfall:

• Ein DataSync Agent, der Daten aus einem lokalen Speichersystem kopiert.

• Daten, die AWS über Transport Layer Security (TLS) in das System übertragen werden.

• DataSync Daten in einen unterstützten AWS Speicherdienst kopieren.

Übertragung zwischen AWS Speicherdiensten

Das folgende Diagramm zeigt einen allgemeinen Überblick über die DataSync Übertragung von Dateien zwischen AWS-Services denselben Dateien AWS-Konto.

Das Diagramm veranschaulicht einen häufigen DataSync Anwendungsfall:

• DataSync Kopieren von Daten aus einem unterstützten AWS Speicherdienst.

• Übertragung von Daten AWS-Regionen über TLS.

• DataSync Daten auf einen unterstützten AWS Speicherdienst kopieren.

Bei der Übertragung zwischen AWS Speicherdiensten (unabhängig davon, ob es sich um dieselben AWS-Region oder mehrere Speicherdienste handelt AWS-Regionen), verbleiben Ihre Daten im AWS Netzwerk und werden nicht über das öffentliche Internet übertragen.

Wichtig

Sie zahlen für Daten, die zwischen AWS-Regionen diesen übertragen werden. Dies wird als AUSGEHENDE Datenübertragung von Ihrer Quellregion in Ihre Zielregion abgerechnet. Weitere Informationen finden Sie unter Preise für Datenübertragungen.

Übertragung zwischen Cloud-Speichersystemen und AWS Speicherdiensten

Mit DataSync können Sie Daten zwischen anderen Cloud-Speichersystemen übertragen und AWS-Services. In diesem Zusammenhang können Cloud-Speichersysteme Folgendes umfassen:

• Selbstverwaltete Speichersysteme, z. B. ein NFS-Dateiserver in Ihrer virtuellen privaten Cloud (VPC) innerhalb. AWS

• Speichersysteme oder Dienste, die von einem anderen Cloud-Anbieter gehostet werden. Weitere Informationen finden Sie unter Übertragung zu oder von einem anderen Cloud-Speicher mit AWS DataSync.

Das folgende Diagramm zeigt einen allgemeinen Überblick über die DataSync Übertragung von Daten zwischen AWS Speicherdiensten und einem anderen Cloud-Anbieter.

Konzepte und Terminologie

Machen Sie sich mit den DataSync Übertragungsfunktionen vertraut.

Themen

• Kundendienstmitarbeiter

• Ort

• Aufgabe

• Ausführung der Aufgabe

Kundendienstmitarbeiter

Ein Agent ist eine Appliance für virtuelle Maschinen (VM), die während einer Übertragung zum Lesen aus dem Speicher und zum Schreiben in den Speicher DataSync verwendet wird.

Sie können einen Agenten in Ihrer Speicherumgebung auf VMware ESXi Linux-Kernel-basierten virtuellen Maschinen (KVM) oder Microsoft Hyper-V-Hypervisoren bereitstellen. Für die Speicherung in einer Virtual Private Cloud (VPC) in AWS können Sie einen Agenten als EC2 Amazon-Instance bereitstellen.

Ein DataSync Transfer-Agent unterscheidet sich nicht von einem Agenten, den Sie für DataSync Discovery verwenden können. Wir empfehlen jedoch nicht, denselben Agenten für diese Szenarien zu verwenden.

Informationen zu den ersten Schritten finden Sie unter Brauche ich einen AWS DataSync Agenten?

Ort

Ein Ort beschreibt, von oder an den Sie Daten kopieren. Jede DataSync Übertragung (auch als Aufgabe bezeichnet) hat einen Quell- und einen Zielort. Weitere Informationen finden Sie unter Mit wem kann ich meine Daten übertragen AWS DataSync?

Aufgabe

Eine Aufgabe beschreibt eine DataSync Übertragung. Sie identifiziert einen Quell- und einen Zielort sowie Einzelheiten zum Kopieren von Daten zwischen diesen Speicherorten. Sie können auch angeben, wie eine Aufgabe mit Metadaten, gelöschten Dateien und Berechtigungen umgeht.

Ausführung der Aufgabe

Eine Aufgabenausführung ist eine einzelne Ausführung einer DataSync Übertragungsaufgabe. Die Ausführung einer Aufgabe besteht aus mehreren Phasen. Weitere Informationen finden Sie unter Status der Aufgabenausführung.

Wie werden Dateien, Objekte und Verzeichnisse DataSync übertragen

DataSync Bereitet Ihre Daten während der Ausführung einer Aufgabe vor, überträgt und verifiziert sie. Wie diese DataSync Aktionen ausgeführt werden, hängt davon ab, wie Sie Ihre DataSync Aufgabenoptionen konfigurieren, z. B. den Aufgabenmodus. Aufgaben im Basismodus bereiten, übertragen und verifizieren Ihre Daten sequentiell, während Aufgaben im erweiterten Modus diese Aufgaben parallel ausführen.

Themen

• Wie wird Ihre Datenübertragung DataSync vorbereitet

• Wie werden deine DataSync Daten übertragen

• Wie DataSync wird die Integrität Ihrer Daten überprüft

• Wie DataSync funktioniert mit geöffneten und gesperrten Dateien

• Optionen für wiederkehrende Übertragungen

Wie wird Ihre Datenübertragung DataSync vorbereitet

DataSync bereitet Ihre Übertragung standardmäßig vor, indem Ihre Quell- und Zielorte untersucht werden, um festzustellen, was übertragen werden soll. Dazu werden die Inhalte und Metadaten beider Standorte gescannt, um Unterschiede zwischen den beiden zu ermitteln.

Anmerkung

Wenn Sie Ihre Aufgabe so konfigurieren, dass alle Daten übertragen werden, ist keine Vorbereitung erforderlich. Wenn Sie Ihre Aufgabe starten, überträgt sie DataSync sofort alles von Ihrer Quelle an Ihr Ziel, ohne Standorte vergleichen zu müssen.

Wie Ihre Übertragung DataSync vorbereitet wird, hängt auch von Ihrem Aufgabenmodus ab:

Verbesserte Modusvorbereitung

Vorbereitung auf den Basismodus

DataSync bereitet Objekte so vor, wie sie am Quellort gefunden wurden. Die Vorbereitung wird während der gesamten Ausführung der Aufgabe fortgesetzt, bis keine Objekte mehr an der Quelle aufgeführt sind. Im Gegensatz zum Basismodus DataSync kann bei jeder Aufgabenausführung eine praktisch unbegrenzte Anzahl von Objekten vorbereitet werden.

Die Vorbereitung kann je nach Anzahl der Dateien, Objekte oder Verzeichnisse an beiden Speicherorten und der Leistung Ihres Speichers nur wenige Minuten, einige Stunden oder sogar länger dauern. Die Elemente, die in Ihrer Quelle und Ihrem Ziel DataSync inventarisiert werden, werden auf Ihre Aufgabenkontingente angerechnet. Diese Kontingente basieren nicht auf der Anzahl der Elemente, die bei jeder Aufgabenausführung DataSync übertragen werden.

DataSync kann bei der Vorbereitung einige Dateien, Objekte und Verzeichnisse überspringen. Die Gründe dafür können von mehreren Faktoren abhängen, z. B. davon, wie Sie Ihre Aufgabe konfigurieren und welche Speichersystemberechtigungen Sie haben. Hier sind einige Beispiele:

• Es gibt eine Datei, die an Ihren Quell- und Zielorten vorhanden ist. Die Datei in der Quelle wurde seit der letzten Ausführung der Aufgabe nicht geändert. Da Sie nur Daten übertragen, die sich geändert haben, wird diese Datei DataSync nicht übertragen, wenn Sie Ihre Aufgabe das nächste Mal ausführen.

• Ein Objekt, das an beiden Speicherorten vorhanden ist, ändert sich in Ihrer Quelle. Wenn Sie Ihre Aufgabe ausführen, wird dieses Objekt in Ihrem Ziel DataSync übersprungen, da Ihre Aufgabe keine Daten im Ziel überschreibt.

• DataSync überspringt ein Objekt an Ihrem Quellspeicherort, das eine Archivspeicherklasse verwendet und nicht wiederhergestellt wird. Sie müssen ein archiviertes Objekt wiederherstellen, um DataSync es lesen zu können.

• DataSync überspringt eine Datei, ein Objekt oder ein Verzeichnis an Ihrem Quellspeicherort, weil es nicht gelesen werden kann. Wenn dies passiert und nicht zu erwarten ist, überprüfen Sie die Zugriffsberechtigungen Ihres Speichers und stellen Sie sicher, dass gelesen DataSync werden kann, was übersprungen wurde.

Wie werden deine DataSync Daten übertragen

DataSync kopiert Ihre Daten (einschließlich Metadaten) auf der Grundlage Ihrer Aufgabenoptionen von der Quelle zum Ziel. Sie können beispielsweise angeben, welche Metadaten kopiert werden, bestimmte Dateien ausschließen und den DataSync Bandbreitenverbrauch einschränken.

Wie Ihre Daten DataSync übertragen werden, hängt auch von Ihrem Aufgabenmodus ab:

Übertragung im erweiterten Modus	Übertragung im Basismodus
DataSync überträgt jedes Objekt, sobald es vorbereitet ist.	Sobald alle Ihre Daten DataSync vorbereitet sind, beginnt die Übertragung.

DataSynckönnte während der Übertragung einige Elemente überspringen. Wenn Sie Ihre Aufgabe so konfigurieren, dass alle Daten übertragen werden, kann dies bei einem Objekt an Ihrem Quellspeicherort passieren, das eine Archivspeicherklasse verwendet und nicht wiederhergestellt wird.

Wie DataSync wird die Integrität Ihrer Daten überprüft

DataSync führt während einer Übertragung immer Integritätsprüfungen Ihrer Daten durch. DataSync Kann am Ende einer Übertragung auch zusätzliche Prüfungen nur der übertragenen Daten oder des gesamten Datensatzes an beiden Orten durchführen. Weitere Informationen finden Sie unter Konfiguration, wie AWS DataSync die Datenintegrität überprüft wird.

DataSync Berechnet und vergleicht bei der Überprüfung der Datenintegrität die Prüfsumme und die Metadaten der Dateien, Objekte oder Verzeichnisse an Ihren Standorten. Wenn DataSync Unterschiede zwischen den Speicherorten festgestellt werden, schlägt die Überprüfung mit einem Fehler fehl. Beispielsweise könnten Ihnen Fehler wieChecksum failure, Metadata failureFiles were added, oder angezeigt Files were removed werden.

Wie die Überprüfung funktioniert, hängt von Ihrem Aufgabenmodus ab und davon, ob Sie so konfiguriert haben DataSync, dass die Datenintegrität am Ende der Übertragung überprüft wird.

Verifizierung im erweiterten Modus	Überprüfung des Basismodus
DataSync verifiziert jedes Objekt, wenn es an Ihr Ziel übertragen wird. Im erweiterten Modus werden nur übertragene Daten DataSync verifiziert.	DataSync Überprüft am Ende Ihrer Übertragung die Integrität Ihrer Daten. Je nachdem, wie Sie die Datenüberprüfung konfigurieren, kann dies bei großen Datensätzen viel Zeit in Anspruch nehmen.

Wie DataSync funktioniert mit geöffneten und gesperrten Dateien

Beachten Sie Folgendes, wenn Sie versuchen, Dateien zu übertragen, die geöffnet (verwendet) oder gesperrt sind:

• Im Allgemeinen DataSync können offene Dateien ohne Einschränkungen übertragen werden.

• Wenn eine Datei geöffnet ist und in die während einer Übertragung geschrieben wird, DataSync kann diese Art von Inkonsistenz während der Überprüfungsphase der Übertragungsaufgabe festgestellt werden. Um die neueste Version der Datei zu erhalten, müssen Sie die Aufgabe erneut ausführen.

• Wenn eine Datei gesperrt ist und der Server sie nicht DataSync öffnen kann, DataSync überspringt er die Datei während der Übertragung und protokolliert einen Fehler.

• DataSync kann Dateien nicht sperren oder entsperren.

Optionen für wiederkehrende Übertragungen

Zusätzlich zu einmaligen Übertragungen DataSync können Daten auch auf wiederkehrender Basis übertragen werden. Zu den Optionen für diese Situationen gehören:

• Planen Sie, wann Ihre Aufgabe ausgeführt wird.

• Es werden nur die Daten übertragen, die sich seit der letzten Ausführung der Aufgabe geändert haben.

• Löschen von Daten am Zielort, die in der Quelle nicht mehr vorhanden sind.