Jobs aus Amazon S3 exportieren - AWS Snowball Edge Leitfaden für Entwickler

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Jobs aus Amazon S3 exportieren

Anmerkung

Tags und Metadaten werden derzeit NICHT unterstützt, d. h. alle Tags und Metadaten würden beim Exportieren von Objekten aus S3-Buckets entfernt.

Ihre Datenquelle für einen Exportauftrag sind ein oder mehrere Amazon S3 S3-Buckets. Nachdem die Daten für einen Auftragsteil von Amazon S3 auf ein AWS Snowball Edge Gerät übertragen wurden, können Sie einen Auftragsbericht herunterladen. Dieser Bericht führt die Objekte auf, bei denen die Übertragung auf das Gerät fehlgeschlagen ist. Weitere Informationen hierzu finden Sie in den Erfolgs- und Fehlerprotokollen zu Ihrem Auftrag.

Sie können für jeden Exportauftrag eine beliebige Anzahl von Objekten exportieren und dabei so viele Geräte verwenden, wie für den Abschluss der Übertragung erforderlich sind. Die Teile jedes AWS Snowball Edge Geräts für den Auftrag eines Exportauftrags werden nacheinander geliefert. Die nachfolgenden Geräte werden an Sie versendet, nachdem der vorherige Teil des Auftrags den AWS Status In Bearbeitung erhalten hat.

Wenn Sie Objekte mithilfe des Amazon S3 S3-Adapters oder des NFS-Bereitstellungspunkts von einem Gerät in Ihr lokales Datenziel kopieren, werden diese Objekte als Dateien gespeichert. Beim Kopieren von Objekten an einen Speicherort, der bereits Dateien enthält, werden vorhandene Dateien gleichen Namens überschrieben. Die Export-Auftragsart umfasst außerdem lokale Datenverarbeitungs- und Speicherfunktionalität. Diese Funktion verwendet die Dateischnittstelle oder den Amazon S3 S3-Adapter zum Lesen und Schreiben von Daten und löst Lambda-Funktionen aus, die auf den lokal auf dem AWS Snowball Edge Gerät ausgeführten Amazon S3 S3-PUT-Objekt-API-Aktionen basieren.

Wenn wir AWS ein zurückgesandtes Gerät erhalten, löschen wir es gemäß den NIST 800-88-Standards vollständig.

Wichtig

Daten, die Sie auf ein Snow-Gerät exportieren möchten, müssen sich in Amazon S3 befinden. Alle Daten Amazon S3 Glacier , die Sie auf das Snow-Gerät exportieren möchten, müssen aufgetaut oder in die Speicherklasse S3 verschoben werden, bevor sie exportiert werden können. Tun Sie dies, bevor Sie den Snow-Exportauftrag erstellen.

Ändern, aktualisieren oder löschen Sie die exportierten Amazon S3 S3-Objekte erst, wenn Sie überprüfen können, ob alle Ihre Inhalte für den gesamten Job an Ihr lokales Datenziel kopiert wurden.

Wenn Sie einen Exportauftrag erstellen, können Sie einen gesamten Amazon S3 S3-Bucket oder einen bestimmten Bereich von Objektschlüsseln exportieren.

Verwenden von Exportbereichen

Wenn Sie einen Exportauftrag in der Managementkonsole für die AWS Snow-Familieoder mit der Job-Management-API erstellen, können Sie einen gesamten Amazon S3 S3-Bucket oder einen bestimmten Bereich von Objektschlüsseln exportieren. Objektschlüsselnamen sind eindeutige Bezeichner für ein Objekt in einem Bucket. Um einen Bereich zu exportieren, definieren Sie die Länge des Bereichs entweder durch die Angabe des Bereichsanfangs oder des Bereichsendes (beide Werte gehören zum Bereich) oder durch beide Angaben.

Bereiche sind gemäß UTF-8 binär sortiert. Binäre UTF-8-Daten werden folgendermaßen sortiert:

  • Die Zahlen 0—9 stehen vor englischen Groß- und Kleinbuchstaben.

  • Englische Großbuchstaben werden vor englischen Kleinbuchstaben eingeordnet.

  • Englische Kleinbuchstaben werden nach englischen Großbuchstaben und Ziffern eingeordnet.

  • Sonderzeichen werden zwischen den anderen Zeichensätzen eingeordnet.

Weitere Informationen zu den Besonderheiten von UTF-8 finden Sie unter UTF-8 auf Wikipedia.

Beispiele für Exportbereiche

Gehen Sie davon aus, dass Sie einen Bucket haben, der die folgenden Objekte und Präfixe enthält, die in binärer UTF-8-Binärreihenfolge sortiert sind:

  • 01

  • Aardvark

  • Aardwolf

  • Aasvogel/apple

  • aasVogel/Arrow/Object1

  • Aasvogel/Pfeil/Objekt2

  • Aasvogel/banana

  • Aasvogel/Banker/Objekt 1

  • Aasvogel/Banker/Objekt2

  • Aasvogel/cherry

  • Banana

  • Car

Anfang des angegebenen Bereichs Ende des angegebenen Bereichs Objekte in dem Bereich, der exportiert werden soll
(Keine) (Keine) Alle Objekte in Ihrem Bucket
(Keine) Aasvogel

01

Aardvark

Aardwolf

Aasvogel/apple

aasVogel/Arrow/Object1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel/Banker/Objekt 1

Aasvogel/Banker/Objekt2

Aasvogel/cherry

(Keine) Aasvogel/banana

01

Aardvark

Aardwolf

Aasvogel/apple

Aasvogel/Pfeil/Objekt 1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel (Keine)

Aasvogel/apple

Aasvogel/Pfeil/Objekt1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel/Banker/Objekt 1

Aasvogel/Banker/Objekt2

Aasvogel/cherry

Banana

Car

Aardwolf (Keine)

Aardwolf

Aasvogel/apple

Aasvogel/Pfeil/Objekt 1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel/Banker/Objekt 1

Aasvogel/Banker/Objekt2

Aasvogel/cherry

Banana

Car

Aar (Keine)

Aardvark

Aardwolf

Aasvogel/apple

Aasvogel/Pfeil/Objekt 1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel/Banker/Objekt 1

Aasvogel/Banker/Objekt2

Aasvogel/cherry

Banana

Car

car (Keine)

Es werden keine Objekte exportiert. Sie erhalten außerdem eine Fehlermeldung, wenn Sie versuchen, den Auftrag zu erstellen. Beachten Sie, dass car unter Car nach UTF-8-Binärwerten sortiert ist.

Aar Aarrr

Aardvark

Aardwolf

AAS/Vogel/Pfeil

Aasvogel/Arrox

Aasvogel/Pfeil/Objekt 1

Aasvogel/Pfeil/Objekt2

Aasvogel/apple Aasvogel/banana

Aasvogel/apple

Aasvogel/Pfeil/Objekt1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel/apple Aasvogel/Bankier

Aasvogel/apple

Aasvogel/Pfeil/Objekt 1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel/Banker/Objekt 1

Aasvogel/Banker/Objekt2

Aasvogel/apple Aasvogel/cherry

Aasvogel/apple

Aasvogel/Pfeil/Objekt 1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel/Banker/Objekt 1

Aasvogel/Banker/Objekt2

Aasvogel/cherry

Angenommen, Sie haben diese drei Buckets und möchten alle Objekte aus Ordner2 kopieren.

  • s3://bucket/folder1/

  • s3://bucket/folder2/

  • s3://bucket/folder3/

Der angegebene Bereich beginnt Ende des angegebenen Bereichs Objekte in dem Bereich, der exportiert werden soll
Ordner2/ Ordner2/ Alle Objekte im Bucket Folder2.

Bewährte Methoden zum Exportieren von Aufträgen

  • Stellen Sie sicher, dass sich die Daten in Amazon S3 befinden, und stapeln Sie kleine Dateien, bevor Sie den Job bestellen

  • Stellen Sie sicher, dass die Schlüsselbereiche in der Exportauftragsdefinition angegeben sind, wenn Sie Millionen von Objekten in Ihrem Bucket haben

  • Aktualisieren Sie Objektschlüssel, um den Schrägstrich im Namen zu entfernen, da Objekte mit abschließenden Schrägstrichen im Namen (/oder\) nicht an Snowball Edge übertragen werden

  • Für S3-Buckets beträgt die Objektlängenbeschränkung 255 Zeichen.

  • Für S3-Buckets, für die Version aktiviert ist, wird nur die aktuelle Version von Objekten exportiert.

  • Löschmarken werden nicht exportiert.