Replizieren bestehender Objekte mit S3-Batch-Replikation

Die S3-Batch-Replikation bietet Ihnen eine Möglichkeit, Objekte zu replizieren, die existierten, bevor eine Replikationskonfiguration vorhanden war, Objekte, die zuvor repliziert wurden, und Objekte, bei denen die Replikation fehlgeschlagen ist. Dies geschieht durch die Verwendung eines Batchvorgang-Auftrags. Dies unterscheidet sich von der Live-Replikation, die kontinuierlich und automatisch neue Objekte in Amazon-S3-Buckets hinweg repliziert. Um mit der Batch-Replikation zu beginnen, können Sie folgende Aktionen ausführen:

• Initiieren der Batch-Replikation für eine neue Replikationsregel oder ein neues Ziel – Sie können einen einmaligen Batch-Replikationsauftrag erstellen, wenn Sie die erste Regel in einer neuen Replikationskonfiguration erstellen oder wenn Sie ein neues Ziel zu einer vorhandenen Konfiguration über die AWS Management Console erstellen.

• Initiieren der Batch-Replikation für eine vorhandene Replikationskonfiguration – Sie können einen neuen Batch-Replikationsauftrag mithilfe von S3-Batchoperationen über die - AWS SDKs , AWS Command Line Interface (AWS CLI) oder die Amazon S3-Konsole erstellen.

Wenn der Batch-Replikationsauftrag abgeschlossen ist, erhalten Sie einen Abschlussbericht. Weitere Informationen dazu, wie Sie den Bericht verwenden können, um den Auftrag zu untersuchen, finden Sie unter Verfolgen von Auftragsstatus- und Abschluss.

Überlegungen zur S3-Batch-Replikation

• Ihr Quell-Bucket muss über eine vorhandene Replikationskonfiguration verfügen. Informationen zum Aktivieren der Replikation finden Sie unter Einrichten der Replikation und Anleitungen: Beispiele zum Konfigurieren der Replikation.

• Wenn Sie S3 Lifecycle für Ihren Bucket konfiguriert haben, empfehlen wir, Ihre Lifecycle-Regeln zu deaktivieren, während der Batch-Replikationsauftrag aktiv ist. Dadurch wird die Parität zwischen Quell- und Ziel-Bucket sichergestellt. Andernfalls könnten diese Buckets voneinander abweichen und der Ziel-Bucket wäre keine exakte Kopie des Quell-Buckets. Berücksichtigen Sie dabei Folgendes:

  • Ihr Quell-Bucket hat mehrere Versionen für ein Objekt und eine Löschmarkierung.

  • Ihre Quell- und Ziel-Buckets verfügen über eine Lebenszyklus-Konfiguration zum Entfernen abgelaufener Löschmarkierungen.

  Die Batch-Replikation repliziert möglicherweise die Löschmarkierung in den Ziel-Bucket, bevor die Objektversionen repliziert werden. Dies kann dazu führen, dass die Löschmarkierung als abgelaufen markiert und aus dem Ziel-Bucket entfernt wird, bevor die Objekte kopiert werden.

• Die AWS Identity and Access Management (IAM)-Rolle, die Sie zum Ausführen des Batchoperationenauftrags angeben, muss über Berechtigungen zum Ausführen des zugrunde liegenden Batchreplikationsvorgangs verfügen. Weitere Informationen zum Erstellen einer IAM-Rolle finden Sie unter Konfigurieren von IAM-Richtlinien für die Batch-Replikation.

• Die Batch-Replikation erfordert ein Manifest, das von Amazon S3 generiert werden kann. Das generierte Manifest muss in derselben AWS-Region wie der Quell-Bucket gespeichert werden. Wenn Sie das Manifest nicht generieren möchten, können Sie einen Amazon-S3-Bestandsbericht oder eine CSV-Datei bereitstellen, die die Objekte enthält, die Sie replizieren möchten.

• Die Batch-Replikation unterstützt nicht das erneute Replizieren von Objekten, die mit der Versions-ID des Objekts aus dem Ziel-Bucket gelöscht wurden. Wenn Sie diese Objekte erneut replizieren möchten, können Sie die Quellobjekte mit einem Batch–Kopierauftrag kopieren. Wenn Sie diese Objekte kopieren, werden neue Versionen des Objekts im Quell-Bucket erstellt und die Replikation zum Ziel wird automatisch initiiert. Durch das Löschen und Neuerstellen des Ziel-Buckets wird keine Replikation initiiert.

  Weitere Informationen zur Batch-Kopie finden Sie unter Beispiele, die Batch-Vorgänge zum Kopieren von Objekten verwenden.

• Wenn Sie eine Replikationsregel für den S3-Bucket verwenden, stellen Sie sicher, dass Sie Ihre Replikationskonfiguration aktualisieren und der IAM-Rolle, die der Replikationsregel zugeordnet ist, die entsprechenden Berechtigungen zum Replizieren von Objekten gewähren. Die IAM-Rolle muss über Berechtigungen zum Ausführen der S3-Aktion sowohl für den Quell- als auch für den Ziel-Bucket verfügen.

• Wenn Sie innerhalb eines kurzen Zeitraums mehrere Batch-Replikationsaufträge für denselben Bucket einreichen, führt S3 diese Aufträge gleichzeitig aus.

• Wenn Sie mehrere Batch-Replikationsaufträge für zwei verschiedene Buckets einreichen, kann es sein, dass S3 nicht alle Aufträge gleichzeitig ausführt. Wenn Sie die Anzahl der Batch-Replikationsaufträge, die in Ihrem Konto gleichzeitig ausgeführt werden können, überschreiten, unterbricht S3 die Aufträge mit niedrigerer Priorität, um die Aufträge mit höherer Priorität zu bearbeiten. Nach Abschluss der Elemente mit höherer Priorität werden alle angehaltenen Aufträge wieder aktiv.

• Die Batchreplikation wird nicht für Objekte unterstützt, die in den S3 Glacier-Speicherklassen „Flexible Retrieval“ und „Deep Archive“ gespeichert wurden.

• Zur Massenreplizierung von S3 Intelligent-Tiering-Objekten, die in der Speicherebene „Archive Access“ oder „Deep Archive Access“ gespeichert sind, müssen Sie eine Anforderung zur Wiederherstellung initiieren und warten, bis die Objekte in die Ebene „Frequent Access“ verschoben wurden.

Angeben eines Manifests für einen Batch-Replikationsauftrag

Ein Manifest ist ein Amazon-S3-Objekt, das Objektschlüssel enthält, die Amazon S3 bearbeiten soll. Wenn Sie einen Batch-Replikationsauftrag erstellen möchten, müssen Sie entweder ein benutzergeneriertes Manifest angeben oder Amazon S3 ein Manifest basierend auf Ihrer Replikationskonfiguration generieren lassen.

Wenn Sie ein benutzergeneriertes Manifest angeben, muss es in Form eines Amazon-S3-Bestandsberichts oder einer CSV-Datei vorliegen. Wenn die Objekte in Ihrem Manifest zu einem versionierten Bucket gehören, müssen Sie die Versions-IDs für die Objekte angeben. Es wird nur das Objekt mit der im Manifest angegebenen Versions-ID repliziert. Weitere Informationen zum Angeben eines Manifests finden Sie unter Angeben eines Manifests.

Wenn Amazon S3 eine Manifestdatei in Ihrem Namen generieren soll, verwenden die aufgeführten Objekte denselben Quell-Bucket, das gleiche Präfix und die gleichen Tags wie all Ihre Replikationskonfigurationen des Quell-Buckets. Mit einem generierten Manifest repliziert Amazon S3 alle berechtigten Versionen Ihrer Objekte.

Anmerkung

Wenn Sie das Manifest generieren möchten, muss es in derselben AWS-Region wie der Quell-Bucket gespeichert werden.

Filter für einen Batch-Replikationsauftrag

Wenn Sie Ihren Batch-Replikationsauftrag erstellen, können Sie optional zusätzliche Filter angeben, z. B. das Erstellungsdatum des Objekts und den Replikationsstatus, um den Umfang des Auftrags zu reduzieren.

Sie können Objekte filtern, die repliziert werden sollen, basierend auf dem ObjectReplicationStatuses-Wert, indem Sie einen oder mehrere der folgenden Werte angeben:

• "NONE" – Zeigt an, dass Amazon S3 noch nie versucht hat, das Objekt zu replizieren.

• "FAILED" – Zeigt an, dass Amazon S3 versucht hat das Objekt zu replizieren, es jedoch zuvor nicht replizieren konnte.

• "COMPLETED" – Zeigt an, dass Amazon S3 das Objekt zuvor erfolgreich repliziert hat.

• "REPLICA" – Zeigt an, dass dies ein Replikatobjekt ist, das Amazon S3 von einer anderen Quelle repliziert hat.

Weitere Informationen zum Replikationsstatus finden Sie unter Abrufen von Replikationsstatusinformationen.

Wenn Sie nicht nach dem Replikationsstatus filtern, wird der Batchvorgang versuchen, alle berechtigten Objekte zu replizieren. Abhängig von Ihrem Ziel können Sie ObjectReplicationStatuses auf einen der folgenden Werte setzen:

• Wenn Sie nur vorhandene Objekte replizieren möchten, die nie repliziert wurden, behalten Sie nur "NONE" bei.

• Wenn Sie versuchen möchten, nur Objekte zu replizieren, die zuvor nicht repliziert wurden, behalten Sie nur "FAILED" bei.

• Wenn Sie sowohl vorhandene Objekte replizieren als auch versuchen möchten, Objekte zu replizieren, die zuvor nicht repliziert wurden, behalten Sie "NONE" und "FAILED" bei.

• Wenn Sie einen Ziel-Bucket mit Objekten füllen möchten, die an ein anderes Ziel repliziert wurden, behalten Sie "COMPLETED" bei.

• Wenn Sie zuvor replizierte Objekte replizieren möchten, behalten Sie "REPLICA" bei.

Abschlussbericht zur Batchreplikation

Wenn Sie einen Batchreplikationsauftrag erstellen, können Sie einen CSV-Abschlussbericht anfordern. In diesem Bericht werden Objekte, Erfolgs- oder Fehlercodes, Ausgaben und Beschreibungen der Replikation angezeigt. Weitere Informationen zum Nachverfolgen von Aufträgen und zu Abschlussberichten finden Sie unter Abschlussberichte.

Eine Liste der Fehlercodes und Beschreibungen der Replikation finden Sie unter Gründe für das Fehlschlagen der Replikation in Amazon S3.

Erste Schritte mit der Batch-Replikation

Weitere Informationen zur Verwendung der Batch-Replikation finden Sie unter Tutorial: Replizieren vorhandener Objekte in Ihren-Amazon S3-Buckets mit S3 Batch Replication.