Ausführung umfangreicher Batch-Vorgänge für Amazon S3-Objekte durch. - Amazon Simple Storage Service

Ausführung umfangreicher Batch-Vorgänge für Amazon S3-Objekte durch.

Sie können S3-Batch-Vorgänge verwenden, um umfangreiche Batch-Vorgänge für Amazon S3-Objekte durchzuführen. S3-Batch-Vorgänge kann eine einzelne Operation für Listen von Amazon S3-Objekten durchführen, die Sie angeben. Ein einziger Auftrag kann eine festgelegte Operation auf Milliarden von Objekten mit mehreren Exabytes an Daten durchführen. Amazon S3 verfolgt den Fortschritt, versendet Benachrichtigungen und speichert einen detaillierten Abschlussbericht zu allen Aktionen. So profitieren Sie von einer vollständig verwalteten, prüfbaren und serverlosen Umgebung. Sie können S3-Batch-Vorgänge über die AWS Management Console, die AWS CLI, Amazon-SDKs oder die REST-API verwenden.

Verwenden Sie S3-BatchVorgänge, um Objekte zu kopieren und Objekt-Markierungen oder Zugriffskontrolllisten (ACLs) festzulegen. Sie können Objekt-Wiederherstellungen auch von S3 Glacier Flexible Retrieval aus initiieren oder eine AWS Lambda-Funktion aufrufen, um benutzerdefinierte Aktionen mit Ihren Objekten durchzuführen. Sie können diese Vorgänge für eine benutzerdefinierte Liste von Objekten durchführen oder mit einem Amazon S3 Inventory einfach Objektlisten erzeugen. Amazon S3-Batch-Vorgänge verwendet die gleichen Amazon S3-APIs, die Sie bereits mit Amazon S3 verwenden, sodass Ihnen die Benutzeroberfläche bereits vertraut ist.

Grundlagen von S3-BatchVorgänge

Sie können S3-Batch-Vorgänge verwenden, um umfangreiche Batch-Vorgänge für Amazon S3-Objekte durchzuführen. S3-Batch-Vorgänge kann eine einzelne Operation oder Aktion in Listen von Amazon S3-Objekten ausführen, die Sie angeben.

Terminologie

In diesem Abschnitt werden die Begriffe Aufträge, Vorgänge und Aufgaben erwähnt, ihre Bedeutung ist wie folgt zu verstehen:

Aufgabe

Ein Auftrag ist die grundlegende Arbeitseinheit für S3-BatchVorgänge. Eine Aufgabe enthält alle Informationen, die erforderlich sind, um die angegebene Operation für die im Manifest aufgeführten Objekte auszuführen. Sobald Sie diese Informationen bereitgestellt und den Beginn des Auftrags angefordert haben, führt die Aufgabe die Operation für alle Objekte im Manifest durch.

Operation

Die Operation stellt die Art der API-Aktion dar, z. B. das Kopieren von Objekten, die von dem Batchoperations-Auftrag ausgeführt werden soll. Jeder Auftrag führt einen einzelnen Typ von Operation für alle Objekte aus, die im Manifest angegeben sind.

Aufgabe

Eine Aufgabe ist die Ausführungseinheit für einen Auftrag. Eine Aufgabe steht für einen einzelnen Aufruf einer Amazon S3- oder AWS Lambda-API-Operation zur Durchführung der Auftragsoperation für ein einzelnes Objekt. Während der Lebensdauer eines Auftrag erstellt S3-Batch-Vorgänge eine Aufgabe für jedes Objekt, das im Manifest angegeben ist.

Funktionsweise eines S3-Batchoperations-Auftrags

Ein Auftrag ist die grundlegende Arbeitseinheit für S3-BatchVorgänge. Eine Aufgabe enthält alle Informationen, die erforderlich sind, um die angegebene Operation für eine Liste von Objekten auszuführen. Um einen Auftrag zu erstellen, übergeben Sie S3-Batch-Vorgänge eine Liste von Objekten und geben die Aktion an, die für diese Objekte ausgeführt werden soll.

Informationen zu den Vorgängen, die S3 Batch Operations unterstützt, finden Sie unter Von S3 Batch-Vorgänge unterstützte Vorgänge.

Ein Batch-Auftrag führt die festgelegte Operation für jedes Objekt aus, das im Manifest enthalten ist. Ein Manifest listet die Objekte auf, die ein Batch-Auftrag verarbeiten soll, und es wird als Objekt in einem Bucket gespeichert. Sie können einen kommagetrennten Wert (CSV)-formatierten Amazon S3 Inventory-Bericht als Manifest nutzen, was die Erstellung umfassender Listen von Objekten in einem Bucket erleichtert. Ein Manifest können Sie auch in einem einfachen CSV-Format festlegen, mit dem Sie Batch-Vorgänge für eine benutzerdefinierte Liste an Objekten durchführen können, die in einem einzelnen Bucket enthalten sind.

Nachdem Sie einen Auftrag erstellt haben, verarbeitet Amazon S3 die Liste der Objekte in dem Manifest und führt die festgelegte Operation für jedes Objekt aus. Während ein Auftrag ausgeführt wird, können Sie den Fortschritt programmgesteuert oder über die Amazon S3-Konsole überwachen. Sie können einen Auftrag auch so konfigurieren, dass er nach Ende der Ausführung einen Abschlussbericht erzeugt. Der Abschlussbericht beschreibt die Ergebnisse jeder Aufgabe, die von dem Auftrag durchgeführt wurde. Weitere allgemeine Informationen zur Überwachung von Aufträgen finden Sie unter Verwalten von S3-Batch-Vorgangsaufträgen.