Verwenden von Batch Operations mit Verzeichnis-Buckets.

Sie können Amazon S3 Batch Operations verwenden, um umfangreiche Vorgänge für in S3 gespeicherte Objekte durchzuführen. Weitere Informationen zu S3 Batch Operations finden Sie unter Durchführen umfangreicher Stapelvorgänge für Amazon-S3-Objekte.

In den folgenden Themen wird die Durchführung von Batch-Vorgängen für Objekte beschrieben, die in der Speicherklasse S3 Express One Zone in Verzeichnis-Buckets gespeichert sind.

Verwenden von Batch Operations mit Verzeichnis-Buckets.

Sie können die Operationen „Kopieren“ und „ AWS Lambda Funktion aufrufen“ für Objekte ausführen, die in Verzeichnis-Buckets gespeichert sind. Mit Copy können Sie Objekte zwischen Buckets desselben Typs kopieren (z. B. von einem Verzeichnis-Bucket in einen Verzeichnis-Bucket). Sie können auch zwischen Verzeichnis-Buckets und Allzweck-Buckets kopieren. Mit der AWS Lambda Funktion Invoke können Sie eine Lambda-Funktion verwenden, um Aktionen für Objekte in Ihrem Verzeichnis-Bucket mit von Ihnen definiertem Code auszuführen.

Objekte kopieren

Sie können zwischen demselben Bucket-Typ oder zwischen Verzeichnis-Buckets und Allzweck-Buckets kopieren. Wenn Sie in einen Verzeichnis-Bucket kopieren, müssen Sie das richtige Amazon-Ressourcenname (ARN) -Format für diesen Bucket-Typ verwenden. Das ARN Format für einen Verzeichnis-Bucket istarn:aws:s3express:region:account-id:bucket/bucket-base-name--x-s3.

Sie können Ihren Verzeichnis-Bucket auch mit Daten füllen, indem Sie die Aktion Import in der S3-Konsole verwenden. Import ist eine optimierte Methode zur Erstellung von Batch-Operations-Aufträgen zum Kopieren von Objekten aus Allzweck-Buckets in Verzeichnis-Buckets. Für Import-Kopieraufträge aus Allzweck-Buckets in Verzeichnis-Buckets generiert S3 automatisch ein Manifest. Weitere Informationen finden Sie unter Objekte in einen Verzeichnis-Bucket importieren und Ein Manifest angeben.

Lambda-Funktionen () aufrufen LambdaInvoke

Für die Verwendung von Batch Operations zum Aufrufen von Lambda-Funktionen, die auf Verzeichnis-Buckets wirken, gelten besondere Anforderungen. Beispielsweise müssen Sie Ihre Lambda-Anfrage strukturieren, indem Sie ein v2 JSONAufrufschema und spezifizieren InvocationSchemaVersion 2.0 wenn Sie den Job erstellen. Weitere Informationen finden Sie unter AWS Lambda Funktion aufrufen.

Die wichtigsten Unterschiede:

Im Folgenden finden Sie eine Liste der wichtigsten Unterschiede, wenn Sie Batch Operations verwenden, um Massenoperationen an Objekten durchzuführen, die in Verzeichnis-Buckets mit der S3 Express One Zone-Speicherklasse gespeichert sind:

• Für Verzeichnis-Buckets werden SSE -S3 und serverseitige Verschlüsselung mit AWS Key Management Service (AWS KMS) -Schlüsseln (SSE-KMS) unterstützt. Wenn Sie eine CopyObject Anfrage stellen, die angibt, serverseitige Verschlüsselung mit vom Kunden bereitgestellten Schlüsseln (SSE-C) für einen Verzeichnis-Bucket (Quelle oder Ziel) zu verwenden, gibt die Antwort einen Fehler zurück. HTTP 400 (Bad Request)

  Wir empfehlen, dass die Standardverschlüsselung des Buckets die gewünschte Verschlüsselungskonfiguration verwendet und dass Sie die Standardverschlüsselung des Buckets in Ihren CreateSession Anfragen oder PUT Objektanforderungen nicht überschreiben. Anschließend werden neue Objekte automatisch mit den gewünschten Verschlüsselungseinstellungen verschlüsselt. Weitere Informationen zum Verhalten beim Überschreiben der Verschlüsselung in Verzeichnis-Buckets und zum Verschlüsseln neuer Objektkopien in einem Verzeichnis-Bucket mit SSE - KMS finden Sie unter Serverseitige Verschlüsselung mit AWS KMS für neue Objekt-Uploads angeben.

  S3-Bucket-Keys werden nicht unterstützt, wenn Sie KMS verschlüsselte Objekte aus Allzweck-Buckets in SSE Verzeichnis-Buckets, von Verzeichnis-Buckets in Allzweck-Buckets oder zwischen Verzeichnis-Buckets kopieren, und zwar über Copy Betrieb in Batch-Operationen. In diesem Fall ruft Amazon S3 AWS KMS jedes Mal, wenn eine Kopieranforderung für ein KMS -verschlüsseltes Objekt gestellt wird, auf. Weitere Informationen zur Verwendung von SSE - in KMS Verzeichnis-Buckets finden Sie unter Einstellung und Überwachung der Standardverschlüsselung für Verzeichnis-Buckets und. Serverseitige Verschlüsselung mit AWS KMS Schlüsseln (SSE-KMS) in Verzeichnis-Buckets verwenden

• Objekte in Verzeichnis-Buckets können nicht mit Tags markiert werden. Sie können nur einen leeren Tag-Satz angeben. Standardmäßig kopiert Batch Operations Tags. Wenn Sie ein Objekt mit Tags zwischen Allzweck-Buckets und Verzeichnis-Buckets kopieren, erhalten Sie eine Antwort. 501 (Not Implemented)

• S3 Express One Zone bietet Ihnen die Möglichkeit, den Prüfsummenalgorithmus auszuwählen, der zur Validierung Ihrer Daten bei Uploads oder Downloads verwendet wird. Sie können einen der folgenden Algorithmen zur Prüfung der Datenintegrität zwischen Secure Hash Algorithms (SHA) oder Cyclic Redundancy Check (CRC) wählen:CRC32,CRC32, SHA -1 und -256. SHA MD5basierte Prüfsummen werden von der S3 Express One Zone-Speicherklasse nicht unterstützt.

• Standardmäßig setzen alle Amazon S3 S3-Buckets die Einstellung S3 Object Ownership auf Bucket Owner erforced und die Zugriffskontrolllisten (ACLs) sind deaktiviert. Für Verzeichnis-Buckets kann diese Einstellung nicht geändert werden. Sie können ein Objekt aus Allzweck-Buckets in Verzeichnis-Bucket kopieren. Sie können die Standardeinstellung jedoch nicht überschreiben, ACL wenn Sie in oder aus einem Verzeichnis-Bucket kopieren.

• Unabhängig davon, wie Sie Ihr Manifest angeben, muss die Liste selbst in einem Allzweck-Bucket gespeichert werden. Batch Operations kann keine vorhandenen Manifeste aus Verzeichnis-Buckets importieren (oder generierte Manifeste in Verzeichnis-Buckets speichern). Im Manifest beschriebene Objekte können jedoch in Verzeichnis-Buckets gespeichert werden.

• Batch Operations kann keinen Verzeichnis-Bucket als Speicherort in einem S3-Inventarbericht angeben. Inventarberichte unterstützen keine Verzeichnis-Buckets. Sie können eine Manifestdatei für Objekte innerhalb eines Verzeichnis-Buckets erstellen, indem Sie den ListObjectsV2 API Vorgang zum Auflisten der Objekte verwenden. Anschließend können Sie die Liste in eine CSV Datei einfügen.

Gewähren von -Zugriff

Um Kopieraufträge durchzuführen müssen Sie über die folgenden Berechtigungen verfügen:

• Um Objekte von einem Verzeichnis-Bucket zu einem anderen Verzeichnis-Bucket zu kopieren, benötigen Sie die s3express:CreateSession-Berechtigung.

• Um Objekte aus Verzeichnis-Buckets zu Allzweck-Buckets zu kopieren, benötigen Sie die s3express:CreateSession-Berechtigung und s3:PutObject-Berechtigung zum Schreiben der Objektkopie in den Ziel-Bucket.

• Um Objekte aus Allzweck-Buckets in Verzeichnis-Buckets zu kopieren, benötigen Sie die s3express:CreateSession Berechtigung und die Berechtigung, das s3:GetObject kopierte Quellobjekt zu lesen.

  Weitere Informationen finden Sie unter CopyObjectin der Amazon Simple Storage Service API Reference.

• Um eine Lambda-Funktion aufzurufen, müssen Sie Ihrer Ressource basierend auf Ihrer Lambda-Funktion Berechtigungen erteilen. Um festzustellen, welche Berechtigungen erforderlich sind, überprüfen Sie die entsprechenden API Vorgänge.