Amazon S3 Inventory

Wichtig

Amazon S3 wendet jetzt serverseitige Verschlüsselung mit von Amazon S3 verwalteten Verschlüsselungsschlüssel (SSE-S3) als Basisverschlüsselung für jeden Bucket in Amazon S3 an. Ab dem 5. Januar 2023 werden alle neuen Objekt-Uploads auf Amazon S3 ohne zusätzliche Kosten und ohne Auswirkungen auf die Leistung automatisch verschlüsselt. Der automatische Verschlüsselungsstatus für die Standardverschlüsselungskonfiguration des S3-Buckets und für neue Objekt-Uploads ist in - AWS CloudTrail Protokollen, S3 Inventory, S3 Storage Lens, der Amazon S3-Konsole und als zusätzlicher Amazon S3-API-Antwort-Header in der AWS Command Line Interface und AWS SDKs verfügbar. Weitere Informationen finden Sie unter Häufig gestellte Fragen zur Standardverschlüsselung.

Sie können Amazon S3 Inventory verwenden, um Ihren Speicher zu verwalten. Sie können es beispielsweise für die Prüfung und Meldung des Replikations- und Verschlüsselungsstatus Ihrer Objekte für Unternehmens-, Compliance- und regulatorische Anforderungen verwenden. Außerdem können Sie Business Workflows und Big-Data-Aufgaben mithilfe von Amazon S3 Inventory vereinfachen und beschleunigen. Es bietet Ihnen eine geplante Alternative zu den synchronen List-API-Operationen von Amazon S3. Amazon S3 Inventory verwendet die List-API-Operationen nicht zur Überprüfung Ihrer Objekte und hat keinen Einfluss auf die Anforderungsrate Ihres Buckets.

Amazon S3 Inventory stellt Ausgabedateien als Comma Separated Values (CSV), Apache-Optimized Row Columnar (ORC) oder Apache Parquet bereit, die Ihre Objekte und die zugehörigen Metadaten auf täglicher oder wöchentlicher Basis für einen S3-Bucket oder Objekte mit einem gemeinsam verwendeten Präfix (das heißt, Objekte, deren Namen mit einer allgemeinen Zeichenfolge beginnen) auflisten. Wenn Sie eine wöchentliche Bestandsabfrage einrichten, wird nach dem ersten Bericht jeden Sonntag (UTC-Zeitzone) ein Bericht generiert. Informationen zu den Preisen für Amazon S3 Inventory finden Sie unter Amazon-S3-Preise.

Sie können mehrere Bestandslisten für einen Bucket konfigurieren. Wenn Sie eine Bestandsliste konfigurieren, können Sie Folgendes angeben:

• welche Objektmetadaten in das Inventar aufgenommen werden sollen

• ob alle Objektversionen oder nur aktuelle Versionen aufgelistet werden sollen

• wo die Ausgabe der Bestandslistendatei gespeichert werden soll

• ob der Bestandsbericht täglich oder wöchentlich generiert werden soll

• ob die Bestandslistendatei verschlüsselt werden soll

Sie können Amazon S3 Inventory mit Standard-SQL-Abfragen abfragen, indem Sie Amazon Athena, Amazon Redshift Spectrum und andere Tools wie Presto, Apache Hive und Apache Spark verwenden. Weitere Informationen zur Verwendung von Athena zum Abfragen Ihrer Bestandsdaten finden Sie unter Abfragen von Amazon S3 Inventory mit Amazon Athena.

Quell- und Ziel-Buckets

Der Bucket, dessen Objekte die Bestandserfassung auflistet, wird als Quell-Bucket bezeichnet. Der Bucket, in dem die Datei mit der Bestandsliste gespeichert ist, wird als Ziel-Bucket bezeichnet.

Quell-Bucket

Der Bestand listet die Objekte auf, die im Quell-Bucket gespeichert sind. Sie können eine Bestandsliste für einen ganzen Bucket erhalten oder die Liste nach dem Präfix eines Objektschlüsselnamens filtern.

Der Quell-Bucket:

• Enthält die Objekte, die im Bestand aufgelistet sind.

• Enthält die Konfiguration für den Bestand.

Ziel-Bucket

Amazon S3 Inventory listet Dateien auf, die in den Ziel-Bucket geschrieben werden. Um alle Bestandslisten-Dateien an einem gemeinsamen Speicherort im Ziel-Bucket zu gruppieren, können Sie ein Zielpräfix in der Bestands-Konfiguration angeben.

Der Ziel-Bucket:

• Enthält die Dateilisten für den Bestand.

• Enthält die Manifestdateien, die alle Bestandslistendateien enthalten, die im Ziel-Bucket gespeichert sind. Weitere Informationen finden Sie unter Bestandsmanifest.

• Erfordert eine Bucket-Richtlinie, um Amazon S3 die Berechtigung zu erteilen, die Eigentümerschaft an dem Bucket zu überprüfen, ebenso wie die Berechtigung, Dateien in den Bucket zu schreiben.

• Muss sich in derselben AWS-Region wie der Quell-Bucket befinden.

• Kann gleich dem Quell-Bucket sein.

• Kann einem anderen gehören AWS-Konto als dem Konto, dem der Quell-Bucket gehört.

Amazon-S3-Inventory-Liste

Eine Datei mit einer Bestandsliste enthält eine Liste der Objekte im Quell-Bucket sowie die Metadaten für jedes Objekt. Eine Bestandslistendatei wird im Ziel-Bucket in einem der folgenden Formate gespeichert:

• Als mit GZIP komprimierte CSV-Datei

• Als mit ZLIB komprimierte Apache-ORC-Datei (Optimized Row Columnar)

• Als mit Snappy komprimierte Apache-Parquet-Datei

Anmerkung

Es kann nicht garantiert werden, dass Objekte in Berichten von Amazon S3 Inventory auf bestimmte Weise sortiert werden.

Eine Datei mit einer Bestandsliste enthält eine Liste der Objekte im Quell-Bucket sowie die Metadaten für jedes aufgelistete Objekt:

• Bucket name (Bucket-Name) – Der Name des Buckets, für den der Bestand gilt.

• Key name (Schlüsselname) – Name des Objektschlüssels (oder Schlüssel), der das Objekt in dem Bucket eindeutig identifiziert. Bei Verwendung des CSV-Dateiformats ist der Schlüsselname URL-kodiert und muss dekodiert werden, bevor Sie ihn verwenden können.

• Version ID (Versions-ID) – ID der Objektversion. Wenn Sie das Versioning für einen Bucket aktivieren, weist Amazon S3 allen Objekten, die dem Bucket hinzugefügt werden, eine Versionsnummer zu. Weitere Informationen finden Sie unter Verwenden der Versioning in S3-Buckets. (Dieses Feld ist nicht enthalten, wenn die Liste nur für die aktuelle Version der Objekte konfiguriert ist.)

• IsLatest – Wird auf gesetztTrue, wenn das Objekt die aktuelle Version des Objekts ist. (Dieses Feld ist nicht enthalten, wenn die Liste nur für die aktuelle Version der Objekte konfiguriert ist.)

• Delete marker (Löschmarkierung) – Auf True gesetzt, wenn es sich bei dem Objekt um eine Löschmarkierung handelt. Weitere Informationen finden Sie unter Verwenden der Versioning in S3-Buckets. (Dieses Feld wird dem Bericht automatisch hinzugefügt, wenn Sie den Bericht so konfiguriert haben, dass alle Versionen der Objekte aufgenommen werden.)

• Größe – Die Objektgröße in Byte, ohne die Größe von unvollständigen mehrteiligen Uploads, Objektmetadaten und Löschmarkierungen.

• Last modified date (Letztes Änderungsdatum) – Datum der Erstellung oder der letzten Änderung des Objekts, je nachdem, welches neuer ist.

• ETag – Der Entitäts-Tag (ETag) ist ein Hashwert des Objekts. Das ETag gibt nur Änderungen am Inhalt eines Objekts wieder, nicht an seinen Metadaten. Das ETag kann ein MD5-Digest der Objektdaten sein, muss aber nicht. Dies hängt davon ab, wie das Objekt erstellt und verschlüsselt wurde.

• Storage class (Speicherklasse) – Die für die Speicherung des Objekts verwendete Speicherklasse. Auf STANDARD, REDUCED_REDUNDANCY, STANDARD_IA, ONEZONE_IA, INTELLIGENT_TIERING, GLACIER, DEEP_ARCHIVE, OUTPOSTS, GLACIER_IR oder SNOW festgelegt. Weitere Informationen finden Sie unter Verwenden von Amazon-S3-Speicherklassen.

• Multipart upload flag (Markierung für mehrteiligen Upload) – Auf True gesetzt, wenn das Objekt als mehrteiliger Upload hochgeladen wurde. Weitere Informationen finden Sie unter Hochladen und Kopieren von Objekten mit mehrteiligen Uploads.

• Replikationsstatus – Auf PENDING, COMPLETED, FAILED, oder REPLICA gesetzt. Weitere Informationen finden Sie unter Abrufen von Replikationsstatusinformationen.

• Verschlüsselungsstatus – Der serverseitige Verschlüsselungsstatus, je nachdem, welche Art von Verschlüsselungsschlüssel verwendet wird – ein von Amazon S3 verwalteter (SSE-S3)-Schlüssel, ein AWS Key Management Service (AWS KMS)-Schlüssel (SSE-KMS) oder ein vom Kunden bereitgestellter Schlüssel (SSE-C). Setzen Sie den Wert auf SSE-S3, SSE-C, SSE-KMS oder NOT-SSE. Der Status NOT-SSE bedeutet, dass das Objekt nicht mit serverseitiger Verschlüsselung verschlüsselt ist. Weitere Informationen finden Sie unter Datenschutz durch Verschlüsselung.

• S3 Object Lock retain until date (Beibehaltungsfrist für S3-Objektsperre) – Das Datum, bis zu dem das gesperrte Objekt nicht gelöscht werden kann. Weitere Informationen finden Sie unter Verwenden der S3-Objektsperre.

• S3 Object Lock retention mode (Aufbewahrungsmodus für S3-Objekt) – Auf Governance oder Compliance gesetzt für Objekte, die gesperrt sind. Weitere Informationen finden Sie unter Verwenden der S3-Objektsperre.

• S3 Object Lock legal hold status (Rechtlicher Aufbewahrungsstatus der S3-Objektsperre) – Auf On gesetzt, wenn für ein Objekt eine rechtliche Aufbewahrungsfrist gilt. Andernfalls lautet der Wert Off. Weitere Informationen finden Sie unter Verwenden der S3-Objektsperre.

• S3 Intelligent-Tiering access tier (S3-Intelligent-Tiering-Zugriffsebene) – Zugriffsebene (häufig oder selten) des Objekts bei Speicherung in der Speicherklasse S3 Intelligent-Tiering. Setzen Sie den Wert auf FREQUENT, INFREQUENT, ARCHIVE_INSTANT_ACCESS, ARCHIVE oder DEEP_ARCHIVE. Weitere Informationen finden Sie unter Speicherklasse zur automatischen Optimierung von Daten mit sich ändernden oder unbekannten Zugriffsmustern.

• S3 Buckt Key status (Status des S3-Bucket-Schlüssels) – Auf ENABLED oder DISABLED gesetzt. Gibt an, ob das Objekt einen S3-Bucket-Schlüssel für SSE-KMS verwendet. Weitere Informationen finden Sie unter Verwenden von Amazon-S3-Bucket-Schlüssel.

• Prüfsummen-Algorithmus – Gibt den Algorithmus an, mit dem die Prüfsumme für das Objekt erstellt wurde.

• Objektzugriffskontrollliste – Eine Zugriffskontrollliste (ACL) für jedes Objekt, das definiert, welche AWS-Konten oder Gruppen Zugriff auf dieses Objekt erhalten und welche Art von Zugriff gewährt wird. Das Feld „Objekt-ACL“ ist im JSON-Format definiert. Ein S3-Inventarbericht enthält ACLs, die Objekten in Ihrem Quell-Bucket zugeordnet sind, auch wenn ACLs für den Bucket deaktiviert sind. Weitere Informationen finden Sie unter Arbeiten mit dem Feld „Objekt-ACL“ und Zugriffskontrolllisten (ACL) – Übersicht.

  Anmerkung

  Das Feld „Objekt-ACL“ ist im JSON-Format definiert. In einem Bestandsbericht wird der Wert für das Feld „Objekt-ACL“ als Base64-codierte Zeichenfolge angezeigt.

  Angenommen, Sie haben das folgende Feld „Objekt-ACL“ im JSON-Format:

  {
          "version": "2022-11-10",
          "status": "AVAILABLE",
          "grants": [{
              "canonicalId": "example-canonical-user-ID",
              "type": "CanonicalUser",
              "permission": "READ"
          }]
  }    

  Das Feld „Objekt-ACL“ ist codiert und wird als die folgende Base64-codierte Zeichenfolge angezeigt:

  eyJ2ZXJzaW9uIjoiMjAyMi0xMS0xMCIsInN0YXR1cyI6IkFWQUlMQUJMRSIsImdyYW50cyI6W3siY2Fub25pY2FsSWQiOiJleGFtcGxlLWNhbm9uaWNhbC11c2VyLUlEIiwidHlwZSI6IkNhbm9uaWNhbFVzZXIiLCJwZXJtaXNzaW9uIjoiUkVBRCJ9XX0=

  Um für das Feld „Objekt-ACL“ den dekodierten Wert in JSON abzurufen, können Sie dieses Feld in Amazon Athena abfragen. Abfragebeispiele finden Sie unter Abfragen von Amazon S3 Inventory mit Amazon Athena.

• Object owner (Besitzer des Objekts) – Der Besitzer des Objekts.

Anmerkung

Wenn ein Objekt basierend auf seiner Lebenszykluskonfiguration das Ende seiner Lebensdauer erreicht hat, stellt Amazon S3 das Objekt zum Entfernen in eine Warteschlange und entfernt es asynchron. Daher kann es eine Verzögerung zwischen dem Ablaufdatum und dem Datum geben, an dem Amazon S3 ein Objekt entfernt. Der Bestandsbericht enthält die Objekte, die abgelaufen sind, aber noch nicht entfernt wurden. Weitere Informationen über die Ablaufaktionen im S3-Lebenszyklus finden Sie unter Auslaufende Objekte.

Wir empfehlen, eine Lebenszyklusrichtlinie einzurichten, die alte Bestandslisten löscht. Weitere Informationen finden Sie unter Verwalten Ihres Speicher-Lebenszyklus.

Die s3:PutInventoryConfiguration-Berechtigung ermöglicht es einem Benutzer, beim Konfigurieren einer Bestandsliste sowohl alle Metadatenfelder auszuwählen, die zuvor für jedes Objekt aufgelistet wurden, als auch den Ziel-Bucket zum Speichern des Bestands anzugeben. Ein Benutzer mit Lesezugriff auf Objekte im Ziel-Bucket kann auf alle Objektmetadatenfelder zugreifen, die in der Bestandsliste verfügbar sind. Informationen zum Einschränken des Zugriffs auf Bestandsberichte finden Sie unter Gewähren von Berechtigungen für S3 Inventory und S3 Analytics.

Bestandskonsistenz

Möglicherweise erscheinen nicht alle Ihre Objekte in jeder Bestandsliste. Die Bestandsliste bietet letztendliche Datenkonsistenz für PUT-Anforderungen (sowohl neuer als auch überschriebener Objekte) sowie für DELETE-Anforderungen. Jede Bestandsliste für einen Bucket ist ein Snapshot der Bucket-Elemente. Diese Listen sind letztendlich konsistent (das heißt, eine Liste enthält möglicherweise keine kürzlich hinzugefügten oder gelöschten Objekte).

Um den Status eines Objekts zu überprüfen, bevor Sie eine Aktion dafür ausführen, empfehlen wir, eine HeadObject-REST-API-Anfrage zu stellen, um Metadaten für das Objekt abzurufen, oder die Objekteigenschaften in der Amazon S3-Konsole zu überprüfen. Sie können Objektmetadaten auch mit der AWS CLI oder den AWS -SDKs überprüfen. Weitere Informationen finden Sie unter HeadObject in der API-Referenz zu Amazon Simple Storage Service.

Weitere Informationen zur Arbeit mit Amazon S3 Inventory finden Sie in den folgenden Themen.

Themen

• Konfigurieren von Amazon S3 Inventory
• Einrichten von Amazon-S3-Ereignis-Benachrichtigungen für den Bestandsabschluss
• Lokalisieren Ihrer Bestandsliste
• Abfragen von Amazon S3 Inventory mit Amazon Athena
• Konvertieren leerer Versions-ID-Strings in Amazon-S3-Inventory-Berichten in Null-Zeichenfolgen
• Arbeiten mit dem Feld „Objekt-ACL“