Amazon S3 Inventory

Wichtig

Amazon S3 wendet jetzt serverseitige Verschlüsselung mit von Amazon S3 verwalteten Schlüsseln (SSE-S3) als Basisverschlüsselungsebene für jeden Bucket in Amazon S3 an. Ab dem 5. Januar 2023 werden alle neuen Objekt-Uploads auf Amazon S3 ohne zusätzliche Kosten und ohne Auswirkungen auf die Leistung automatisch verschlüsselt. Der automatische Verschlüsselungsstatus für die Standardverschlüsselungskonfiguration des S3-Buckets und für das Hochladen neuer Objekte ist in den AWS CloudTrail Protokollen, im S3-Inventar, in der S3-Speicherlinse, in der Amazon S3 S3-Konsole und als zusätzlicher Amazon S3 API S3-Antwort-Header im AWS Command Line Interface und AWS SDKs verfügbar. Weitere Informationen finden Sie unter Standardverschlüsselung FAQ.

Sie können Amazon S3 Inventory verwenden, um Ihren Speicher zu verwalten. Sie können es beispielsweise für die Prüfung und Meldung des Replikations- und Verschlüsselungsstatus Ihrer Objekte für Unternehmens-, Compliance- und regulatorische Anforderungen verwenden. Sie können auch Geschäftsabläufe und Big-Data-Jobs vereinfachen und beschleunigen, indem Sie Amazon S3 Inventory verwenden, das eine geplante Alternative zu den synchronen List API Vorgängen von Amazon S3 darstellt. Amazon S3 Inventory verwendet die List API Operationen nicht zur Prüfung Ihrer Objekte und hat keinen Einfluss auf die Anforderungsrate Ihres Buckets.

Amazon S3 Inventory bietet kommagetrennte Werte (CSV), Apacheoptimierte Zeilen-, Spalten- (ORC) oder Apache ParquetAusgabedateien, die Ihre Objekte und die entsprechenden Metadaten täglich oder wöchentlich für einen S3-Bucket oder Objekte mit einem gemeinsamen Präfix auflisten (d. h. Objekte, deren Namen mit einer gemeinsamen Zeichenfolge beginnen). Wenn Sie ein wöchentliches Inventar einrichten, wird jeden Sonntag (UTCZeitzone) nach dem ersten Bericht ein Bericht generiert. Informationen zu den Preisen für Amazon S3 Inventory finden Sie unter Amazon-S3-Preise.

Sie können mehrere Bestandslisten für einen Bucket konfigurieren. Wenn Sie eine Bestandsliste konfigurieren, können Sie Folgendes angeben:

• welche Objektmetadaten in das Inventar aufgenommen werden sollen

• ob alle Objektversionen oder nur aktuelle Versionen aufgelistet werden sollen

• wo die Ausgabe der Bestandslistendatei gespeichert werden soll

• ob der Bestandsbericht täglich oder wöchentlich generiert werden soll

• ob die Bestandslistendatei verschlüsselt werden soll

Sie können Amazon S3 S3-Inventar mit SQL Standardabfragen abfragen, indem Sie Amazon Athena, Amazon Redshift Spectrum und andere Tools wie PrestoApache Hive, und verwenden. Apache Spark Weitere Informationen zur Verwendung von Athena zum Abfragen Ihrer Bestandsdaten finden Sie unter Abfragen von Amazon S3 Inventory mit Amazon Athena.

Quell- und Ziel-Buckets

Der Bucket, dessen Objekte die Bestandserfassung auflistet, wird als Quell-Bucket bezeichnet. Der Bucket, in dem die Datei mit der Bestandsliste gespeichert ist, wird als Ziel-Bucket bezeichnet.

Quell-Bucket

Der Bestand listet die Objekte auf, die im Quell-Bucket gespeichert sind. Sie können eine Bestandsliste für einen ganzen Bucket erhalten oder die Liste nach dem Präfix eines Objektschlüsselnamens filtern.

Der Quell-Bucket:

• Enthält die Objekte, die im Bestand aufgelistet sind.

• Enthält die Konfiguration für den Bestand.

Ziel-Bucket

Amazon S3 Inventory listet Dateien auf, die in den Ziel-Bucket geschrieben werden. Um alle Bestandslisten-Dateien an einem gemeinsamen Speicherort im Ziel-Bucket zu gruppieren, können Sie ein Zielpräfix in der Bestands-Konfiguration angeben.

Der Ziel-Bucket:

• Enthält die Dateilisten für den Bestand.

• Enthält die Manifestdateien, die alle Bestandslistendateien enthalten, die im Ziel-Bucket gespeichert sind. Weitere Informationen finden Sie unter Bestandsmanifest.

• Erfordert eine Bucket-Richtlinie, um Amazon S3 die Berechtigung zu erteilen, die Eigentümerschaft an dem Bucket zu überprüfen, ebenso wie die Berechtigung, Dateien in den Bucket zu schreiben.

• Muss sich im selben Bucket befinden AWS-Region wie der Quell-Bucket.

• Kann gleich dem Quell-Bucket sein.

• Kann einem anderen Konto gehören AWS-Konto als dem Konto, dem der Quell-Bucket gehört.

Amazon-S3-Inventory-Liste

Eine Datei mit einer Bestandsliste enthält eine Liste der Objekte im Quell-Bucket sowie die Metadaten für jedes Objekt. Eine Bestandslistendatei wird im Ziel-Bucket in einem der folgenden Formate gespeichert:

• Als komprimierte CSV Datei mit GZIP

• Als Apache optimierte row-columnar (ORC) -Datei, komprimiert mit ZLIB

• Als mit Snappy komprimierte Apache-Parquet-Datei

Anmerkung

Es kann nicht garantiert werden, dass Objekte in Berichten von Amazon S3 Inventory auf bestimmte Weise sortiert werden.

Eine Datei mit einer Bestandsliste enthält eine Liste der Objekte im Quell-Bucket sowie die Metadaten für jedes aufgelistete Objekt:

• Bucket name (Bucket-Name) – Der Name des Buckets, für den der Bestand gilt.

• Key name (Schlüsselname) – Name des Objektschlüssels (oder Schlüssel), der das Objekt in dem Bucket eindeutig identifiziert. Wenn Sie das CSV Dateiformat verwenden, ist der Schlüsselname URL -kodiert und muss dekodiert werden, bevor Sie ihn verwenden können.

• Version ID (Versions-ID) – ID der Objektversion. Wenn Sie das Versioning für einen Bucket aktivieren, weist Amazon S3 allen Objekten, die dem Bucket hinzugefügt werden, eine Versionsnummer zu. Weitere Informationen finden Sie unter Verwenden der Versioning in S3-Buckets. (Dieses Feld ist nicht enthalten, wenn die Liste nur für die aktuelle Version der Objekte konfiguriert ist.)

• IsLatest— Legt fest, True ob es sich bei dem Objekt um die aktuelle Version des Objekts handelt. (Dieses Feld ist nicht enthalten, wenn die Liste nur für die aktuelle Version der Objekte konfiguriert ist.)

• Delete marker (Löschmarkierung) – Auf True gesetzt, wenn es sich bei dem Objekt um eine Löschmarkierung handelt. Weitere Informationen finden Sie unter Verwenden der Versioning in S3-Buckets. (Dieses Feld wird dem Bericht automatisch hinzugefügt, wenn Sie den Bericht so konfiguriert haben, dass alle Versionen der Objekte aufgenommen werden.)

• Größe – Die Objektgröße in Byte, ohne die Größe von unvollständigen mehrteiligen Uploads, Objektmetadaten und Löschmarkierungen.

• Last modified date (Letztes Änderungsdatum) – Datum der Erstellung oder der letzten Änderung des Objekts, je nachdem, welches neuer ist.

• ETag— Das Entity-Tag (ETag) ist ein Hash des Objekts. Das ETag spiegelt nur Änderungen am Inhalt eines Objekts wider, nicht an seinen Metadaten. Dabei ETag kann es sich um MD5 eine Zusammenfassung der Objektdaten handeln. Dies hängt davon ab, wie das Objekt erstellt und verschlüsselt wurde.

• Storage class (Speicherklasse) – Die für die Speicherung des Objekts verwendete Speicherklasse. Auf STANDARD, REDUCED_REDUNDANCY, STANDARD_IA, ONEZONE_IA, INTELLIGENT_TIERING, GLACIER, DEEP_ARCHIVE, OUTPOSTS, GLACIER_IR oder SNOW festgelegt. Weitere Informationen finden Sie unter Verwenden von Amazon-S3-Speicherklassen.

• Multipart upload flag (Markierung für mehrteiligen Upload) – Auf True gesetzt, wenn das Objekt als mehrteiliger Upload hochgeladen wurde. Weitere Informationen finden Sie unter Hochladen und Kopieren von Objekten mit mehrteiligen Uploads.

• Replikationsstatus – Auf PENDING, COMPLETED, FAILED, oder REPLICA gesetzt. Weitere Informationen finden Sie unter Abrufen von Replikationsstatusinformationen.

• Verschlüsselungsstatus — Der serverseitige Verschlüsselungsstatus, abhängig von der Art des verwendeten Verschlüsselungsschlüssels — serverseitige Verschlüsselung mit von Amazon S3 verwalteten Schlüsseln (SSE-S3), serverseitige Verschlüsselung mit AWS Key Management Service () Schlüsseln (SSE-AWS KMS), zweischichtige serverseitige Verschlüsselung mit Schlüsseln (-KMS) oder serverseitige Verschlüsselung mit vom Kunden bereitgestellten AWS KMS Schlüsseln (DSSE-CKMS). SSE Setzen Sie den Wert auf SSE-S3, SSE-KMS, DSSE-KMS, SSE-C oder NOT-SSE. Der Status NOT-SSE bedeutet, dass das Objekt nicht mit serverseitiger Verschlüsselung verschlüsselt ist. Weitere Informationen finden Sie unter Datenschutz durch Verschlüsselung.

• S3 Object Lock retain until date (Beibehaltungsfrist für S3-Objektsperre) – Das Datum, bis zu dem das gesperrte Objekt nicht gelöscht werden kann. Weitere Informationen finden Sie unter Verwenden der S3-Objektsperre.

• S3 Object Lock retention mode (Aufbewahrungsmodus für S3-Objekt) – Auf Governance oder Compliance gesetzt für Objekte, die gesperrt sind. Weitere Informationen finden Sie unter Verwenden der S3-Objektsperre.

• S3 Object Lock legal hold status (Rechtlicher Aufbewahrungsstatus der S3-Objektsperre) – Auf On gesetzt, wenn für ein Objekt eine rechtliche Aufbewahrungsfrist gilt. Andernfalls lautet der Wert Off. Weitere Informationen finden Sie unter Verwenden der S3-Objektsperre.

• S3 Intelligent-Tiering access tier (S3-Intelligent-Tiering-Zugriffsebene) – Zugriffsebene (häufig oder selten) des Objekts bei Speicherung in der Speicherklasse S3 Intelligent-Tiering. Setzen Sie den Wert auf FREQUENT, INFREQUENT, ARCHIVE_INSTANT_ACCESS, ARCHIVE oder DEEP_ARCHIVE. Weitere Informationen finden Sie unter Speicherklasse zur automatischen Optimierung von Daten mit sich ändernden oder unbekannten Zugriffsmustern.

• S3 Buckt Key status (Status des S3-Bucket-Schlüssels) – Auf ENABLED oder DISABLED gesetzt. Gibt an, ob das Objekt einen S3-Bucket-Schlüssel für - verwendet. SSE KMS Weitere Informationen finden Sie unter Verwenden von Amazon-S3-Bucket-Schlüssel.

• Prüfsummen-Algorithmus – Gibt den Algorithmus an, mit dem die Prüfsumme für das Objekt erstellt wurde.

• Objektzugriffskontrollliste — Eine Zugriffskontrollliste (ACL) für jedes Objekt, die definiert, welchen AWS-Konten Gruppen Zugriff auf dieses Objekt gewährt wird und welche Art von Zugriff gewährt wird. Das ACL Objektfeld ist im JSON Format definiert. Ein S3-Inventarbericht enthält ObjekteACLs, die Objekten in Ihrem Quell-Bucket zugeordnet ACLs sind, auch wenn sie für den Bucket deaktiviert sind. Weitere Informationen finden Sie unter Arbeiten mit dem Feld „Objekt-ACL“ und Übersicht über die Zugriffskontrollliste (ACL).

  Anmerkung

  Das ACL Objektfeld ist im JSON Format definiert. In einem Inventarbericht wird der Wert für das ACL Objektfeld als Base64-kodierte Zeichenfolge angezeigt.

  Nehmen wir beispielsweise an, Sie haben das folgende ACL Objektfeld im Format: JSON

  {
          "version": "2022-11-10",
          "status": "AVAILABLE",
          "grants": [{
              "canonicalId": "example-canonical-user-ID",
              "type": "CanonicalUser",
              "permission": "READ"
          }]
  }    

  Das ACL Objektfeld ist codiert und wird als folgende Base64-kodierte Zeichenfolge angezeigt:

  eyJ2ZXJzaW9uIjoiMjAyMi0xMS0xMCIsInN0YXR1cyI6IkFWQUlMQUJMRSIsImdyYW50cyI6W3siY2Fub25pY2FsSWQiOiJleGFtcGxlLWNhbm9uaWNhbC11c2VyLUlEIiwidHlwZSI6IkNhbm9uaWNhbFVzZXIiLCJwZXJtaXNzaW9uIjoiUkVBRCJ9XX0=

  Um den dekodierten Wert JSON für das ACL Objektfeld zu erhalten, können Sie dieses Feld in Amazon Athena abfragen. Abfragebeispiele finden Sie unter Abfragen von Amazon S3 Inventory mit Amazon Athena.

• Object owner (Besitzer des Objekts) – Der Besitzer des Objekts.

Anmerkung

Wenn ein Objekt basierend auf seiner Lebenszykluskonfiguration das Ende seiner Lebensdauer erreicht hat, stellt Amazon S3 das Objekt zum Entfernen in eine Warteschlange und entfernt es asynchron. Daher kann es eine Verzögerung zwischen dem Ablaufdatum und dem Datum geben, an dem Amazon S3 ein Objekt entfernt. Der Bestandsbericht enthält die Objekte, die abgelaufen sind, aber noch nicht entfernt wurden. Weitere Informationen über die Ablaufaktionen im S3-Lebenszyklus finden Sie unter Auslaufende Objekte.

Wir empfehlen, eine Lebenszyklusrichtlinie einzurichten, die alte Bestandslisten löscht. Weitere Informationen finden Sie unter Verwalten Ihres Speicher-Lebenszyklus.

Die s3:PutInventoryConfiguration-Berechtigung ermöglicht es einem Benutzer, beim Konfigurieren einer Bestandsliste sowohl alle Metadatenfelder auszuwählen, die zuvor für jedes Objekt aufgelistet wurden, als auch den Ziel-Bucket zum Speichern des Bestands anzugeben. Ein Benutzer mit Lesezugriff auf Objekte im Ziel-Bucket kann auf alle Objektmetadatenfelder zugreifen, die in der Bestandsliste verfügbar sind. Informationen zum Einschränken des Zugriffs auf Bestandsberichte finden Sie unter Gewähren von Berechtigungen für S3 Inventory und S3 Analytics.

Bestandskonsistenz

Möglicherweise erscheinen nicht alle Ihre Objekte in jeder Bestandsliste. Die Bestandsliste bietet letztendliche Datenkonsistenz für PUT-Anforderungen (sowohl neuer als auch überschriebener Objekte) sowie für DELETE-Anforderungen. Jede Bestandsliste für einen Bucket ist ein Snapshot der Bucket-Elemente. Diese Listen sind letztendlich konsistent (das heißt, eine Liste enthält möglicherweise keine kürzlich hinzugefügten oder gelöschten Objekte).

Um den Status eines Objekts zu überprüfen, bevor Sie Maßnahmen für das Objekt ergreifen, empfehlen wir Ihnen, eine HeadObject REST API Anfrage zum Abrufen von Metadaten für das Objekt durchzuführen oder die Eigenschaften des Objekts in der Amazon S3 S3-Konsole zu überprüfen. Sie können Objektmetadaten auch mit dem AWS CLI oder dem überprüfen AWS SDKS. Weitere Informationen finden Sie HeadObjectin der Amazon Simple Storage Service API Reference.

Weitere Informationen zur Arbeit mit Amazon S3 Inventory finden Sie in den folgenden Themen.

Themen

• Konfigurieren von Amazon S3 Inventory
• Einrichten von Amazon-S3-Ereignis-Benachrichtigungen für den Bestandsabschluss
• Lokalisieren Ihrer Bestandsliste
• Abfragen von Amazon S3 Inventory mit Amazon Athena
• Konvertieren leerer Versions-ID-Strings in Amazon-S3-Inventory-Berichten in Null-Zeichenfolgen
• Arbeiten mit dem Feld „Objekt-ACL“