Speicherung und Struktur von AWS Marketplace Datenfeeds

AWS Marketplace bietet Datenfeeds als Mechanismus zum Senden strukturierter up-to-date Produkt- und Kundeninformationen von AWS Marketplace Systemen an Amazon S3 S3-Buckets des Verkäufers, um diese zwischen unternehmenseigenen Business Intelligence-Tools ETL (Extrahieren, Transformieren und Laden) zu senden. Dieses Thema enthält weitere Informationen zur Struktur und Speicherung von Datenfeeds.

Daten-Feeds sammeln Dateien mit kommagetrennten Werten (CSV) und senden sie an einen verschlüsselten Amazon S3 S3-Bucket, den Sie bereitstellen. Die CSV Dateien haben die folgenden Eigenschaften:

• Sie folgen 4180-Standards.

• Die Zeichenkodierung ist UTF -8 ohneBOM.

• Kommas werden als Trennzeichen zwischen Werten verwendet.

• Felder werden durch doppelte Anführungszeichen als Escape-Zeichen umgangen.

• \n ist das Zeilenvorschubzeichen.

• Datumsangaben werden in der UTC Zeitzone angegeben, haben das Datums- und Uhrzeitformat ISO 8601 und sind innerhalb von 1 Sekunde korrekt.

• Alle Werte für *_period_start_date und *_period_end_date sind einschließend. Dies bedeutet, dass 23:59:59 der letzte mögliche Zeitstempel für jeden Tag ist.

• Allen monetären Feldern wird ein Währungsfeld vorangestellt.

• Monetäre Felder verwenden einen Punkt (.) als Dezimaltrennzeichen und sie verwenden kein Komma (,) als Tausendertrennzeichen.

Datenfeeds werden wie folgt generiert und gespeichert:

• Datenfeeds werden innerhalb eines Tages generiert und enthalten Daten von 24 Stunden des Vortags.

• Im Amazon S3 S3-Bucket sind die Datenfeeds im folgenden Format nach Monaten geordnet:

  bucket-name/data-feed-name_version/year=YYYY/month=MM/data.csv

• Wenn jeder tägliche Datenfeed generiert wird, wird er an die bestehende CSV Datei für diesen Monat angehängt. Wenn ein neuer Monat beginnt, wird für jeden Datenfeed eine neue CSV Datei generiert.

• Informationen in Datenfeeds werden zwischen dem 01.01.2010 und dem 30.04.2020 (einschließlich) wieder aufgefüllt und sind in der Datei im Unterordner verfügbar. CSV year=2010/month=01

  Möglicherweise sind Ihnen Fälle aufgefallen, in denen die Datei des aktuellen Monats für einen bestimmten Datenfeed nur Spaltenüberschriften und keine Daten enthält. Dies bedeutet, dass es für diesen Monat keine neuen Einträge für den Feed gab. Dies kann bei Datenfeeds der Fall sein, die seltener aktualisiert werden, wie z. B. beim Produktfeed. In diesen Fällen sind Daten im per Backfill gefüllten Ordner verfügbar.

• In Amazon S3 können Sie eine Amazon S3 S3-Lebenszyklusrichtlinie erstellen, um zu verwalten, wie lange Dateien im Bucket aufbewahrt werden sollen.

• Sie können Amazon so konfigurierenSNS, dass Sie benachrichtigt werden, wenn Daten an Ihren verschlüsselten S3-Bucket geliefert werden. Informationen zur Konfiguration von Benachrichtigungen finden Sie unter Erste Schritte mit Amazon SNS im Amazon Simple Notification Service Developer Guide.

Datenhistorisierung

Jeder Datenfeed enthält Spalten, die den Verlauf der Daten dokumentieren. Mit Ausnahme von valid_to sind diese Spalten allen Datenfeeds gemeinsam. Sie sind als allgemeines Verlaufsschema enthalten und beim Abfragen der Daten nützlich.

Spaltenname	Beschreibung
valid_from	Das erste Datum, für das der Wert für den Primärschlüssel in Bezug auf Werte für andere Felder gültig ist.
valid_to	Diese Spalte wird nur im Adressdatenfeed angezeigt und ist immer leer.
insert_date	Das Datum, an dem ein Datensatz in den Datenfeed eingefügt wurde.
update_date	Das Datum, an dem der Datensatz zuletzt aktualisiert wurde.
delete_date	Diese Spalte ist immer leer.

Im Folgenden sehen Sie ein Beispiel für diese Spalten.

valid_from	valid_to	insert_date	update_date	delete_date
2018-12-12T 02:00:00 Z		2018-12-12T 02:00:00 Z	2018-12-12T 02:00:00 Z
29.03.2019 UM 03:00:00 UHR Z		29.03.2019 UM 03:00:00 Z	29.03.2019 UM 03:00:00 Z
29.03.2019 UM 03:00:00 Z		29.03.2019 UM 03:00:00 Z	28.04.2019 UM 03:00:00 Z

Das update_date Feld valid_from und das Feld bilden zusammen ein bitemporales Datenmodell. Das valid_from Feld, so wie es benannt ist, gibt an, ab wann das Element gültig ist. Wenn das Element bearbeitet wurde, kann es mehrere Datensätze im Feed enthalten, die jeweils ein anderesupdate_date, aber dasselbe valid_from Datum haben. Um beispielsweise den aktuellen Wert für ein Element zu ermitteln, würden Sie in der Liste der Datensätze mit dem aktuellsten update_date Datum den Datensatz mit dem neuesten valid_from Datum suchen.

Im obigen Beispiel wurde der Datensatz ursprünglich am 12.12.2018 erstellt. Er wurde dann am 29.03.2019 geändert (z. B. wenn sich die Adresse im Datensatz geändert hat). Später, am 28.04.2019, wurde die Adressänderung korrigiert (sie hat sich also nicht geändert, valid_from aber sie hat sich geändert). update_date Durch die Korrektur der Adresse (ein seltenes Ereignis) wird der Datensatz rückwirkend gegenüber dem ursprünglichen valid_from Datum geändert, sodass dieses Feld nicht geändert wurde. Eine Abfrage nach dem neuesten Datensatz valid_from würde zwei Datensätze zurückgeben. Der Datensatz mit dem neuesten update_date gibt Ihnen den aktuellen Datensatz.