Daten in AWS Data Exchange

Die Daten sind in drei AWS Data Exchange Bausteine gegliedert:

Vermögenswerte — Ein Datenelement
Revisionen — Ein Container für ein oder mehrere Vermögenswerte
Datensätze — Eine Reihe von einer oder mehreren Revisionen

Diese drei Bausteine bilden die Grundlage für das Produkt, das Sie über die AWS Data Exchange Konsole oder die AWS Data Exchange API verwalten.

Um Datensätze zu erstellen, anzuzeigen, zu aktualisieren oder zu löschen, können Sie die AWS Data Exchange Konsole, die AWS Command Line Interface (AWS CLI), Ihren eigenen REST-Client oder eines der AWS SDKs verwenden. Weitere Informationen zur programmgesteuerten Verwaltung von AWS Data Exchange Datensätzen finden Sie in der AWS Data Exchange API-Referenz.

Objekte

Vermögenswerte sind die Daten in. AWS Data Exchange

Die Art des Assets bestimmt, wie die Daten über die Datensätze, Datenzuschüsse oder Produkte, die sie enthalten, an den Empfänger oder Abonnenten übermittelt werden.

Bei einem Asset kann es sich um einen der folgenden Werte handeln:

Eine Datei, die auf Ihrem lokalen Computer gespeichert ist
Eine Datei, die als Objekt gespeichert ist in Amazon Simple Storage Service (Amazon S3)
Eine in Amazon API Gateway erstellte REST-API
Ein Amazon Redshift Redshift-Datensatz
Eine AWS Lake Formation Datenberechtigung (Vorschau)
Ein Amazon S3 S3-Datenzugriffsdatensatz

Objektstruktur

Vermögenswerte haben die folgenden Parameter:

DataSetId— Die ID des Datensatzes, der dieses Asset enthält.
RevisionId— Die ID der Revision, die dieses Asset enthält.
Id— Eine eindeutige ID, die bei der Erstellung des Assets generiert wird.
Arn— Eine eindeutige Kennung für einen AWS Ressourcennamen.
CreatedAtund UpdatedAt — Datums- und Zeitstempel für die Erstellung und letzte Aktualisierung des Assets.
AssetDetails— Informationen über das Asset.
AssetType— Entweder ein Snapshot eines Amazon S3 S3-Objekts, einer Amazon API Gateway Gateway-API, eines Amazon Redshift Redshift-Datensatzes oder eines Amazon S3 S3-Datensatzes.

Beispiel Asset-Ressource


{
    "Name": "automation/cloudformation.yaml",
    "Arn": "arn:aws:dataexchange:us-east-1::data-sets/29EXAMPLE24b82c6858af3cEXAMPLEcf/revisions/bbEXAMPLE74c02f4745c660EXAMPLE20/assets/baEXAMPLE660c9fe7267966EXAMPLEf5",
    "Id": "baEXAMPLE660c9fe7267966EXAMPLEf5",
    "CreatedAt": "2019-10-17T21:31:29.833Z",
    "UpdatedAt": "2019-10-17T21:31:29.833Z",
    "AssetType": "S3_SNAPSHOT",
    "RevisionId": "bbEXAMPLE74c02f4745c660EXAMPLE20",
    "DataSetId": "29EXAMPLE24b82c6858af3cEXAMPLEcf",
    "AssetDetails": {
        "S3SnapshotAsset": {
            "Size": 9423
        }
    }
}

Arten von Vermögenswerten

Typen

Datensatz für Dateien
API-Assets
Amazon Redshift Datenfreigabe-Assets
AWS Lake Formation Datenberechtigung (Vorschau)
Amazon S3 S3-Datenzugriff

Datensatz für Dateien

Mithilfe von Dateien können Abonnenten auf eine Kopie des Datensatzes als berechtigten Datensatz zugreifen und die Assets exportieren.

Ein Datensatzbesitzer kann Dateien mithilfe der AWS Data Exchange Konsole, programmgesteuert über die eigene REST-Anwendung oder eines der AWS CLI AWS SDKs importieren und exportieren. Weitere Informationen zum Importieren von Amazon S3 finden Sie unterAssets aus einem S3-Bucket importieren. Weitere Informationen zum Exportieren von Ressourcen finden Sie unterExportieren von Assets in einen S3-Bucket.

API-Assets

Mit API-Assets können Datenempfänger oder Abonnenten die API einsehen und die API-Spezifikation als berechtigten Datensatz herunterladen. Sie können auch API-Aufrufe an AWS Data Exchange verwaltete Endpunkte tätigen, die dann per Proxy an die Endpunkte des API-Besitzers weitergeleitet werden.

Ein Datensatzbesitzer, der über eine bestehende Amazon API Gateway Gateway-API verfügt, kann mithilfe der AWS Data Exchange Konsole, programmgesteuert über das oder eines der AWS CLI SDKs ein API-Asset hinzufügen. AWS Weitere Informationen zum Importieren von API-Assets finden Sie unter. Assets aus einer Amazon API Gateway Gateway-API importieren

Anmerkung

Derzeit wird der SendApiAsset Vorgang für die folgenden SDKs nicht unterstützt:

AWS SDK for .NET
AWS SDK for C++
SDK für Java 2.x

Besitzer von Datensätzen, die noch nicht über eine Amazon API Gateway-API verfügen, müssen eine erstellen, bevor sie ihrem Produkt ein API-Asset hinzufügen können. Weitere Informationen finden Sie unter Entwickeln einer REST-API in API Gateway im Amazon API Gateway Developer Guide.

Amazon Redshift Datenfreigabe-Assets

Mit Amazon Redshift Datashare können Empfänger schreibgeschützten Zugriff erhalten, um die Daten in Amazon Redshift abzufragen, ohne Daten extrahieren, transformieren und laden zu müssen.

Weitere Informationen zum Importieren von Amazon Redshift Redshift-Datashare-Assets finden Sie unter. Importieren von Assets aus einem AWS Data Exchange Datashare für Amazon Redshift

AWS Lake Formation Datenberechtigung (Vorschau)

Mit AWS Lake Formation Datenberechtigungsressourcen können Empfänger oder Abonnenten auf alle Datenbanken, Tabellen oder Spalten zugreifen und diese abfragen, die den angegebenen Tags zugeordnet sind.

Besitzer von Datensätzen müssen ihre Daten erstellen und mit Tags versehen, bevor sie die Tags als Teil eines AWS Data Exchange Assets importieren können. Weitere Informationen zum Importieren von Datenberechtigungsressourcen in Lake Formation finden Sie unterElemente aus (Vorschau) importieren AWS Lake Formation.

Amazon S3 S3-Datenzugriff

Mit Amazon S3 S3-Datenzugriffsressourcen können Empfänger oder Abonnenten direkt auf die Daten des Anbieters zugreifen und diese verwenden, ohne Datenkopien erstellen oder verwalten zu müssen. Besitzer von Datensätzen können zusätzlich zu ihren bestehenden Amazon S3-Buckets Amazon S3 einrichten AWS Data Exchange , um direkten Zugriff auf einen gesamten S3-Bucket oder auf bestimmte Präfixe und Amazon S3 S3-Objekte zu haben.

Überarbeitungen

Eine Revision ist ein Container für ein oder mehrere Assets.

Sie verwenden Revisionen, um Daten in Amazon S3 zu aktualisieren. Sie können beispielsweise eine Sammlung von .csv-Dateien oder eine einzelne .csv-Datei und ein Wörterbuch gruppieren, um eine Revision zu erstellen. Sobald neue Daten verfügbar sind, erstellen Sie Revisionen und fügen Elemente hinzu. Nachdem Sie die Revision mithilfe der AWS Data Exchange Konsole erstellt und abgeschlossen haben, steht diese Version den Abonnenten sofort zur Verfügung. Weitere Informationen finden Sie unter Veröffentlichung eines neuen Produkts.

Beachten Sie Folgendes:

Um abgeschlossen zu werden, muss eine Revision mindestens ein Asset enthalten.
Es liegt in Ihrer Verantwortung, sicherzustellen, dass die Elemente korrekt sind, bevor Sie Ihre Überarbeitung abschließen.
Eine endgültige Version, die für mindestens einen Datenzuschuss oder ein Produkt veröffentlicht wurde, kann nicht unfinalisiert oder in irgendeiner Weise geändert werden. (Außer im Rahmen des Verfahrens zum Widerruf der Revision)
Nachdem die Überarbeitung abgeschlossen ist, wird sie automatisch in Ihren Data Grants oder Produkten veröffentlicht.

Struktur der Revision

Revisionen haben die folgenden Parameter:

DataSetId— Die ID des Datensatzes, der diese Revision enthält.
Comment— Ein Kommentar zur Revision. Dieses Feld kann 128 Zeichen lang sein.
Finalized— Entweder wahr oder falsch. Wird verwendet, um anzugeben, ob die Revision abgeschlossen ist.
Id— Die eindeutige Kennung für die Revision, die bei ihrer Erstellung generiert wurde.
Arn— Eine eindeutige Kennung für einen AWS Ressourcennamen.
CreatedAt— Datum und Zeitstempel für die Erstellung der Revision. Überarbeitungen mit dem Titel werden zum Zeitpunkt der Veröffentlichung erstellt.
UpdatedAt— Datum und Zeitstempel der letzten Aktualisierung der Revision.
Revoked— Ein Status, der angibt, dass Abonnenten den Zugriff auf die Revision entzogen haben.
RevokedAt— Datum und Zeitstempel, die angeben, wann Abonnenten den Zugriff auf die Revision entzogen haben.
RevocationComment— Ein erforderlicher Kommentar, um Abonnenten über den Grund zu informieren, aus dem ihnen der Zugriff auf die Revision entzogen wurde. Die erforderliche Mindestlänge beträgt 10. Dieses Feld kann zwischen 10 und 512 Zeichen lang sein.
SourceID— Die Revisions-ID der eigenen Revision, die der angesehenen Revision entspricht. Dieser Parameter wird zurückgegeben, wenn ein Revisionsbesitzer die lizenzierte Kopie seiner eigenen Revision betrachtet.

Beispiel Ressource für die Revision



        {
            "UpdatedAt": "2019-10-11T14:13:31.749Z",
            "DataSetId": "1EXAMPLE404460dc9b005a0d9EXAMPLE2f",
            "Comment": "initial data revision",
            "Finalized": true,
            "Id": "e5EXAMPLE224f879066f9999EXAMPLE42",
            "Arn": "arn:aws:dataexchange:us-east-1:123456789012:data-sets/1EXAMPLE404460dc9b005a0d9EXAMPLE2f/revisions/e5EXAMPLE224f879066f9999EXAMPLE42",
            "CreatedAt": "2019-10-11T14:11:58.064Z"
        }

Datensätze

Ein Datensatz AWS Data Exchange ist eine Sammlung von Daten, die sich im Laufe der Zeit ändern können.

Wenn Empfänger oder Abonnenten auf einen Dateidatensatz zugreifen, greifen sie auf eine bestimmte Version des Datensatzes zu. Diese Struktur ermöglicht es Anbietern, die in Datensätzen verfügbaren Daten im Laufe der Zeit zu ändern, ohne sich um Änderungen an historischen Daten kümmern zu müssen.

Wenn Empfänger oder Abonnenten auf einen API-Datensatz zugreifen, greifen sie auf einen Datensatz zu, der API-Assets enthält, die es Abonnenten ermöglichen, API-Aufrufe an AWS Data Exchange-verwaltete Endpunkte zu tätigen, die dann an die Endpunkte des Anbieters weitergeleitet werden.

Wenn Empfänger oder Abonnenten auf einen Amazon Redshift-Datensatz zugreifen, greifen sie auf einen AWS Data Exchange Datashare für Amazon Redshift zu. Dieser Datashare gewährt Abonnenten schreibgeschützten Zugriff auf die Schemas, Tabellen, Ansichten und benutzerdefinierten Funktionen, die der Dateneigentümer zu den Datenfreigaben hinzugefügt hat.

Wenn Empfänger oder Abonnenten auf einen Datensatz mit AWS Lake Formation Datenberechtigungen zugreifen, greifen sie auf die Datenbanken, Tabellen und/oder Spalten zu, die mit einem vom Eigentümer des Datensatzes angegebenen LF-Tag gekennzeichnet sind.

Wenn Empfänger oder Abonnenten auf einen Amazon S3 S3-Datenzugriffsdatensatz zugreifen, erhalten sie Lesezugriff auf gemeinsam genutzte Amazon S3 S3-Objekte, die in den Amazon S3 S3-Buckets des Anbieters gehostet werden. Empfänger oder Abonnenten können diese Daten direkt zusammen mit anderen verwenden. AWS-Services

Um Datensätze zu erstellen, anzuzeigen, zu aktualisieren oder zu löschen, können Anbieter die AWS Data Exchange Konsole, AWS CLI, Ihren eigenen REST-Client oder eines der AWS SDKs verwenden. Weitere Informationen zur programmgesteuerten Verwaltung von AWS Data Exchange Datensätzen finden Sie in der AWS Data Exchange API-Referenz.

Eigene Datensätze

Ein Datensatz gehört dem Konto, das ihn erstellt hat. Eigene Datensätze können anhand des origin Parameters identifiziert werden, der auf gesetzt istOWNED.

Berechtigte Datensätze

Berechtigte Datensätze sind eine schreibgeschützte Ansicht der Datensätze, die einem Absender gehören. Berechtigte Datensätze werden bei der Erstellung des Datenzuschusses oder bei der Veröffentlichung des Produkts erstellt und Empfängern oder Abonnenten zur Verfügung gestellt, die über eine aktive Datenzuweisung verfügen oder das Produkt abonniert haben. Berechtigte Datensätze können anhand des origin Parameters identifiziert werden, der auf eingestellt istENTITLED.

Als Empfänger können Sie Ihre berechtigten Datensätze über die AWS Data Exchange API oder in der AWS Data Exchange Konsole anzeigen und mit ihnen interagieren.

Als Eigentümer eines Datensatzes haben Sie auch Zugriff auf die berechtigte Datensatzansicht, die Ihre Empfänger oder Abonnenten sehen. Sie können dies mithilfe der AWS Data Exchange API tun oder indem Sie den Namen des Datensatzes auf der Datenerteilungs- oder Produktseite in der AWS Data Exchange Konsole auswählen.

Arten von Datensätzen

Die folgenden Datensatztypen werden unterstützt in AWS Data Exchange:

Dateien-Datensatz
API-Datensatz
Amazon Redshift Redshift-Datensatz
Amazon S3 S3-Datenzugriffsdatensatz
AWS Lake Formation Datensatz (Vorschau)

Dateien-Datensatz

Ein Dateidatensatz ist ein Datensatz, der Flatfiles enthält, die von Amazon S3 zugelassen sind.

Als Empfänger oder Abonnent können Sie Daten entweder lokal (auf Ihren Computer herunterladen) oder in Ihren Amazon S3 S3-Bucket exportieren.

Als Besitzer eines Datensatzes können Sie jede Art von Flatfile aus Ihrem Amazon S3 S3-Bucket importieren und zum Datensatz hinzufügen.

API-Datensatz

Ein API-Datensatz ist ein Datensatz, der API-Assets enthält. API-Assets ermöglichen es Empfängern oder Abonnenten, API-Aufrufe an AWS Data Exchange-verwaltete Endpunkte zu tätigen, die dann an die Endpunkte des Besitzers des Datensatzes weitergeleitet werden.

Als Eigentümer eines Datensatzes erstellen Sie eine API in Amazon API Gateway und fügen sie dem Datensatz hinzu, um den Zugriff auf Ihre API bei der Erstellung oder beim Abonnement von Data Grant zu lizenzieren.

Amazon Redshift Redshift-Datensatz

Ein Amazon Redshift-Datensatz umfasst AWS Data Exchange Datenfreigaben für Amazon Redshift. Wenn Sie einen Datensatz mit Datashares abonnieren, werden Sie als Nutzer des Datashare hinzugefügt. Dadurch erhalten Sie schreibgeschützten Zugriff auf die Schemas, Tabellen, Ansichten und benutzerdefinierten Funktionen, die der Eigentümer des Datensatzes den Datashares hinzugefügt hat.

Als Besitzer eines Datensatzes können Sie aus dem Datashare in Amazon Redshift eine Datenbank erstellen und dann Live-Daten abfragen, ohne Dateien zu extrahieren, zu transformieren und zu laden. Wenn Ihre Datenzuweisung oder Ihr Abonnement aktiviert ist, wird Ihnen automatisch Zugriff auf den Datashare gewährt, und Sie verlieren den Zugriff, wenn eine dieser Optionen abläuft.

Als Eigentümer eines Datensatzes erstellen Sie ein Datashare in Amazon Redshift und fügen es dem Datensatz hinzu, um den Zugriff auf Ihren Datashare bei der Erstellung oder beim Abonnement von Data Grant zu lizenzieren.

Amazon S3 S3-Datenzugriffsdatensatz

Mit AWS Data Exchange for Amazon S3 Data Access können Datenempfänger oder Abonnenten direkt aus den Amazon S3 S3-Buckets der Datensatzbesitzer auf Datendateien von Drittanbietern zugreifen.

Wenn Sie ein Datenzugriffsprodukt AWS Data Exchange für Amazon S3 abonnieren, geht AWS Data Exchange automatisch wie folgt vor:

Stellt einen Amazon S3 S3-Zugriffspunkt bereit. Amazon S3 Access Point ist eine Funktion von Amazon S3, die die gemeinsame Nutzung von Daten in einem Amazon S3 S3-Bucket vereinfacht.
Aktualisiert die Ressourcenrichtlinien für den S3 Access Point, um Ihnen nur Lesezugriff zu gewähren.

Mit AWS Data Exchange for Amazon S3 können Datensatzbesitzer den direkten Zugriff auf einen gesamten Amazon S3 S3-Bucket oder auf bestimmte Präfixe und Amazon S3 S3-Objekte gemeinsam nutzen. Darüber hinaus AWS Data Exchange kann es zur automatischen Verwaltung von Datenzuschüssen, Abonnements, Berechtigungen, Abrechnungen und Zahlungen verwendet werden.

AWS Lake Formation Datensatz (Vorschau)

Ein AWS Lake Formation Datensatz ist ein Datensatz, der AWS Lake Formation Datenberechtigungsressourcen enthält.

Als Datenempfänger oder Abonnent können Sie die Ihnen zur Verfügung gestellten Daten in Ihrem verwalten AWS Lake Formation. Nachdem Sie Ressourcenlinks in Ihrem erstellt haben AWS Lake Formation, können Sie die Daten mithilfe von Analysediensten wie Amazon Athena abfragen.

Als Besitzer eines Datensatzes kennzeichnen Sie Ihre Daten mithilfe von LF-Tags in AWS Lake Formation und importieren diese Tags bei der Erstellung Ihres Datensatzes als Assets.

AWS-Regionen und Datensätze

Ihre Datensätze können sich in jedem unterstützten Format befinden AWS-Region, aber alle Datensätze in einem einzigen Datenzuschuss oder Produkt müssen sich in demselben Format befinden AWS-Region.

Struktur der Datensätze

Datensätze haben die folgenden Parameter:

Name— Der Name des Datensatzes. Dieser Wert kann bis zu 256 Zeichen lang sein.
Description— Eine Beschreibung für den Datensatz. Dieser Wert kann bis zu 16.348 Zeichen lang sein.
AssetType— Definiert die Art der Vermögenswerte, die der Datensatz enthält.
Origin— Eine Eigenschaft, die den Datensatz so definiert, dass er Owned dem Konto (bei Anbietern) oder Entitled dem Konto (bei Abonnenten) zugeordnet ist.
Id— Eine ID, die den Datensatz eindeutig identifiziert. Datensatz-IDs werden bei der Datensatzerstellung generiert. Berechtigte Datensätze haben eine andere ID als der ursprüngliche Datensatz.
Arn— Eine eindeutige Kennung für einen AWS Ressourcennamen.
CreatedAtund UpdatedAt — Datums- und Zeitstempel für die Erstellung und letzte Aktualisierung des Datensatzes.

Anmerkung

Als Besitzer eines Datensatzes können Sie einige Eigenschaften für eigene Datensätze ändern, z. B. den Namen oder die Beschreibung. Durch das Aktualisieren von Eigenschaften in einem eigenen Datensatz werden die Eigenschaften im entsprechenden berechtigten Datensatz nicht aktualisiert.

Beispiel Datensatz-Ressource


{
    "Origin": "OWNED", 
    "AssetType": "S3_SNAPSHOT", 
    "Name": "MyDataSetName", 
    "CreatedAt": "2019-09-09T19:31:49.704Z", 
    "UpdatedAt": "2019-09-09T19:31:49.704Z", 
    "Id": "fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Arn": "arn:aws:dataexchange:us-east-2:123456789109:data-sets/fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Description": "This is my data set's description that describes the contents of the data set."
}

Bewährte Verfahren für Datensätze

Beachten Sie als Besitzer eines Datensatzes beim Erstellen und Aktualisieren von Datensätzen die folgenden bewährten Methoden:

Der Name des Datensatzes ist in der Datenbescheinigung oder in den Produktdetails im Katalog sichtbar. Wir empfehlen Ihnen, einen prägnanten, aussagekräftigen Namen zu wählen, damit Kunden den Inhalt des Datensatzes leicht verstehen.
Die Beschreibung ist für Empfänger oder Abonnenten sichtbar, die über einen aktiven Datenzuschuss verfügen oder das Produkt abonniert haben. Wir empfehlen, dass Sie Informationen zum Versicherungsschutz sowie zu den Funktionen und Vorteilen des Datensatzes angeben.