のデータ AWS Data Exchange

データは、次の 3 つの構成要素 AWS Data Exchange を使用して に整理されます。

• アセット – 1 つのデータ

• リビジョン – 1 つ、または複数のアセットのコンテナ

• データセット – 1 つ、または複数のリビジョンの一連

これら 3 つの構成要素は、 AWS Data Exchange コンソールまたは を使用して管理する製品の基盤を形成します AWS Data Exchange API。

データセットを作成、表示、更新、または削除するには、 AWS Data Exchange コンソール、 AWS Command Line Interface (AWS CLI）、独自のRESTクライアント、または のいずれかを使用できます AWS SDKs。プログラムによる AWS Data Exchange データセットの管理の詳細については、「 AWS Data Exchange APIリファレンス」を参照してください。

アセット

アセットは のデータです AWS Data Exchange。

アセットのタイプは、データセット、データ許可、およびデータ格納元の製品を通じてレシーバーやサブスクライバーにどのようにデータを配信するかを定義します。

アセットは、以下のいずれかになり得ます。

• ローカルコンピュータに保存されたファイル

• Amazon Simple Storage Service (Amazon S3) にオブジェクトとして保存されているファイル

• Amazon API Gateway でRESTAPI作成された

• Amazon Redshift のデータセット

• AWS Lake Formation データ許可 (プレビュー）

• Amazon S3 データアクセスデータセット

アセットの構造

アセットには、以下のパラメータがあります。

• DataSetId – このアセットが含まれるデータセットの ID。

• RevisionId – このアセットが含まれるリビジョンの ID。

• Id – アセットの作成時に生成された一意の ID。

• Arn – AWS リソース名の一意の識別子。

• CreatedAt および UpdatedAt – アセットの作成と最終更新の日付とタイムスタンプ。

• AssetDetails – アセットに関する情報。

• AssetType – Amazon S3 オブジェクト、Amazon API Gateway 、APIAmazon Redshift データセット、または Amazon S3 データセットのスナップショット。

例 アセットリソース

{
    "Name": "automation/cloudformation.yaml",
    "Arn": "arn:aws:dataexchange:us-east-1::data-sets/29EXAMPLE24b82c6858af3cEXAMPLEcf/revisions/bbEXAMPLE74c02f4745c660EXAMPLE20/assets/baEXAMPLE660c9fe7267966EXAMPLEf5",
    "Id": "baEXAMPLE660c9fe7267966EXAMPLEf5",
    "CreatedAt": "2019-10-17T21:31:29.833Z",
    "UpdatedAt": "2019-10-17T21:31:29.833Z",
    "AssetType": "S3_SNAPSHOT",
    "RevisionId": "bbEXAMPLE74c02f4745c660EXAMPLE20",
    "DataSetId": "29EXAMPLE24b82c6858af3cEXAMPLEcf",
    "AssetDetails": {
        "S3SnapshotAsset": {
            "Size": 9423
        }
    }
}

アセットタイプ

ファイルデータセット

ファイルを使用すると、加入者は資格のあるデータ セットとしてデータ セットのコピーにアクセスし、資産をエクスポートできます。

データセットの所有者は、 AWS Data Exchange コンソールを使用して、プログラムで 、独自のRESTアプリケーション AWS CLI、または のいずれかを使用してファイルをインポートおよびエクスポートできます AWS SDKs。Amazon S3 アセットのインポートに関する詳細については、「S3 バケットからのアセットのインポート」を参照してください。アセットのエクスポートに関する詳細については、「S3 バケットへのアセットのエクスポート」を参照してください。

API アセット

API アセットを使用すると、データ受信者またはサブスクライバーは を表示APIし、資格のあるデータセットとしてAPI仕様をダウンロードできます。また、 AWS Data ExchangeマネージドエンドポイントをAPI呼び出すこともできます。このエンドポイントは、 API所有者エンドポイントにプロキシされます。

既存の Amazon API Gateway を持つデータセット所有者APIは、 AWS Data Exchange コンソール、プログラムで 、 AWS CLIまたは のいずれかを使用してAPIアセットを追加できます AWS SDKs。API アセットのインポートの詳細については、「」を参照してくださいAmazon API Gateway API からのアセットのインポート。

注記

現在、 SendApiAssetオペレーションは次の ではサポートされていませんSDKs。

• AWS SDK for .NET

• AWS SDK for C++

• SDK for Java 2.x

既存の Amazon API Gateway を持たないデータセット所有者は、APIアセットを製品に追加する前にデータセット所有者を作成APIする必要があります。詳細については、「Amazon API Gateway デベロッパーガイド」の「ゲートウェイRESTAPIでの の開発」を参照してください。 API

Amazon Redshift データ共有アセット

Amazon Redshift データ共有アセットの場合、受取人はデータを抽出、変換、ロードすることなく Amazon Redshift 内のデータをクエリするための読み取り専用アクセス権を取得できます。

Amazon Redshift データ共有アセットのインポートに関する詳細については、「Amazon Redshift AWS Data Exchange のデータ共有からのアセットのインポート」を参照してください。

AWS Lake Formation データ許可 (プレビュー）

AWS Lake Formation データ許可アセットを使用すると、受信者またはサブスクライバーは、指定されたタグに関連付けられたすべてのデータベース、テーブル、または列にアクセスしてクエリを実行できます。

データセット所有者は、 AWS Data Exchange アセットの一部としてタグインポートする前に、データを作成してタグ付けする必要があります。Lake Formation データ権限アセットのインポートの詳細については、「からのアセットのインポート AWS Lake Formation （プレビュー）」を参照してください。

Amazon S3 データアクセス

Amazon S3 データアクセスアセットを使用すると、受取人またはサブスクライバーは、データのコピーを作成または管理しなくても、プロバイダーのデータに直接アクセスして使用できます。データセット所有者は、既存の Amazon S3 バケットの上に AWS Data Exchange for Amazon S3 をセットアップして、S3 バケット全体または特定のプレフィックスと Amazon S3 オブジェクトへの直接アクセスを共有できます。

リビジョン

リビジョンは、1 つ、または複数のアセットのコンテナです。

リビジョンは、Amazon S3 内のデータを更新するために使用します。例えば、.csv ファイルの一連、または単一の.csv ファイルとディクショナリをグループ化して、リビジョンを作成できます。新しいデータが利用可能になるとともに、リビジョンを作成して、アセットを追加します。 AWS Data Exchange コンソールを使用してリビジョンを作成し、確定したら、そのリビジョンはサブスクライバーに対して直ちに利用可能になります。詳細については、「新しい製品の公開」を参照してください。

以下に留意してください。

• リビジョンを確定するには、リビジョンに少なくとも 1 つのアセットが含まれている必要があります。

• リビジョンを確定する前にアセットが正しいことを確認するのは、ユーザーの責任になります。

• 少なくとも 1 つのデータ許可または製品に発行された確定済みリビジョンは、その方法を問わず、未確定状態にしたり、変更したりすることはできません (リビジョンの取り消しプロセスを除く)。

• リビジョンが確定されると、自動的にデータ許可または製品に発行されます。

リビジョンの構造

リビジョンには、以下のパラメータがあります。

• DataSetId – このリビジョンが含まれるデータセットの ID。

• Comment – リビジョンに関するコメント。このフィールドは 128 文字にすることができます。

• Finalized – true または false です。リビジョンが確定されているかどうかを示すために使用されます。

• Id – リビジョンの作成時に生成されたリビジョン用の一意の識別子。

• Arn – AWS リソース名の一意の識別子。

• CreatedAt – リビジョンの作成の日付とタイムスタンプ。権限のあるリビジョンは、リビジョンの発行時に作成されます。

• UpdatedAt – リビジョンの最終更新の日付とタイムスタンプ。

• Revoked— リビジョンへのサブスクライバーのアクセスが取り消されたことを示すステータス。

• RevokedAt— リビジョンへのサブスクライバーのアクセスが取り消された日時を示す日付とタイムスタンプ。

• RevocationComment— リビジョンへのアクセスが取り消された理由を購読者に知らせるための必須コメント。必要最小長は 1 文字です。このフィールドは 10 ～ 512 文字にすることができます。

• SourceID— 表示中のタイトル付きリビジョンに対応する所有リビジョンのリビジョン ID。このパラメータは、リビジョン所有者が所有リビジョンのエンタイトルドコピーを閲覧しているときに返されます。

例 リビジョンリソース

        {
            "UpdatedAt": "2019-10-11T14:13:31.749Z",
            "DataSetId": "1EXAMPLE404460dc9b005a0d9EXAMPLE2f",
            "Comment": "initial data revision",
            "Finalized": true,
            "Id": "e5EXAMPLE224f879066f9999EXAMPLE42",
            "Arn": "arn:aws:dataexchange:us-east-1:123456789012:data-sets/1EXAMPLE404460dc9b005a0d9EXAMPLE2f/revisions/e5EXAMPLE224f879066f9999EXAMPLE42",
            "CreatedAt": "2019-10-11T14:11:58.064Z"
        }

データセット

のデータセット AWS Data Exchange は、時間の経過とともに変化する可能性のあるデータのコレクションです。

受取人またはサブスクライバーがファイルデータセットにアクセスする場合は、データセット内の特定のリビジョンにアクセスすることになります。この構造は、プロバイダーが、履歴データに対する変更について心配することなく、データセットで利用可能なデータを徐々に変更していくことを可能にします。

受信者またはサブスクライバーがAPIデータセットにアクセスすると、APIアセットを含むデータセットにアクセスしています。これにより、サブスクライバーは AWS Data ExchangeマネージドエンドポイントをAPI呼び出し、プロバイダーエンドポイントにプロキシされます。

受取人またはサブスクライバーが Amazon Redshift データセットにアクセスする場合は、Amazon Redshift の AWS Data Exchange データ共有にアクセスすることになります。このデータ共有は、データ所有者がデータ共有に追加したスキーマ、テーブル、ビュー、およびユーザー定義の関数に対する読み取り専用アクセス権をサブスクライバーに付与します。

受信者またはサブスクライバーが AWS Lake Formation データアクセス許可データセットにアクセスすると、データセット所有者によって指定された LF タグでタグ付けされたデータベース、テーブル、および/または列にアクセスします。

受取人またはサブスクライバーが Amazon S3 データアクセスデータセットにアクセスする場合は、プロバイダーの Amazon S3 バケットでホストされている Amazon S3 共有オブジェクトへの読み取り専用アクセスが許可されます。受取人またはサブスクライバーは、このデータを他の AWS サービスで直接使用できます。

データセットを作成、表示、更新、または削除するために、プロバイダーは AWS Data Exchange コンソール、 AWS CLI、独自のRESTクライアント、または のいずれかを使用できます AWS SDKs。プログラムによる AWS Data Exchange データセットの管理の詳細については、「 AWS Data Exchange APIリファレンス」を参照してください。

トピック

• 所有データセット
• 権限を持つデータセット
• データセットタイプ
• Amazon S3 データアクセスデータセット
• AWS Lake Formation データセット (プレビュー）
• AWS リージョン および データセット
• データセットの構造
• データセットのベストプラクティス

所有データセット

データセットは、それを作成したアカウントが所有します。所有データセットは、OWNED に設定されている origin パラメータを使用して識別できます。

権限を持つデータセット

権限を持つデータセットは、送信者が所有するデータセットの読み取り専用ビューです。権限を持つデータセットは、データ許可の作成時または製品の発行時に作成され、製品に対するアクティブなデータ許可またはサブスクリプションを持つ受取人またはサブスクライバーが利用できます。権限を持つデータセットは、ENTITLED に設定されている origin パラメータで識別できます。

受信者は、 APIまたは AWS Data Exchange コンソールを使用して AWS Data Exchange 、権限を持つデータセットを表示および操作できます。

データセット所有者も、受取人またはサブスクライバーに表示される権限を持つデータセットビューにアクセスできます。これを行うには、 を使用するか AWS Data Exchange API、 AWS Data Exchange コンソールのデータ許可または製品ページでデータセット名を選択します。

データセットタイプ

では、次のデータセットタイプがサポートされています AWS Data Exchange。

• ファイルデータセット

• API データセット

• Amazon Redshift のデータセット

• Amazon S3 データアクセスデータセット

• AWS Lake Formation データセット (プレビュー）

ファイルデータセット

ファイルデータセットは、Amazon S3 によって許可されたフラットファイルが含まれるデータセットです。

受取人またはサブスクライバーは、データをローカルにエクスポート (コンピュータにダウンロード) するか、Amazon S3 バケットにエクスポートできます。

データセット所有者は、Amazon S3 バケットから任意のタイプのフラットファイルをインポートして、データセットに追加できます。

API データセット

API データセットは、APIアセットを含むデータセットです。API アセットを使用すると、受信者またはサブスクライバーは AWS Data ExchangeマネージドエンドポイントをAPI呼び出し、データセット所有者エンドポイントにプロキシされます。

データセット所有者は、Amazon API Gateway APIで を作成し、データセットに追加して、データ許可の作成時またはサブスクリプションAPI時に へのアクセスをライセンスします。

Amazon Redshift のデータセット

Amazon Redshift データセットには、Amazon Redshift AWS Data Exchange のデータ共有が含まれています。データ共有が含まれたデータセットをサブスクライブすると、データ共有のコンシューマーとして追加されます。これにより、データセット所有者がデータ共有に追加したスキーマ、テーブル、ビュー、およびユーザー定義の関数に対する読み取り専用アクセス権が付与されます。

データセット所有者は、Amazon Redshift でデータ共有からデータベースを作成し、ファイルを抽出、変換、ロードすることなく、ライブデータにクエリを実行できます。データ許可またはサブスクリプションがアクティブ化されると、データ共有へのアクセス権が自動的に付与され、いずれかの有効期限が切れると、アクセス権が失われます。

データセット所有者は、Amazon Redshift でデータ共有を作成してデータセットに追加し、データ許可の作成時やサブスクリプション時にデータ共有にアクセスするライセンスを付与します。

Amazon S3 データアクセスデータセット

AWS Data Exchange for Amazon S3 データアクセスを使用すると、データ受信者またはサブスクライバーは、データセット所有者の Amazon S3 バケットから直接サードパーティーのデータファイルにアクセスできます。

AWS Data Exchange for Amazon S3 データアクセス製品をサブスクライブすると、 は AWS Data Exchange 以下を自動的に実行します。

• Amazon S3 アクセスポイントをプロビジョニングします。Amazon S3 アクセスポイントは Amazon S3 バケットへのデータ共有を簡素化する Amazon S3 の機能です。

• S3 アクセスポイントのリソースポリシーを更新して、読み取り専用アクセスを許可します。

AWS Data Exchange for Amazon S3 を使用すると、データセット所有者は Amazon S3 バケット全体、または特定のプレフィックスと Amazon S3 オブジェクトへの直接アクセスを共有できます。さらに、 を使用して、データ許可、サブスクリプション、使用権限、請求、支払いを自動的に管理 AWS Data Exchange できます。

AWS Lake Formation データセット (プレビュー）

AWS Lake Formation データセットは、 AWS Lake Formation データ許可アセットを含むデータセットです。

データ受取人またはサブスクライバーは、 AWS Lake Formationで利用できるデータを管理できます。でリソースリンクを作成したら AWS Lake Formation、Amazon Athena などの分析サービスを使用してデータをクエリできます。

データセット所有者は、 で LF タグを使用してデータをタグ付け AWS Lake Formation し、データセットの作成時にそれらのタグをアセットとしてインポートします。

AWS リージョン および データセット

データセットはサポートされている任意の に配置できますが AWS リージョン、単一のデータ許可または製品内のすべてのデータセットは同じ にある必要があります AWS リージョン。

データセットの構造

データセットには、以下のパラメータがあります。

• Name – データセットの名前。この値は最大 256 文字にすることができます。

• Description – データセットの説明。この値は最大 16,348 文字にすることができます。

• AssetType – データセットに含まれるアセットのタイプを定義します。

• Origin – データセットを、プロバイダーのアカウントによって Owned (所有) されている、またはサブスクライバーのアカウントに Entitled (権利が付与) されているとして定義するプロパティ。

• Id – データセットを一意に識別する ID。データセットIDsは、データセットの作成時に生成されます。権限を持つデータセットには、元の所有データセットとは異なる ID があります。

• Arn – AWS リソース名の一意の識別子。

• CreatedAt および UpdatedAt – データセットの作成と最終更新の日付とタイムスタンプ。

注記

データセット所有者は、名前や説明など、所有データセットの一部のプロパティを変更できます。所有データセットのプロパティを更新しても、対応する権限を持つデータセットのプロパティは更新されません。

例 データセットリソース

{
    "Origin": "OWNED", 
    "AssetType": "S3_SNAPSHOT", 
    "Name": "MyDataSetName", 
    "CreatedAt": "2019-09-09T19:31:49.704Z", 
    "UpdatedAt": "2019-09-09T19:31:49.704Z", 
    "Id": "fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Arn": "arn:aws:dataexchange:us-east-2:123456789109:data-sets/fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Description": "This is my data set's description that describes the contents of the data set."
}

データセットのベストプラクティス

データセット所有者は、データセットを作成および更新するときに、以下のベストプラクティスに留意してください。

• データセットの名前は、カタログのデータ許可または製品の詳細に表示されます。顧客がデータセットの内容を簡単に理解できるように、内容を説明する簡潔な名前を選択することをお勧めします。

• 説明は、製品に対するアクティブなデータ許可またはサブスクリプションを持つ受取人またはサブスクライバーに表示されます。これには、データセットのカバレッジ情報、機能、および利点を含めることをお勧めします。

タグ

所有データセットとそのリビジョンにはタグを追加できます。タグ付けを使用する場合、 AWS Identity and Access Management （IAM) ポリシーでタグベースのアクセスコントロールを使用して、これらのデータセットとリビジョンへのアクセスを制御することもできます。

権限を持つデータセットにタグを付けることはできません。所有データセットとそのリビジョンのタグは、対応する権限のあるバージョンには反映されません。つまり、権限を持つデータセットやリビジョンに対する読み取り専用アクセス権を持つ受取人やサブスクライバーには、元の所有データセットのタグは表示されません。

注記

現在、アセットとジョブはタグ付けをサポートしていません。