Data di AWS Data Exchange

Data diatur dalam AWS Data Exchange menggunakan tiga blok bangunan:

Aset — Sepotong data
Revisi — Wadah untuk satu atau lebih aset
Kumpulan data — Serangkaian satu atau lebih revisi

Ketiga blok bangunan ini membentuk fondasi produk yang Anda kelola menggunakan AWS Data Exchange konsol atau AWS Data Exchange API.

Untuk membuat, melihat, memperbarui, atau menghapus kumpulan data, Anda dapat menggunakan AWS Data Exchange konsol, AWS Command Line Interface (AWS CLI), REST klien Anda sendiri, atau salah satu AWS SDKs. Untuk informasi selengkapnya tentang mengelola kumpulan AWS Data Exchange data secara terprogram, lihat Referensi.AWS Data Exchange API

Aset

Aset adalah data yang masuk AWS Data Exchange.

Jenis aset mendefinisikan bagaimana data dikirim ke penerima atau pelanggan melalui kumpulan data, hibah data, atau produk yang mengandungnya.

Aset dapat berupa salah satu dari yang berikut:

File yang disimpan di komputer lokal Anda
File yang disimpan sebagai objek di Amazon Simple Storage Service (Amazon S3)
RESTAPIDibuat di Amazon API Gateway
Kumpulan data Amazon Redshift
Izin AWS Lake Formation data (Pratinjau)
Kumpulan data akses data Amazon S3

Struktur aset

Aset memiliki parameter berikut:

DataSetId— ID kumpulan data yang berisi aset ini.
RevisionId— ID revisi yang berisi aset ini.
Id— ID unik yang dihasilkan saat aset dibuat.
Arn— Pengidentifikasi unik untuk nama sumber AWS daya.
CreatedAtdan UpdatedAt — Tanggal dan stempel waktu untuk pembuatan dan pembaruan terakhir aset.
AssetDetails— Informasi tentang aset.
AssetType— Baik snapshot objek Amazon S3, Amazon API Gateway, kumpulan data API Amazon Redshift, atau kumpulan data Amazon S3.

contoh sumber daya aset


{
    "Name": "automation/cloudformation.yaml",
    "Arn": "arn:aws:dataexchange:us-east-1::data-sets/29EXAMPLE24b82c6858af3cEXAMPLEcf/revisions/bbEXAMPLE74c02f4745c660EXAMPLE20/assets/baEXAMPLE660c9fe7267966EXAMPLEf5",
    "Id": "baEXAMPLE660c9fe7267966EXAMPLEf5",
    "CreatedAt": "2019-10-17T21:31:29.833Z",
    "UpdatedAt": "2019-10-17T21:31:29.833Z",
    "AssetType": "S3_SNAPSHOT",
    "RevisionId": "bbEXAMPLE74c02f4745c660EXAMPLE20",
    "DataSetId": "29EXAMPLE24b82c6858af3cEXAMPLEcf",
    "AssetDetails": {
        "S3SnapshotAsset": {
            "Size": 9423
        }
    }
}

Jenis aset

Kumpulan data file

Menggunakan File, pelanggan dapat mengakses salinan kumpulan data sebagai kumpulan data yang berhak dan mengekspor aset.

Pemilik kumpulan data dapat mengimpor dan mengekspor File menggunakan AWS Data Exchange konsol, secara terprogram melalui AWS CLI, REST aplikasi mereka sendiri, atau salah satu file. AWS SDKs Untuk informasi selengkapnya, tentang mengimpor aset Amazon S3. Lihat. Mengimpor aset dari bucket S3 Untuk informasi selengkapnya tentang mengekspor aset, lihatMengekspor aset ke bucket S3.

APIaset

Dengan API aset, penerima data atau pelanggan dapat melihat API dan mengunduh API spesifikasi sebagai kumpulan data yang berhak. Anda juga dapat melakukan API panggilan ke endpoint AWS Data Exchange-managed, yang kemudian diproksi ke endpoint -owner. API

Pemilik kumpulan data yang memiliki Amazon API Gateway yang sudah ada API dapat menambahkan API aset menggunakan AWS Data Exchange konsol, secara terprogram melalui AWS CLI, atau salah satu aset. AWS SDKs Untuk informasi selengkapnya tentang mengimpor API aset, lihatMengimpor aset dari API Amazon API Gateway.

catatan

Saat ini, SendApiAsset operasi tidak didukung untuk hal-hal berikutSDKs:

AWS SDK for .NET
AWS SDK for C++
SDKuntuk Java 2.x

Pemilik kumpulan data yang tidak memiliki Amazon API Gateway yang sudah ada API harus membuatnya sebelum menambahkan API aset ke produk mereka. Untuk informasi selengkapnya, lihat Mengembangkan API Gateway REST API in di Panduan Pengembang Amazon API Gateway.

Aset data Amazon Redshift

Dengan aset data Amazon Redshift, penerima bisa mendapatkan akses hanya-baca untuk menanyakan data di Amazon Redshift tanpa mengekstrak, mengubah, dan memuat data.

Untuk informasi selengkapnya tentang mengimpor aset Amazon Redshift datashare, lihat. Mengimpor aset dari AWS Data Exchange datashare untuk Amazon Redshift

AWS Lake Formation izin data (Pratinjau)

Dengan aset izin AWS Lake Formation data, penerima atau pelanggan dapat mengakses dan menanyakan semua database, tabel, atau kolom yang terkait dengan tag yang ditentukan.

Pemilik kumpulan data harus membuat dan menandai data mereka sebelum mengimpor tag sebagai bagian dari AWS Data Exchange aset. Untuk informasi selengkapnya tentang mengimpor aset izin data Lake Formation, lihatMengimpor aset dari AWS Lake Formation (Pratinjau).

Akses data Amazon S3

Dengan aset akses data Amazon S3, penerima atau pelanggan dapat langsung mengakses dan menggunakan data penyedia tanpa membuat atau mengelola salinan data. Pemilik kumpulan data dapat mengatur AWS Data Exchange untuk Amazon S3 di atas bucket Amazon S3 yang ada untuk berbagi akses langsung ke seluruh bucket S3 atau awalan tertentu dan objek Amazon S3.

Revisi

Revisi adalah wadah untuk satu atau lebih aset.

Anda menggunakan revisi untuk memperbarui data di Amazon S3. Misalnya, Anda dapat mengelompokkan kumpulan fil.csv atau satu fil.csv dan kamus untuk membuat revisi. Saat data baru tersedia, Anda membuat revisi dan menambahkan aset. Setelah Anda membuat dan menyelesaikan revisi menggunakan AWS Data Exchange konsol, revisi itu akan segera tersedia untuk pelanggan. Untuk informasi selengkapnya, lihat Menerbitkan produk baru.

Ingatlah hal-hal berikut ini:

Untuk diselesaikan, revisi harus mengandung setidaknya satu aset.
Adalah tanggung jawab Anda untuk memastikan bahwa aset sudah benar sebelum Anda menyelesaikan revisi Anda.
Revisi akhir yang diterbitkan untuk setidaknya satu hibah data atau produk tidak dapat diselesaikan atau diubah dengan cara apa pun. (Kecuali melalui proses revisi pencabutan)
Setelah revisi diselesaikan, secara otomatis dipublikasikan ke hibah data atau produk Anda.

Struktur revisi

Revisi memiliki parameter berikut:

DataSetId— ID kumpulan data yang berisi revisi ini.
Comment— Komentar tentang revisi. Bidang ini bisa 128 karakter.
FinalizedEntah benar atau salah. Digunakan untuk menunjukkan apakah revisi selesai.
Id— Pengidentifikasi unik untuk revisi yang dihasilkan saat dibuat.
Arn— Pengidentifikasi unik untuk nama sumber AWS daya.
CreatedAt— Tanggal dan stempel waktu untuk pembuatan revisi. Revisi yang berjudul dibuat pada saat penerbitan.
UpdatedAt— Tanggal dan stempel waktu untuk pembaruan terakhir revisi.
Revoked— Status yang menunjukkan bahwa akses pelanggan ke revisi dicabut.
RevokedAt— Tanggal dan stempel waktu yang menunjukkan kapan akses pelanggan ke revisi dicabut.
RevocationComment— Komentar yang diperlukan untuk memberi tahu pelanggan tentang alasan akses mereka ke revisi dicabut. Panjang karakter minimum yang diperlukan adalah 10. Bidang ini bisa antara 10 dan 512 karakter.
SourceID— ID revisi revisi yang dimiliki sesuai dengan revisi yang berhak dilihat. Parameter ini dikembalikan ketika pemilik revisi melihat salinan berhak dari revisi yang dimilikinya.

contoh sumber daya revisi



        {
            "UpdatedAt": "2019-10-11T14:13:31.749Z",
            "DataSetId": "1EXAMPLE404460dc9b005a0d9EXAMPLE2f",
            "Comment": "initial data revision",
            "Finalized": true,
            "Id": "e5EXAMPLE224f879066f9999EXAMPLE42",
            "Arn": "arn:aws:dataexchange:us-east-1:123456789012:data-sets/1EXAMPLE404460dc9b005a0d9EXAMPLE2f/revisions/e5EXAMPLE224f879066f9999EXAMPLE42",
            "CreatedAt": "2019-10-11T14:11:58.064Z"
        }

Kumpulan data

Kumpulan data AWS Data Exchange adalah kumpulan data yang dapat berubah seiring waktu.

Saat penerima atau pelanggan mengakses kumpulan data File, mereka mengakses revisi tertentu dalam kumpulan data. Struktur ini memungkinkan penyedia untuk mengubah data yang tersedia dalam kumpulan data dari waktu ke waktu tanpa harus khawatir tentang perubahan data historis.

Saat penerima atau pelanggan mengakses kumpulan API data, mereka mengakses kumpulan data yang berisi API aset, yang memungkinkan pelanggan melakukan API panggilan ke titik akhir yang AWS Data Exchange dikelola, yang kemudian diproksi ke titik akhir penyedia.

Saat penerima atau pelanggan mengakses kumpulan data Amazon Redshift, mereka mengakses AWS Data Exchange datashare untuk Amazon Redshift. Datashare ini memberi pelanggan akses hanya-baca ke skema, tabel, tampilan, dan fungsi yang ditentukan pengguna yang telah ditambahkan pemilik data ke rangkaian data.

Saat penerima atau pelanggan mengakses kumpulan AWS Lake Formation data izin data, mereka mengakses database, tabel, dan/atau kolom yang ditandai dengan LF-tag yang ditentukan oleh pemilik kumpulan data.

Saat penerima atau pelanggan mengakses kumpulan data akses data Amazon S3, mereka diberikan akses hanya-baca ke objek Amazon S3 bersama yang dihosting di bucket Amazon S3 penyedia. Penerima atau pelanggan dapat menggunakan data ini secara langsung dengan yang lain AWS layanan.

Untuk membuat, melihat, memperbarui, atau menghapus kumpulan data, penyedia dapat menggunakan AWS Data Exchange konsol AWS CLI, REST klien Anda sendiri, atau salah satu dari AWS SDKs. Untuk informasi selengkapnya tentang mengelola kumpulan AWS Data Exchange data secara terprogram, lihat Referensi.AWS Data Exchange API

Topik

Kumpulan data yang dimiliki
Kumpulan data yang berhak
Jenis kumpulan data
Kumpulan data akses data Amazon S3
AWS Lake Formation kumpulan data (Pratinjau)
Wilayah AWS dan kumpulan data
Struktur kumpulan data
Praktik terbaik kumpulan data

Kumpulan data yang dimiliki

Kumpulan data dimiliki oleh akun yang membuatnya. Kumpulan data yang dimiliki dapat diidentifikasi menggunakan origin parameter, yang diatur keOWNED.

Kumpulan data yang berhak

Kumpulan data yang berjudul adalah tampilan read-only dari kumpulan data milik pengirim. Kumpulan data yang berhak dibuat pada saat pembuatan hibah data atau penerbitan produk dan tersedia untuk penerima atau pelanggan yang memiliki hibah data aktif atau berlangganan produk. Kumpulan data yang berhak dapat diidentifikasi menggunakan origin parameter, yang diatur keENTITLED.

Sebagai penerima, Anda dapat melihat dan berinteraksi dengan kumpulan data berhak menggunakan AWS Data Exchange API atau di AWS Data Exchange konsol.

Sebagai pemilik kumpulan data, Anda juga memiliki akses ke tampilan kumpulan data berjudul yang dilihat penerima atau pelanggan Anda. Anda dapat melakukannya menggunakan AWS Data Exchange API, atau dengan memilih nama kumpulan data di halaman hibah data atau produk di AWS Data Exchange konsol.

Jenis kumpulan data

Tipe kumpulan data berikut didukung di AWS Data Exchange:

Kumpulan data file
APIkumpulan data
Kumpulan data Amazon Redshift
Kumpulan data akses data Amazon S3
AWS Lake Formation kumpulan data (Pratinjau)

Kumpulan data file

Kumpulan data File adalah kumpulan data yang berisi file datar yang diizinkan oleh Amazon S3.

Sebagai penerima atau pelanggan, Anda dapat mengekspor data baik secara lokal (unduh ke komputer Anda) atau ke bucket Amazon S3 Anda.

Sebagai pemilik kumpulan data, Anda dapat mengimpor semua jenis file datar dari bucket Amazon S3 dan menambahkannya ke kumpulan data.

APIkumpulan data

Kumpulan API data adalah kumpulan data yang berisi API aset. APIaset memungkinkan penerima atau pelanggan untuk melakukan API panggilan ke titik akhir yang AWS Data Exchange dikelola, yang kemudian diproksi ke titik akhir pemilik kumpulan data.

Sebagai pemilik kumpulan data, Anda membuat API di Amazon API Gateway dan menambahkannya ke kumpulan data untuk melisensikan akses ke pembuatan atau langganan hibah data AndaAPI.

Kumpulan data Amazon Redshift

Kumpulan data Amazon Redshift mencakup AWS Data Exchange datashares untuk Amazon Redshift. Saat Anda berlangganan kumpulan data dengan datashares, Anda ditambahkan sebagai konsumen datashare. Ini memberi Anda akses hanya-baca ke skema, tabel, tampilan, dan fungsi yang ditentukan pengguna yang telah ditambahkan pemilik kumpulan data ke rangkaian data.

Sebagai pemilik kumpulan data, Anda dapat membuat database dari database di Amazon Redshift dan kemudian menanyakan data langsung tanpa mengekstrak, mengubah, dan memuat file. Anda secara otomatis diberikan akses ke datashare ketika pemberian data atau langganan Anda diaktifkan dan kehilangan akses setelah salah satu dari ini kedaluwarsa.

Sebagai pemilik kumpulan data, Anda membuat datashare di Amazon Redshift dan menambahkannya ke kumpulan data untuk melisensikan akses ke data Anda setelah pembuatan atau langganan hibah data.

Kumpulan data akses data Amazon S3

Dengan AWS Data Exchange akses data Amazon S3, penerima data atau pelanggan dapat mengakses file data pihak ketiga langsung dari bucket Amazon S3 pemilik kumpulan data.

Saat Anda berlangganan produk akses data Amazon S3 AWS Data Exchange untuk Amazon, lakukan hal berikut AWS Data Exchange secara otomatis:

Menyediakan jalur akses Amazon S3. Titik Akses Amazon S3 adalah fitur Amazon S3 yang menyederhanakan berbagi data ke bucket Amazon S3.
Memperbarui kebijakan sumber daya Titik Akses S3 untuk memberi Anda akses hanya-baca.

Dengan AWS Data Exchange Amazon S3, pemilik kumpulan data dapat berbagi akses langsung ke seluruh bucket Amazon S3 atau awalan tertentu dan objek Amazon S3. Selain itu, AWS Data Exchange dapat digunakan untuk secara otomatis mengelola hibah data, langganan, hak, penagihan, dan pembayaran.

AWS Lake Formation kumpulan data (Pratinjau)

Kumpulan AWS Lake Formation data adalah kumpulan data yang berisi aset izin AWS Lake Formation data.

Sebagai penerima data atau pelanggan, Anda dapat mengelola data yang tersedia untuk Anda AWS Lake Formation di. Setelah membuat tautan sumber daya di Anda AWS Lake Formation, Anda dapat melakukan kueri data menggunakan layanan analitik seperti Amazon Athena.

Sebagai pemilik kumpulan data, Anda menandai data Anda menggunakan LF-tag AWS Lake Formation dan mengimpor tag tersebut sebagai aset saat membuat kumpulan data Anda.

Wilayah AWS dan kumpulan data

Kumpulan data Anda dapat didukung Wilayah AWS, tetapi semua kumpulan data dalam satu hibah data atau produk harus sama Wilayah AWS.

Struktur kumpulan data

Kumpulan data memiliki parameter berikut:

Name— Nama kumpulan data. Nilai ini bisa mencapai 256 karakter.
Description— Deskripsi untuk kumpulan data. Nilai ini bisa mencapai 16.348 karakter.
AssetType— Mendefinisikan jenis aset yang berisi kumpulan data.
Origin— Properti yang mendefinisikan kumpulan data sebagai Owned oleh akun (untuk penyedia) atau Entitled ke akun (untuk pelanggan).
Id— ID yang secara unik mengidentifikasi kumpulan data. Kumpulan data IDs dihasilkan pada pembuatan kumpulan data. Kumpulan data yang diberi judul memiliki ID yang berbeda dari kumpulan data asli yang dimiliki.
Arn— Pengidentifikasi unik untuk nama sumber AWS daya.
CreatedAtdan UpdatedAt — Tanggal dan stempel waktu untuk pembuatan dan pembaruan terakhir dari kumpulan data.

catatan

Sebagai pemilik kumpulan data, Anda dapat mengubah beberapa properti untuk kumpulan data yang dimiliki, seperti Nama atau Deskripsi. Memperbarui properti dalam kumpulan data yang dimiliki tidak akan memperbarui properti dalam kumpulan data berjudul yang sesuai.

contoh sumber daya kumpulan data


{
    "Origin": "OWNED", 
    "AssetType": "S3_SNAPSHOT", 
    "Name": "MyDataSetName", 
    "CreatedAt": "2019-09-09T19:31:49.704Z", 
    "UpdatedAt": "2019-09-09T19:31:49.704Z", 
    "Id": "fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Arn": "arn:aws:dataexchange:us-east-2:123456789109:data-sets/fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Description": "This is my data set's description that describes the contents of the data set."
}

Praktik terbaik kumpulan data

Sebagai pemilik kumpulan data, saat Anda membuat dan memperbarui kumpulan data, ingatlah praktik terbaik berikut:

Nama kumpulan data terlihat di hibah data atau detail produk di katalog. Kami menyarankan Anda memilih nama yang ringkas dan deskriptif sehingga pelanggan mudah memahami isi kumpulan data.
Deskripsi dapat dilihat oleh penerima atau pelanggan yang memiliki hibah data aktif atau berlangganan produk. Kami menyarankan Anda menyertakan informasi cakupan dan fitur serta manfaat kumpulan data.

Tanda

Anda dapat menambahkan tag ke kumpulan data milik Anda dan revisinya. Saat menggunakan penandaan, Anda juga dapat menggunakan kontrol akses berbasis tag dalam kebijakan AWS Identity and Access Management (IAM) untuk mengontrol akses ke kumpulan data dan revisi ini.

Kumpulan data yang berhak tidak dapat ditandai. Tag kumpulan data yang dimiliki dan revisinya tidak disebarkan ke versi berhak yang sesuai. Secara khusus, penerima atau pelanggan, yang memiliki akses hanya-baca ke kumpulan data dan revisi yang berhak, tidak akan melihat tag dari kumpulan data asli yang dimiliki.

catatan

Saat ini, aset dan pekerjaan tidak mendukung penandaan.

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Menggunakan Data Terbuka pada kumpulan AWS data

Membuat hibah data