Layanan umpan data pengiriman penjual

AWS Marketplace menyediakan umpan data sebagai mekanisme untuk mengirim informasi terstruktur, up-to-date produk, dan pelanggan dari AWS Marketplace sistem ke ember Amazon S3 penjual ETL untuk (ekstrak, transformasi, dan muat) antara alat intelijen bisnis milik penjual.

Data transaksional dikirim dan ditambahkan dalam struktur bi-temporal sehingga penjual dapat menyimpan dan menanyakan data di sepanjang dua garis waktu dengan stempel waktu untuk keduanya

• waktu yang valid: ketika sebuah fakta terjadi di dunia nyata (“apa yang Anda ketahui”)

• waktu sistem: ketika fakta itu dicatat ke database (“ketika Anda mengetahuinya”).

Umpan data dikirimkan setiap hari pada pukul 4 sore PST (tengah malamUTC) setelah pembaruan dari hari sebelumnya yang berisi 24 jam data dari hari sebelumnya. Pembaruan dapat ditentukan oleh pelanggan yang berlangganan, pelanggan yang ditagih, atau AWS mencairkan pembayaran.

Bagian ini memberikan ikhtisar umpan data dan menjelaskan cara mengakses dan menggunakannya. Bagian selanjutnya menjelaskan setiap umpan data.

Penyimpanan dan struktur umpan data

Umpan data mengumpulkan dan mengirimkan file value (CSV) yang dipisahkan koma ke bucket Amazon S3 terenkripsi yang Anda berikan. CSVFile memiliki karakteristik sebagai berikut:

• Mereka mengikuti 4180 standar.

• Pengkodean karakter adalah UTF -8 tanpa. BOM

• Koma digunakan sebagai pemisah antar nilai.

• Bidang diloloskan oleh tanda kutip ganda.

• \nadalah karakter umpan baris.

• Tanggal dilaporkan dalam zona UTC waktu, dalam format tanggal dan waktu ISO 8601, dan akurat dalam 1 detik.

• Semua *_period_start_date dan *_period_end_date nilai bersifat inklusif, yang berarti itu 23:59:59 adalah stempel waktu terakhir yang mungkin untuk hari apa pun.

• Semua bidang moneter didahului dengan bidang mata uang.

• Bidang moneter menggunakan karakter period (.) sebagai pemisah desimal, dan jangan gunakan koma (,) sebagai pemisah ribuan.

Umpan data dihasilkan dan disimpan sebagai berikut:

• Umpan data dihasilkan dalam sehari, dan berisi 24 jam data dari hari sebelumnya.

• Di bucket Amazon S3, umpan data diatur berdasarkan bulan menggunakan format berikut:

  bucket-name/data-feed-name_version/year=YYYY/month=MM/data.csv

• Karena setiap umpan data harian dihasilkan, itu ditambahkan ke CSV file yang ada untuk bulan itu. Ketika bulan baru dimulai, CSV file baru dihasilkan untuk setiap umpan data.

• Informasi dalam umpan data diisi kembali dari 2010/01/01 hingga 2020/04/30 (inklusif) dan tersedia dalam file di subfolder. CSV year=2010/month=01

  Anda mungkin melihat kasus di mana file bulan berjalan untuk umpan data tertentu hanya berisi header kolom, dan tidak ada data. Ini berarti bahwa tidak ada entri baru untuk bulan itu untuk umpan. Ini dapat terjadi dengan umpan data yang diperbarui lebih jarang, seperti umpan produk. Dalam kasus ini, data tersedia di folder yang diisi ulang.

• Di Amazon S3, Anda dapat membuat kebijakan siklus hidup Amazon S3 untuk mengelola berapa lama menyimpan file di bucket.

• Anda dapat mengonfigurasi Amazon SNS untuk memberi tahu Anda saat data dikirimkan ke bucket S3 terenkripsi. Untuk informasi tentang cara mengonfigurasi notifikasi, lihat Memulai Amazon SNS di Panduan Pengembang Layanan Pemberitahuan Sederhana Amazon.

Historisasi data

Setiap umpan data mencakup kolom yang mendokumentasikan riwayat data. Kecuali untukvalid_to, kolom ini umum untuk semua umpan data. Mereka disertakan sebagai skema riwayat umum dan berguna dalam menanyakan data.

Nama kolom	Deskripsi
valid_dari	Tanggal pertama dimana nilai untuk kunci utama valid dalam kaitannya dengan nilai untuk bidang lain.
valid_to	Kolom ini hanya ditampilkan pada umpan data Alamat dan selalu kosong.
insert_date	Tanggal catatan dimasukkan ke dalam umpan data.
update_date	Tanggal rekor terakhir diperbarui.
delete_date	Kolom ini selalu kosong.

Berikut ini menunjukkan contoh kolom ini.

valid_dari	valid_to	insert_date	update_date	delete_date
2018-12-12T 02:00:00 Z		2018-12-12T 02:00:00 Z	2018-12-12T 02:00:00 Z
2019-03-29T 03:00:00 Z		2019-03-29T 03:00:00 Z	2019-03-29T 03:00:00 Z
2019-03-29T 03:00:00 Z		2019-03-29T 03:00:00 Z	2019-04-28T 03:00:00 Z

update_dateBidang valid_from dan bersama-sama membentuk model data bi-temporal. valid_fromBidang, seperti namanya, memberi tahu Anda kapan item tersebut valid dari. Jika item diedit, itu dapat memiliki beberapa catatan dalam umpan, masing-masing dengan valid_from tanggal yang berbedaupdate_date, tetapi sama. Misalnya, untuk menemukan nilai saat ini untuk suatu item, Anda akan menemukan catatan dengan yang terbaruupdate_date, dari daftar catatan dengan valid_from tanggal terbaru.

Pada contoh di atas, catatan awalnya dibuat 2018-12-12. Itu kemudian diubah pada 2019-03-29 (misalnya, jika alamat dalam catatan berubah). Kemudian, pada 2019-04-28, perubahan alamat diperbaiki (jadi valid_from tidak berubah, tetapi berubah). update_date Memperbaiki alamat (peristiwa langka) secara surut mengubah catatan dari valid_from tanggal asli, sehingga bidang itu tidak berubah. Kueri untuk menemukan yang terbaru valid_from akan mengembalikan dua catatan, satu dengan yang terbaru update_date memberi Anda catatan saat ini yang sebenarnya.

Mengakses umpan data

Untuk mengakses umpan data, Anda perlu mengonfigurasi lingkungan agar menerima umpan data ke bucket Amazon S3 terenkripsi. AWS Marketplace menyediakan AWS CloudFormation template yang dapat Anda gunakan untuk menyederhanakan konfigurasi.

Untuk menggunakan AWS CloudFormation template untuk mengonfigurasi lingkungan Anda untuk menerima umpan data

1. Buka browser web dan masuk ke Portal Manajemen AWS Marketplace, lalu pergi ke Mengatur penyimpanan data pelanggan.

2. Pilih Buat sumber daya dengan AWS CloudFormation templat untuk membuka templat di AWS CloudFormation konsol di jendela lain.

3. Dalam template, tentukan yang berikut dan kemudian pilih Berikutnya:

   • Nama tumpukan — Kumpulan sumber daya yang Anda buat untuk mengaktifkan akses ke umpan data.

   • Nama bucket Amazon S3 — Bucket untuk menyimpan umpan data.

   • (Opsional) Nama SNS topik Amazon — Topik untuk menerima notifikasi saat AWS mengirimkan data baru ke bucket Amazon S3.

4. Pada halaman Tinjauan, konfirmasikan entri Anda dan pilih Buat tumpukan. Ini akan membuka halaman baru dengan CloudFormation status dan detailnya.

5. Dari tab Resources, salin Amazon Resource Names (ARNs) untuk sumber daya berikut dari CloudFormation halaman ke bidang di halaman AWS Marketplace Menyiapkan penyimpanan data pelanggan:

   • Bucket Amazon S3 untuk menyimpan umpan data

   • AWS KMS kunci untuk mengenkripsi bucket Amazon S3

   • (Opsional) SNS Topik Amazon untuk menerima notifikasi saat AWS mengirimkan data baru ke bucket Amazon S3

6. Pada halaman Mengatur penyimpanan data pelanggan, pilih Kirim.

7. (Opsional) Edit kebijakan yang dibuat oleh CloudFormation template. Lihat Kebijakan umpan data untuk detail selengkapnya.

Anda sekarang berlangganan umpan data. Lain kali umpan data dihasilkan, Anda dapat mengakses data.

Untuk informasi selengkapnya tentang AWS CloudFormation templat, lihat Bekerja dengan AWS CloudFormation templat di Panduan AWS CloudFormation Pengguna.

Kebijakan umpan data

Saat bucket Amazon S3 Anda dibuat oleh CloudFormation template, bucket Amazon S3 akan membuat kebijakan untuk akses yang dilampirkan ke bucket tersebut, AWS KMS kuncinya, dan topik AmazonSNS. Kebijakan ini memungkinkan layanan AWS Marketplace laporan untuk menulis ke bucket dan SNS topik Anda dengan informasi umpan data. Setiap kebijakan akan memiliki bagian seperti berikut (contoh ini dari bucket Amazon S3).

        {
            "Sid": "AwsMarketplaceDataFeedsAccess",
            "Effect": "Allow",
            "Principal": {
                "Service": "reports.marketplace.amazonaws.com"
            },
            "Action": [
                "s3:ListBucket",
                "s3:GetObject",
                "s3:PutObject",
                "s3:GetEncryptionConfiguration",
                "s3:GetBucketAcl",
                "s3:PutObjectAcl"
            ],
            "Resource": [
                "arn:aws:s3:::datafeed-bucket",
                "arn:aws:s3:::datafeed-bucket/*"
            ]
        },

Dalam kebijakan ini, reports.marketplace.amazonaws.com adalah prinsip layanan yang AWS Marketplace digunakan untuk mendorong data ke bucket Amazon S3. datafeed-bucketIni adalah ember yang Anda tentukan dalam CloudFormation template.

Ketika layanan AWS Marketplace laporan memanggil Amazon S3, AWS KMS, atau AmazonSNS, itu akan memberikan data yang ingin ditulis ke ember ketika itu terjadi. ARN Untuk memastikan bahwa satu-satunya data yang ditulis ke bucket Anda adalah data yang ditulis atas nama Anda, Anda dapat menentukan aws:SourceArn dalam kondisi kebijakan. Dalam contoh berikut, Anda harus mengganti account-id dengan ID untuk Anda Akun AWS.

        {
           "Sid": "AwsMarketplaceDataFeedsAccess",
           "Effect": "Allow",
           "Principal": {
                "Service": "reports.marketplace.amazonaws.com"
            },
            "Action": [
                "s3:ListBucket",
                "s3:GetObject",
                "s3:PutObject",
                "s3:GetEncryptionConfiguration",
                "s3:GetBucketAcl",
                "s3:PutObjectAcl"
            ],
            "Resource": [
                "arn:aws:s3:::datafeed-DOC-EXAMPLE-BUCKET",
                "arn:aws:s3:::datafeed-DOC-EXAMPLE-BUCKET/*"
            ,
            "Condition": {
                "StringEquals": {
                        "aws:SourceAccount": "account-id",
                        "aws:SourceArn": ["arn:aws:marketplace::account-id:AWSMarketplace/SellerDataSubscription/DataFeeds_V1",
                        "arn:aws:marketplace::account-id:AWSMarketplace/SellerDataSubscription/Example-Report"]
                        }
                }
        },

Berhenti berlangganan dari umpan data

Buka browser web dan masuk ke Portal Manajemen AWS Marketplace. Kemudian, buka halaman Hubungi kami untuk mengirimkan permintaan berhenti berlangganan ke tim Operasi AWS Marketplace Penjual. Permintaan berhenti berlangganan dapat memakan waktu hingga 10 hari kerja untuk diproses.

Menggunakan umpan data

Saat data tersedia di bucket Amazon S3, Anda dapat menggunakan umpan data dengan cara berikut:

• Unduh. CSVfile dari bucket Amazon S3 yang Anda buat Mengakses umpan data sehingga Anda dapat melihat data dalam spreadsheet.

• Gunakan ETL (ekstrak, transformasi, dan muat), SQL kueri, alat analisis bisnis untuk mengumpulkan dan menganalisis data.

  Anda dapat menggunakan AWS layanan untuk mengumpulkan dan menganalisis data, atau alat pihak ketiga apa pun yang dapat melakukan analisis. CSVdataset berbasis.

Contoh: Gunakan AWS layanan untuk mengumpulkan dan menganalisis data

Prosedur berikut mengasumsikan bahwa Anda telah mengonfigurasi lingkungan untuk menerima umpan data ke bucket Amazon S3 dan bucket berisi umpan data.

Untuk mengumpulkan dan menganalisis data dari umpan data

1. Dari AWS Glue konsol, buat crawler untuk terhubung ke bucket Amazon S3 yang menyimpan umpan data, mengekstrak data yang Anda inginkan, dan membuat tabel metadata di. AWS Glue Data Catalog

   Untuk informasi selengkapnya AWS Glue, lihat Panduan AWS Glue Pengembang.

2. Dari konsol Athena, jalankan SQL kueri pada data di. AWS Glue Data Catalog

   Untuk informasi lebih lanjut tentang Athena, lihat Panduan Pengguna Amazon Athena.

3. Dari QuickSight konsol Amazon, buat analisis dan kemudian buat visual data.

   Untuk informasi selengkapnya tentang Amazon QuickSight, lihat Panduan QuickSight Pengguna Amazon.

Untuk contoh terperinci tentang salah satu cara menggunakan AWS layanan untuk mengumpulkan dan menganalisis data dalam umpan data, lihat Menggunakan Layanan Pengiriman Umpan Data Penjual, Amazon Athena, dan QuickSight Amazon untuk membuat laporan penjual di AWS Marketplace Blog.