Servizio di feed di dati di consegna del venditore

Marketplace AWS fornisce feed di dati come meccanismo per inviare informazioni strutturate, sui up-to-date prodotti e sui clienti dai Marketplace AWS sistemi ai bucket Amazon S3 per ETL (estrazione, trasformazione e caricamento) tra strumenti di business intelligence di proprietà del venditore.

I dati transazionali vengono forniti e aggiunti in una struttura bitemporale in modo che i venditori possano archiviare e interrogare i dati lungo due sequenze temporali con timestamp per entrambe

• ora valida: quando si è verificato un fatto nel mondo reale («quello che sapevi»)

• ora del sistema: quando quel fatto è stato registrato nel database («quando lo sapevi»).

I feed di dati vengono consegnati ogni giorno alle 16:00 PST (mezzanotte UTC) dopo un aggiornamento del giorno precedente contenente 24 ore di dati del giorno precedente. Un aggiornamento può essere definito mediante l'iscrizione di un cliente, la fatturazione o l'erogazione del pagamento. AWS

Questa sezione fornisce una panoramica dei feed di dati e spiega come accedervi e utilizzarli. Le sezioni successive descrivono ogni data feed.

Archiviazione e struttura dei feed di dati

I feed di dati raccolgono e distribuiscono file con valori separati da virgole (CSV) a un bucket Amazon S3 crittografato fornito da te. I file CSV hanno le seguenti caratteristiche:

• Seguono gli standard 4180.

• La codifica dei caratteri è UTF-8 senza BOM.

• Le virgole vengono utilizzate come separatori tra i valori.

• I campi sono separati da virgolette doppie.

• \nè il carattere di alimentazione della riga.

• Le date sono riportate nel fuso orario UTC, sono nel formato di data e ora ISO 8601 e sono accurate entro 1 secondo.

• Tutti *_period_start_date i *_period_end_date valori sono comprensivi, il che significa che 23:59:59 è l'ultimo timestamp possibile per ogni giorno.

• Tutti i campi monetari sono preceduti da un campo di valuta.

• I campi monetari utilizzano un punto (.) come separatore decimale e non utilizzano una virgola (,) come separatore delle migliaia.

I feed di dati vengono generati e archiviati come segue:

• I data feed vengono generati entro un giorno e contengono 24 ore di dati del giorno precedente.

• Nel bucket Amazon S3, i feed di dati sono organizzati per mese utilizzando il seguente formato:

  bucket-name/data-feed-name_version/year=YYYY/month=MM/data.csv

• Man mano che viene generato, ogni feed di dati giornaliero viene aggiunto al file CSV esistente per quel mese. All'inizio di un nuovo mese, viene generato un nuovo file CSV per ogni feed di dati.

• Le informazioni nei feed di dati vengono compilate dal 01/01/2010 al 30/04/2020 (incluso) e sono disponibili nel file CSV nella sottocartella. year=2010/month=01

  Potresti notare casi in cui il file del mese corrente per un determinato feed di dati contiene solo intestazioni di colonna e nessun dato. Ciò significa che non sono state inserite nuove voci per quel mese nel feed. Questo può accadere con feed di dati che vengono aggiornati meno frequentemente, come il feed del prodotto. In questi casi, i dati sono disponibili nella cartella riempita.

• In Amazon S3, puoi creare una policy sul ciclo di vita di Amazon S3 per gestire il periodo di conservazione dei file nel bucket.

• Puoi configurare Amazon SNS per ricevere notifiche quando i dati vengono consegnati al tuo bucket S3 crittografato. Per informazioni su come configurare le notifiche, consulta Getting started with Amazon SNS nella Amazon Simple Notification Service Developer Guide.

Storizzazione dei dati

Ogni data feed include colonne che documentano la cronologia dei dati. Ad eccezione divalid_to, queste colonne sono comuni a tutti i feed di dati. Sono incluse come schema cronologico comune e sono utili per interrogare i dati.

Nome colonna	Descrizione
valid_from	La prima data in cui il valore della chiave primaria è valido rispetto ai valori degli altri campi.
valid_to	Questa colonna viene visualizzata solo nel feed di dati degli indirizzi ed è sempre vuota.
insert_date	La data in cui un record è stato inserito nel data feed.
update_date	Data dell'ultimo aggiornamento del record.
delete_date	Questa colonna è sempre vuota.

Di seguito viene illustrato un esempio di queste colonne.

valid_from	valido_a	data_di inserimento	data_aggiornamento	data_eliminazione
2018-12-12H 02:00:00 Z		2018-12-12H 02:00:00 Z	2018-12-12H 02:00:00 Z
2019-03-29T 03:00:00 Z		2019-03-29T 03:00:00 Z	2019-03-29T 03:00:00 Z
2019-03-29T 03:00:00 Z		2019-03-29T 03:00:00 Z	2019-04-28T 03:00:00 Z

Il update_date campo valid_from e insieme formano un modello di dati bi-temporale. Il valid_from campo, così com'è denominato, indica da quando l'elemento è valido. Se l'elemento è stato modificato, può avere più record nel feed, ognuno con una valid_from data diversa update_date ma con la stessa. Ad esempio, per trovare il valore corrente di un elemento, dovresti trovare il record con la data più recenteupdate_date, dall'elenco dei record con la valid_from data più recente.

Nell'esempio precedente, il record è stato originariamente creato il 12/12/2018. È stato quindi modificato il 29-03-2019 (ad esempio, se l'indirizzo nel record è cambiato). Successivamente, il 28/04/2019, il cambio di indirizzo è stato corretto (quindi non è cambiato, valid_from ma l'ha fatto). update_date La correzione dell'indirizzo (un evento raro) modifica retroattivamente il record rispetto alla valid_from data originale, quindi quel campo non è cambiato. Una query per trovare il record più recente valid_from restituirebbe due record, mentre quello con l'ultimo update_date fornisce il record corrente effettivo.

Accesso ai feed di dati

Per accedere ai feed di dati, devi configurare il tuo ambiente per ricevere feed di dati su un bucket Amazon S3 crittografato. Marketplace AWS fornisce un AWS CloudFormation modello che è possibile utilizzare per semplificare la configurazione.

Per utilizzare il AWS CloudFormation modello per configurare l'ambiente per la ricezione dei feed di dati

1. Apri un browser Web e accedi a Portale di gestione Marketplace AWS, quindi vai a Configurare l'archiviazione dei dati dei clienti.

2. Scegli Crea risorse con AWS CloudFormation modello per aprire il modello nella AWS CloudFormation console in un'altra finestra.

3. Nel modello, specifica quanto segue e quindi scegli Avanti:

   • Nome dello stack: la raccolta di risorse che stai creando per consentire l'accesso ai feed di dati.

   • Nome del bucket Amazon S3: il bucket per l'archiviazione dei feed di dati.

   • (Facoltativo) Nome dell'argomento Amazon SNS: argomento per la ricezione di notifiche quando vengono forniti AWS nuovi dati al bucket Amazon S3.

4. Nella pagina di revisione, conferma i dati immessi e scegli Crea stack. Si aprirà una nuova pagina con CloudFormation lo stato e i dettagli.

5. Dalla scheda Risorse, copia Amazon Resource Names (ARN) per le seguenti risorse dalla CloudFormation pagina nei campi della pagina Marketplace AWS Configura l'archiviazione dei dati dei clienti:

   • Bucket Amazon S3 per l'archiviazione di feed di dati

   • AWS KMS chiave per crittografare il bucket Amazon S3

   • (Facoltativo) Argomento di Amazon SNS per la ricezione di notifiche quando AWS fornisce nuovi dati al bucket Amazon S3

6. Nella pagina Configura l'archiviazione dei dati dei clienti, scegli Invia.

7. (Facoltativo) Modifica le politiche create dal CloudFormation modello. Per ulteriori dettagli, consulta Politiche relative ai feed di dati.

Ora sei iscritto ai feed di dati. La prossima volta che vengono generati i feed di dati, puoi accedere ai dati.

Per ulteriori informazioni sui AWS CloudFormation modelli, consulta Lavorare con i AWS CloudFormation modelli nella Guida per l'AWS CloudFormation utente.

Politiche relative ai feed di dati

Quando il bucket Amazon S3 viene creato dal CloudFormation modello, verranno create politiche per l'accesso collegate a quel bucket, alla AWS KMS chiave e all'argomento Amazon SNS. Le policy consentono al servizio di Marketplace AWS report di scrivere nel bucket e nell'argomento SNS dell'utente con le informazioni del data feed. Ogni policy avrà una sezione come la seguente (questo esempio proviene dal bucket Amazon S3).

        {
            "Sid": "AwsMarketplaceDataFeedsAccess",
            "Effect": "Allow",
            "Principal": {
                "Service": "reports.marketplace.amazonaws.com"
            },
            "Action": [
                "s3:ListBucket",
                "s3:GetObject",
                "s3:PutObject",
                "s3:GetEncryptionConfiguration",
                "s3:GetBucketAcl",
                "s3:PutObjectAcl"
            ],
            "Resource": [
                "arn:aws:s3:::datafeed-bucket",
                "arn:aws:s3:::datafeed-bucket/*"
            ]
        },

In questa politica, reports.marketplace.amazonaws.com è il responsabile del servizio Marketplace AWS utilizzato per inviare dati al bucket Amazon S3. datafeed-bucketÈ il bucket che hai specificato nel modello. CloudFormation

Quando il servizio di Marketplace AWS report chiama Amazon S3 o Amazon SNS, fornirà l'ARN dei dati che intende scrivere nel bucket quando lo fa. AWS KMS Per assicurarti che gli unici dati scritti nel tuo bucket siano quelli scritti per tuo conto, puoi specificarli aws:SourceArn nella condizione della politica. Nell'esempio seguente, devi sostituire l'account-id con l'ID del tuo. Account AWS

        {
           "Sid": "AwsMarketplaceDataFeedsAccess",
           "Effect": "Allow",
           "Principal": {
                "Service": "reports.marketplace.amazonaws.com"
            },
            "Action": [
                "s3:ListBucket",
                "s3:GetObject",
                "s3:PutObject",
                "s3:GetEncryptionConfiguration",
                "s3:GetBucketAcl",
                "s3:PutObjectAcl"
            ],
            "Resource": [
                "arn:aws:s3:::datafeed-test-bucket",
                "arn:aws:s3:::datafeed-test-bucket/*"
            ,
            "Condition": {
                "StringEquals": {
                        "aws:SourceAccount": "account-id",
                        "aws:SourceArn": ["arn:aws:marketplace::account-id:AWSMarketplace/SellerDataSubscription/DataFeeds_V1",
                        "arn:aws:marketplace::account-id:AWSMarketplace/SellerDataSubscription/Example-Report"]
                        }
                }
        },

Annullamento dell'iscrizione ai feed di dati

Apri un browser Web e accedi all'AWS Marketplace Management Portal. Quindi, vai alla pagina Contattaci per inviare una richiesta di annullamento dell'iscrizione al team Marketplace AWS Seller Operations. L'elaborazione della richiesta di annullamento dell'iscrizione può richiedere fino a 10 giorni lavorativi.

Utilizzo dei feed di dati

Quando i dati sono disponibili nel tuo bucket Amazon S3, puoi utilizzare i feed di dati nei seguenti modi:

• Scarica i file.CSV dal bucket Amazon S3 in cui hai creato Accesso ai feed di dati in modo da poter visualizzare i dati in un foglio di calcolo.

• Utilizza ETL (estrazione, trasformazione e caricamento), query SQL e strumenti di analisi aziendale per raccogliere e analizzare i dati.

  Puoi utilizzare AWS i servizi per raccogliere e analizzare i dati o qualsiasi strumento di terze parti in grado di eseguire l'analisi di set di dati basati sul file.CSV.

Esempio: utilizzare AWS i servizi per raccogliere e analizzare dati

La procedura seguente presuppone che tu abbia già configurato il tuo ambiente per ricevere feed di dati su un bucket Amazon S3 e che il bucket contenga feed di dati.

Per raccogliere e analizzare i dati dai feed di dati

1. Dalla AWS Glue console, crea un crawler per connetterti al bucket Amazon S3 che archivia i feed di dati, estrae i dati che desideri e crea tabelle di metadati in. AWS Glue Data Catalog

   Per ulteriori informazioni in merito, consulta la Developer Guide AWS Glue.AWS Glue

2. Dalla console Athena, esegui query SQL sui dati contenuti in. AWS Glue Data Catalog

   Per ulteriori informazioni su Athena, consulta la Amazon Athena User Guide.

3. Dalla QuickSight console Amazon, crea un'analisi e quindi crea una visualizzazione dei dati.

   Per ulteriori informazioni su Amazon QuickSight, consulta la Amazon QuickSight User Guide.

Per un esempio dettagliato di un modo di utilizzare AWS i servizi per raccogliere e analizzare i dati nei feed di dati, consulta Utilizzo del servizio di consegna dei feed dei dati del venditore, Amazon Athena e QuickSight Amazon per creare report sui venditori sul Marketplace AWS blog.