Service de flux de données de livraison pour les vendeurs

AWS Marketplace fournit des flux de données en tant que mécanisme permettant d'envoyer des informations structurées sur les up-to-date produits et les clients des AWS Marketplace systèmes aux compartiments Amazon S3 du vendeur pour ETL (extraction, transformation et chargement) entre des outils de business intelligence appartenant au vendeur.

Les données transactionnelles sont fournies et ajoutées dans une structure bi-temporelle afin que les vendeurs puissent stocker et interroger les données selon deux chronologies, horodatées pour les deux

• heure valide : date à laquelle un fait s'est produit dans le monde réel (« ce que vous saviez »)

• heure du système : date à laquelle ce fait a été enregistré dans la base de données (« quand vous le saviez »).

Les flux de données sont fournis tous les jours à minuit UTC après une mise à jour de la veille contenant 24 heures de données de la veille. Une mise à jour peut être définie par l'abonnement d'un client, la facturation d'un client ou le AWS versement d'un paiement.

Cette section fournit une vue d'ensemble des flux de données et explique comment y accéder et les utiliser. Les sections suivantes décrivent chaque flux de données.

Stockage et structure des flux de données

Les flux de données collectent et transmettent des fichiers de valeurs (CSV) séparés par des virgules à un compartiment Amazon S3 chiffré que vous fournissez. Les CSV fichiers présentent les caractéristiques suivantes :

• Ils suivent les normes 4180.

• Le codage des caractères est UTF -8 sansBOM.

• Les virgules sont utilisées comme séparateurs entre les valeurs.

• L'échappement des champs s'effectue à l'aide de guillemets doubles.

• \n est le caractère de saut de ligne.

• Les dates sont indiquées dans le UTC fuseau horaire, sont au format ISO 8601 et sont exactes en 1 seconde.

• Toutes les valeurs *_period_start_date et *_period_end_date sont inclusives, ce qui signifie que 23:59:59 est le dernier horodatage possible pour n'importe quel jour.

• Tous les champs monétaires sont précédés d'un champ de devise.

• Les champs monétaires utilisent un caractère point (.) comme séparateur décimal et n'utilisent pas de virgule (,) comme séparateur des milliers.

Les flux de données sont générés et stockés comme suit :

• Les flux de données sont générés en un jour et contiennent 24 heures de données de la veille.

• Dans le compartiment Amazon S3, les flux de données sont organisés par mois selon le format suivant :

  bucket-name/data-feed-name_version/year=YYYY/month=MM/data.csv

• Au fur et à mesure que chaque flux de données quotidien est généré, il est ajouté au CSV fichier existant pour le mois en question. Lorsqu'un nouveau mois commence, un nouveau CSV fichier est généré pour chaque flux de données.

• Les informations contenues dans les flux de données sont complétées du 01/01/2010 au 30/04/2020 (inclus) et sont disponibles dans le fichier du CSV sous-dossier. year=2010/month=01

  Vous remarquerez peut-être des cas où le fichier du mois en cours pour un flux de données donné ne contient que des en-têtes de colonne et aucune donnée. Cela signifie qu'il n'y avait pas de nouvelles entrées pour ce mois pour le flux. Cela peut se produire avec des flux de données qui sont mis à jour moins fréquemment, comme le flux de produits. Dans ces cas, les données sont disponibles dans le dossier rempli.

• Dans Amazon S3, vous pouvez créer une politique de cycle de vie Amazon S3 pour gérer la durée de conservation des fichiers dans le compartiment.

• Vous pouvez configurer Amazon SNS pour qu'il vous avertisse lorsque des données sont livrées à votre compartiment S3 chiffré. Pour plus d'informations sur la configuration des notifications, consultez Getting started with Amazon SNS dans le manuel Amazon Simple Notification Service Developer Guide.

Historisation des données

Chaque flux de données comprend des colonnes qui documentent l'historique des données. Sauf pour valid_to, ces colonnes sont communes à tous les flux de données. Elles sont incluses en tant que schéma d'historique commun et sont utiles pour interroger les données.

Nom de la colonne	Description
valid_from	Première date pour laquelle la valeur de la clé primaire est valide par rapport aux valeurs des autres champs.
valid_to	Cette colonne est uniquement affichée dans le flux de données Adresse et elle est toujours vide.
insert_date	Date à laquelle un enregistrement a été inséré dans le flux de données.
update_date	Date de la dernière mise à jour de l'enregistrement.
delete_date	Cette colonne est toujours vide.

Voici un exemple de ces colonnes.

valid_from	valid_to	insert_date	update_date	delete_date
2018-12-12T 02:00:00 Z		2018-12-12T 02:00:00 Z	2018-12-12T 02:00:00 Z
2019-03-29T 03:00:00 Z		2019-03-29T 03:00:00 Z	2019-03-29T 03:00:00 Z
2019-03-29T 03:00:00 Z		2019-03-29T 03:00:00 Z	2019-04-28 03:00:00 Z

Les update_date champs valid_from et forment ensemble un modèle de données bi-temporel. Le valid_from champ, tel qu'il est nommé, vous indique à partir de quel moment l'article est valide. Si l'élément a été modifié, le flux peut contenir plusieurs enregistrements, chacun portant une valid_from date différente update_date mais identique. Par exemple, pour trouver la valeur actuelle d'un élément, vous devez rechercher l'enregistrement le plus récent update_date dans la liste des enregistrements contenant la valid_from date la plus récente.

Dans l'exemple ci-dessus, l'enregistrement a été créé à l'origine le 12/2018. Elle a ensuite été modifiée le 29/03/2019 (par exemple, si l'adresse figurant dans le dossier a changé). Plus tard, le 28/04/2019, le changement d'adresse a été corrigé (il valid_from n'a donc pas changé, mais il l'update_datea fait). La correction de l'adresse (un événement rare) modifie rétroactivement l'enregistrement par rapport à la valid_from date d'origine, de sorte que le champ n'a pas changé. Une requête visant à trouver le plus récent valid_from renverrait deux enregistrements, celui contenant le plus récent update_date indique l'enregistrement actuel.

Accès aux flux de données

Pour accéder aux flux de données, vous devez configurer votre environnement pour recevoir des flux de données vers un compartiment Amazon S3 chiffré. Vous devez suivre un processus en plusieurs étapes pour accéder aux flux de données, et les étapes suivantes expliquent comment procéder.

1. Désignez un ingénieur informatique ou un ingénieur SQL des données doté d'une expérience ETL (extraction, transformation, chargement). Cette personne doit également avoir de l'expérience en matière de configurationAPIs.

2. Configurez un bucket Amazon Simple Storage Service et un abonnement aux flux de données. Utilisez l'identifiant AWS du compte vendeur associé à vos offres de produits Marketplace. Pour ce faire, vous pouvez regarder cette YouTube vidéo ou suivre les étapes ci-dessous.

   La vidéo et les étapes expliquent comment utiliser un AWS CloudFormation modèle qui permet de simplifier la configuration.

   1. Ouvrez un navigateur Web et connectez-vous au Portail de gestion AWS Marketplace, puis accédez à Configurer le stockage des données clients.

   2. Choisissez Créer des ressources avec AWS CloudFormation un modèle pour ouvrir le modèle dans la AWS CloudFormation console dans une autre fenêtre.

   3. Dans le modèle, spécifiez les éléments suivants, puis choisissez Suivant :

      • Nom de la pile : collection de ressources que vous créez pour permettre l'accès aux flux de données.

      • Nom du compartiment Amazon S3 : compartiment destiné au stockage des flux de données.

      • (Facultatif) Nom de la SNS rubrique Amazon : rubrique de réception des notifications lors AWS de l'envoi de nouvelles données dans le compartiment Amazon S3.

   4. Sur la page Révision, validez vos entrées et choisissez Créer une pile. Cela ouvrira une nouvelle page avec le CloudFormation statut et les détails.

   5. Dans l'onglet Resources, copiez Amazon Resource Names (ARNs) pour les ressources suivantes depuis la CloudFormation page dans les champs de la page AWS Marketplace Configurer le stockage des données clients :

      • Compartiment Amazon S3 pour le stockage de flux de données

      • AWS KMS clé pour chiffrer le compartiment Amazon S3

      • (Facultatif) SNS Rubrique Amazon relative à la réception de notifications AWS lors de l'envoi de nouvelles données dans le compartiment Amazon S3

   6. Sur la page Configurer le stockage des données client, choisissez Soumettre.

   7. (Facultatif) Modifiez les politiques créées par le CloudFormation modèle. Pour plus d’informations, consultez Politiques relatives aux flux de données.

      Vous êtes désormais abonné aux flux de données. La prochaine fois que les flux de données seront générés, vous pourrez accéder aux données.

3. Utilisez une opération ETL (extraction, transformation, chargement) pour connecter les flux de données à votre entrepôt de données ou à votre base de données relationnelle.

   Note

   Les outils de données ont des fonctionnalités différentes. Vous devez faire appel à un ingénieur en intelligence d'affaires ou à un ingénieur de données pour configurer l'intégration en fonction des capacités de votre outil.

4. Pour exécuter ou créer des SQL requêtes, configurez les flux de données pour appliquer les clés primaires et étrangères dans votre outil de données. Chaque flux de données représente une table unique, et vous devez configurer tous les flux de données dans le schéma de données avec les relations entre les entités. Pour plus d'informations sur les tables et les relations entre entités, consultez Vue d'ensemble des tableaux de flux de données ce guide.

5. Configurez Amazon Simple Notification Service pour actualiser automatiquement votre entrepôt de données ou votre base de données relationnelle. Vous pouvez configurer SNS les notifications Amazon pour envoyer des alertes lorsque les données de chaque flux unique sont transmises à un compartiment S3. Ces notifications peuvent être utilisées pour actualiser automatiquement l'entrepôt de données des vendeurs lorsque de nouvelles données sont reçues via des flux de données, si l'outil de données des vendeurs prend en charge cette fonctionnalité. Consultez Getting started with Amazon SNS dans le guide du développeur Amazon Simple Notification Service.

   Exemple de notification :

   {
           "mainExecutionId": "1bc08b11-ab4b-47e1-866a-9c8f38423a98",
           "executionId": "52e862a9-42d2-41e0-8010-810af84d39b1",
           "subscriptionId": "27ae3961-b13a-44bc-a1a7-365b2dc181fd",
           "processedFiles": [],
           "executionStatus": "SKIPPED",
           "errors": [],
           "feedType": "[data feed name]"
           }

   Les notifications peuvent avoir les executionStatus états suivants :

   • SKIPPED— Le vendeur n'a aucune nouvelle donnée pour la journée.

   • COMPLETED— Nous avons livré le flux avec de nouvelles données.

   • FAILED— La livraison des aliments a un problème.

6. Validez la configuration en exécutant SQL des requêtes. Vous pouvez utiliser les exemples de requêtes présentés dans ce guide ou les requêtes sur GitHub https://github.com/aws-samples/aws-marketplace-api-samples/tree/main/ seller-data-feeds /queries.

   Note

   Les exemples de requêtes présentés dans ce guide ont été rédigés pour AWS Athéna. Vous devrez peut-être modifier les requêtes pour les utiliser avec vos outils.

7. Déterminez où les utilisateurs professionnels souhaitent utiliser les données. Par exemple, vous pouvez :

   • Exportez des données .csv depuis votre entrepôt de données ou votre SQL base de données.

   • Connectez vos données à un outil de visualisation tel que PowerBI ou Tableau.

   • Associez les données à vos CRM outils ou à ceux de vos outils financiers tels que Salesforce, Infor ou Netsuite. ERP

Pour plus d'informations sur les AWS CloudFormation modèles, voir Utilisation des AWS CloudFormation modèles dans le Guide de AWS CloudFormation l'utilisateur.

Politiques relatives aux flux de données

Lorsque votre compartiment Amazon S3 est créé par le CloudFormation modèle, il crée des politiques d'accès associées à ce compartiment, à la AWS KMS clé et à la SNS rubrique Amazon. Les politiques permettent au service de AWS Marketplace rapports d'écrire dans votre compartiment et dans votre SNS rubrique avec les informations du flux de données. Chaque politique comportera une section similaire à la suivante (cet exemple provient du compartiment Amazon S3).

        {
            "Sid": "AwsMarketplaceDataFeedsAccess",
            "Effect": "Allow",
            "Principal": {
                "Service": "reports.marketplace.amazonaws.com"
            },
            "Action": [
                "s3:ListBucket",
                "s3:GetObject",
                "s3:PutObject",
                "s3:GetEncryptionConfiguration",
                "s3:GetBucketAcl",
                "s3:PutObjectAcl"
            ],
            "Resource": [
                "arn:aws:s3:::datafeed-bucket",
                "arn:aws:s3:::datafeed-bucket/*"
            ]
        },

Dans cette politique, reports.marketplace.amazonaws.com c'est le principal de service AWS Marketplace utilisé pour transférer les données vers le compartiment Amazon S3. datafeed-bucketIl s'agit du compartiment que vous avez spécifié dans le CloudFormation modèle.

Lorsque le service de AWS Marketplace rapports appelle Amazon S3 ou AmazonSNS, il fournit les données qu'il a l'intention ARN d'écrire dans le compartiment lorsqu'il le fait. AWS KMS Pour vous assurer que les seules données écrites dans votre bucket sont des données écrites en votre nom, vous pouvez les spécifier aws:SourceArn dans les conditions de la politique. Dans l'exemple suivant, vous devez remplacer account-id avec l'identifiant de votre Compte AWS.

        {
           "Sid": "AwsMarketplaceDataFeedsAccess",
           "Effect": "Allow",
           "Principal": {
                "Service": "reports.marketplace.amazonaws.com"
            },
            "Action": [
                "s3:ListBucket",
                "s3:GetObject",
                "s3:PutObject",
                "s3:GetEncryptionConfiguration",
                "s3:GetBucketAcl",
                "s3:PutObjectAcl"
            ],
            "Resource": [
                "arn:aws:s3:::datafeed-amzn-s3-demo-bucket",
                "arn:aws:s3:::datafeed-amzn-s3-demo-bucket/*"
            ,
            "Condition": {
                "StringEquals": {
                        "aws:SourceAccount": "account-id",
                        "aws:SourceArn": ["arn:aws:marketplace::account-id:AWSMarketplace/SellerDataSubscription/DataFeeds_V1",
                        "arn:aws:marketplace::account-id:AWSMarketplace/SellerDataSubscription/Example-Report"]
                        }
                }
        },

Se désabonner des flux de données

Ouvrez un navigateur Web et connectez-vous au AWSMarketplace Management Portal. Accédez ensuite à la page Contactez-nous pour soumettre une demande de désinscription à l'équipe des opérations AWS Marketplace vendeurs. Le traitement de la demande de désinscription peut prendre jusqu'à 10 jours ouvrables.

Utilisation des flux de données

Lorsque des données sont disponibles dans votre compartiment Amazon S3, vous pouvez utiliser les flux de données des manières suivantes :

• Téléchargez le. CSVdes fichiers du compartiment Amazon S3 que vous avez créé Accès aux flux de données afin que vous puissiez afficher les données dans une feuille de calcul.

• Utilisez ETL (extrayez, transformez et chargez), SQL interrogez et utilisez des outils d'analyse commerciale pour collecter et analyser les données.

  Vous pouvez utiliser AWS des services pour collecter et analyser des données, ou tout autre outil tiers capable d'effectuer une analyse de. CSVensembles de données basés sur des ensembles de données

Exemple : utiliser AWS des services pour collecter et analyser des données

La procédure suivante suppose que vous avez déjà configuré votre environnement pour recevoir des flux de données vers un compartiment Amazon S3 et que le compartiment contient des flux de données.

Pour collecter et analyser des données à partir de flux de données

1. Depuis la AWS Glue console, créez un robot d'exploration pour vous connecter au compartiment Amazon S3 qui stocke les flux de données, extrait les données souhaitées et crée des tables de métadonnées dans le AWS Glue Data Catalog.

   Pour plus d'informations AWS Glue, consultez le guide du AWS Glue développeur.

2. Depuis la console Athena, exécutez des SQL requêtes sur les données du. AWS Glue Data Catalog

   Pour plus d'informations sur Athena, consultez le guide de l'utilisateur d'Amazon Athena.

3. Depuis la QuickSight console Amazon, créez une analyse, puis créez un visuel des données.

   Pour plus d'informations sur Amazon QuickSight, consultez le guide de QuickSight l'utilisateur Amazon.

Pour un exemple détaillé d'une méthode d'utilisation des AWS services pour collecter et analyser des données dans des flux de données, consultez Utiliser le service de livraison de flux de données des vendeurs, Amazon Athena et Amazon QuickSight pour créer des rapports sur les vendeurs sur le AWS Marketplace blog.