Stockage des données exportées dans Amazon S3

Utilisation d'un CloudFormation modèle prédéfini

Amazon Monitron fournit un AWS CloudFormation modèle prédéfini permettant de configurer rapidement le Firehose afin de transmettre les données d'un flux de données Kinesis au compartiment Amazon S3. Ce modèle permet le partitionnement dynamique et les objets Amazon S3 fournis utiliseront le format de clé suivant recommandé par Amazon Monitron : /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

1. Connectez-vous à votre AWS compte.

2. Ouvrez un nouvel onglet de navigateur avec l'URL suivante :

   https://console.aws.amazon.com/cloudformation/home?region=us-east-1#/stacks/create/review?templateURL=https://s3.us-east-1.amazonaws.com/monitron-cloudformation-templates-us-east-1/monitron_kinesis_data_export.yaml&stackName=monitron-kinesis-live-data-export

3. Sur la AWS CloudFormation page qui s'ouvre, dans le coin supérieur droit, sélectionnez la région dans laquelle vous utilisez Amazon Monitron.

4. Par défaut, le modèle créera un nouveau flux de données Kinesis et un nouveau bucket S3, ainsi que les autres ressources nécessaires pour fournir des données à Amazon S3. Vous pouvez modifier les paramètres pour utiliser les ressources existantes.

5. Cochez la case « Je reconnais que cela AWS CloudFormation peut créer des ressources IAM ».

6. Sélectionnez Créer la pile.

7. Sur la page suivante, cliquez sur l'icône d'actualisation aussi souvent que vous le souhaitez jusqu'à ce que le statut de la pile soit CREATE_COMPLETE.

Configuration manuelle de Kinesis dans la console

1. Connectez-vous à la console de AWS gestion et ouvrez la console Kinesis à l'adresse https://console.aws.amazon.com/kinesis.

2. Choisissez Delivery streams dans le volet de navigation.

3. Sélectionnez Create delivery Stream (Créer un flux de diffusion).

4. Dans Source, sélectionnez Amazon Kinesis Data Streams.

5. Pour Destination, sélectionnez Amazon S3.

6. Sous Paramètres source, flux de données Kinesis, entrez l'ARN de votre flux de données Kinesis.

7. Dans Nom du flux de diffusion, entrez le nom de votre flux de données Kinesis.

8. Dans Paramètres de destination, choisissez un compartiment Amazon S3 ou entrez un URI de compartiment.

9. (facultatif) Activez le partitionnement dynamique à l'aide de l'analyse syntaxique intégrée pour JSON. Cette option est appropriée si vous souhaitez partitionner les données de mesure du streaming en fonction des informations de source et de l'horodatage. Par exemple :

   • Choisissez Activé pour le partitionnement dynamique.

   • Choisissez Activé pour Nouveau délimiteur de ligne.

   • Choisissez Activé pour l'analyse en ligne pour JSON.

   • Sous Clés de partitionnement dynamique, ajoutez :

     Nom de la touche	Expression JQ
     project	. projectDisplayName| « projet= \ (.) »
     site	. siteDisplayName| « site = \ (.) »
     time	.timestamp| sub (« [0-9] {2} : [0-9] {2} : [0-9] {2}. [0-9] {3} $ » ; « 00:00:00 «) | « time= \ (.) »

10. Choisissez Appliquer les clés de partitionnement dynamiques et vérifiez que le préfixe du compartiment Amazon S3 généré est bien. !{partitionKeyFromQuery:project}/!{partitionKeyFromQuery:site}/!{partitionKeyFromQuery:time}/

11. Dans Amazon S3, les objets utiliseront le format de clé suivant : /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

12. Sélectionnez Create delivery Stream (Créer un flux de diffusion).

13. (facultatif) Utilisez un chemin plus détaillé.

    Si vous avez choisi une partition dynamique, utilisez le format de clé Amazon S3 précédent si vous prévoyez d'utiliser AWS Glue Athena pour interroger les données. Vous pouvez également choisir un format de clé plus fin, mais la requête Amazon Athena ne sera pas efficace. Voici un exemple de configuration d'un chemin clé Amazon S3 plus fin.

    Sous Clés de partitionnement dynamique, ajoutez :

    Nom de la touche	Expression JQ
    project	. projectDisplayName| « projet= \ (.) »
    site	. siteDisplayName| « site = \ (.) »
    asset	. assetDisplayName| « actif= \ (.) »
    position	. sensorPositionDisplayNom| « position= \ (.) »
    capteur	.sensor.PhysicalID | « capteur= \ (.) »
    date	.timestamp| sub (» [0-9] {2} : [0-9] {2} : [0-9] {2}. [0-9] {3} $ » ; « ») | « date= \ (.) »

    Dans Amazon S3, les objets utiliseront le format de clé suivant : /project={projectName}/site={siteName}/asset={assetName}/position={positionName}/sensor={sensorId}/date={yyyy-mm-dd}/time={HH:MM:SS}/{filename}