Stockage des données exportées dans Amazon S3

Si vous souhaitez stocker vos données exportées dans Amazon S3, suivez la procédure suivante.

Configuration manuelle de Kinesis dans la console

1. Connectez-vous à la console de AWS gestion et ouvrez la console Kinesis à l'adresse https://console.aws.amazon.com/kinesis.

2. Choisissez Delivery streams dans le volet de navigation.

3. Sélectionnez Create delivery Stream (Créer un flux de diffusion).

4. Dans Source, sélectionnez Amazon Kinesis Data Streams.

5. Pour Destination, sélectionnez Amazon S3.

6. Sous Paramètres source, flux de données Kinesis, entrez l'ARN de votre flux de données Kinesis.

7. Dans Nom du flux de diffusion, entrez le nom de votre flux de données Kinesis.

8. Dans Paramètres de destination, choisissez un compartiment Amazon S3 ou entrez un URI de compartiment.

9. (facultatif) Activez le partitionnement dynamique à l'aide de l'analyse syntaxique intégrée pour JSON. Cette option est appropriée si vous souhaitez partitionner les données de mesure du streaming en fonction des informations de source et de l'horodatage. Par exemple :

   • Choisissez Activé pour le partitionnement dynamique.

   • Choisissez Activé pour Nouveau délimiteur de ligne.

   • Choisissez Activé pour l'analyse en ligne pour JSON.

   • Sous Clés de partitionnement dynamique, ajoutez :

     Nom de la touche	Expression JQ
     project	.ProjectName| « project= \ (.) »
     site	.eventPayload.siteName| « site= \ (.) »
     time	.timestamp| sub (« [0-9] {2} : [0-9] {2} : [0-9] {2}. [0-9] {3} $ » ; « 00:00:00 «) | « time= \ (.) »

10. Choisissez Appliquer les clés de partitionnement dynamiques et vérifiez que le préfixe du compartiment Amazon S3 généré est bien. !{partitionKeyFromQuery:project}/!{partitionKeyFromQuery:site}/!{partitionKeyFromQuery:time}/

11. Dans Amazon S3, les objets utiliseront le format de clé suivant : /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

12. Sélectionnez Create delivery Stream (Créer un flux de diffusion).