Archiviazione dei dati esportati in Amazon S3

Utilizzo di un modello predefinito CloudFormation

Amazon Monitron fornisce un AWS CloudFormation modello predefinito per configurare rapidamente Firehose per fornire dati da un flusso di dati Kinesis al bucket Amazon S3. Questo modello consente il partizionamento dinamico e gli oggetti Amazon S3 forniti utilizzeranno il seguente formato di chiave consigliato da Amazon Monitron: /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

1. Accedi al tuo account. AWS

2. Apri una nuova scheda del browser con il seguente URL:

   https://console.aws.amazon.com/cloudformation/home?region=us-east-1#/stacks/create/review?templateURL=https://s3.us-east-1.amazonaws.com/monitron-cloudformation-templates-us-east-1/monitron_kinesis_data_export.yaml&stackName=monitron-kinesis-live-data-export

3. Nella AWS CloudFormation pagina che si apre, nell'angolo in alto a destra, seleziona la regione in cui utilizzi Amazon Monitron.

4. Per impostazione predefinita, il modello creerà un nuovo flusso di dati Kinesis e un bucket S3 insieme ad altre risorse necessarie per fornire dati ad Amazon S3. Puoi modificare i parametri per utilizzare le risorse esistenti.

5. Seleziona la casella che dice Riconosco che AWS CloudFormation potrebbe creare risorse IAM.

6. Seleziona Crea stack.

7. Nella pagina successiva, scegli l'icona di aggiornamento tutte le volte che vuoi fino a quando lo stato dello stack è CREATE_COMPLETE.

Configurazione manuale di Kinesis nella console

1. Accedi alla Console di AWS gestione e apri la console Kinesis all'indirizzo https://console.aws.amazon.com/kinesis.

2. Scegli Delivery streams nel riquadro di navigazione.

3. Selezionare Create delivery stream (Crea flusso di distribuzione).

4. Per Source, seleziona Amazon Kinesis Data Streams.

5. Per Destinazione, seleziona Amazon S3.

6. In Impostazioni sorgente, Kinesis data stream, inserisci l'ARN del tuo flusso di dati Kinesis.

7. In Delivery stream name, inserisci il nome del tuo flusso di dati Kinesis.

8. In Impostazioni di destinazione, scegli un bucket Amazon S3 o inserisci un URI del bucket.

9. (opzionale) Abilita il partizionamento dinamico utilizzando l'analisi in linea per JSON. Questa opzione è appropriata se si desidera partizionare i dati di misurazione in streaming in base alle informazioni di origine e al timestamp. Per esempio:

   • Scegliete Attivato per il partizionamento dinamico.

   • Scegli Abilitato per il nuovo delimitatore di riga.

   • Scegli Abilitato per l'analisi in linea per JSON.

   • In Chiavi di partizionamento dinamico, aggiungi:

     Nome chiave	espressione JQ
     project	. projectDisplayName| «progetto=\ (.)»
     site	. siteDisplayName| «sito =\ (.)»
     time	.timestamp| sub («[0-9] {2}: [0-9] {2}: [0-9] {2}. [0-9] {3} $»; "00:00:00 «) | «tempo=\ (.)»

10. Scegli Applica chiavi di partizionamento dinamico e conferma che il prefisso del bucket Amazon S3 generato sia. !{partitionKeyFromQuery:project}/!{partitionKeyFromQuery:site}/!{partitionKeyFromQuery:time}/

11. In Amazon S3, gli oggetti utilizzeranno il seguente formato chiave:. /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

12. Selezionare Create delivery stream (Crea flusso di distribuzione).

13. (opzionale) Utilizza un percorso più granulare.

    Se hai scelto una partizione dinamica, utilizza il formato di chiave Amazon S3 precedente se prevedi di utilizzare AWS Glue Athena per interrogare i dati. Puoi anche scegliere un formato di chiave più preciso, ma la query di Amazon Athena non sarà efficiente. Ecco un esempio di configurazione di un percorso chiave Amazon S3 più preciso.

    In Chiavi di partizionamento dinamico, aggiungi:

    Nome chiave	espressione JQ
    project	. projectDisplayName| «progetto=\ (.)»
    site	. siteDisplayName| «sito =\ (.)»
    asset	. assetDisplayName| «risorsa =\ (.)»
    position	. sensorPositionDisplayNome| «position=\ (.)»
    sensore	.sensor.physicalID | «sensor=\ (.)»
    data	.timestamp| sub (» [0-9] {2}: [0-9] {2}: [0-9] {2}. [0-9] {3} $»; «») | «data=\ (.)»

    In Amazon S3, gli oggetti utilizzeranno il seguente formato chiave: /project={projectName}/site={siteName}/asset={assetName}/position={positionName}/sensor={sensorId}/date={yyyy-mm-dd}/time={HH:MM:SS}/{filename}