Speichern exportierter Daten in Amazon S3

Verwenden einer vordefinierten CloudFormation Vorlage

Amazon Monitron bietet eine vordefinierte AWS CloudFormation Vorlage, mit der Firehose schnell so eingerichtet werden kann, dass Daten aus einem Kinesis-Datenstrom an den Amazon S3-Bucket übermittelt werden. Diese Vorlage ermöglicht die dynamische Partitionierung und die bereitgestellten Amazon S3-Objekte verwenden das folgende von Amazon Monitron empfohlene Schlüsselformat: /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

1. Melden Sie sich bei Ihrem -AWSKonto an.

2. Öffnen Sie eine neue Browser-Registerkarte mit der folgenden URL:

   https://console.aws.amazon.com/cloudformation/home?region=us-east-1#/stacks/create/review?templateURL=https://s3.us-east-1.amazonaws.com/monitron-cloudformation-templates-us-east-1/monitron_kinesis_data_export.yaml&stackName=monitron-kinesis-live-data-export

3. Wählen Sie auf der sich öffnenden AWS CloudFormation Seite in der oberen rechten Ecke die Region aus, in der Sie Amazon Monitron verwenden.

4. Standardmäßig erstellt die Vorlage einen neuen Kinesis-Datenstrom und S3-Bucket zusammen mit anderen Ressourcen, die für die Bereitstellung von Daten an Amazon S3 erforderlich sind. Sie können die Parameter ändern, um vorhandene Ressourcen zu verwenden.

5. Aktivieren Sie das Kontrollkästchen, in dem Ich bestätige, dass AWS CloudFormation möglicherweise IAM-Ressourcen erstellt.

6. Wählen Sie Stack erstellen aus.

7. Wählen Sie auf der nächsten Seite so oft wie gewünscht das Aktualisierungssymbol aus, bis der Status des Stacks CREATE_COMPLETE lautet.

Manuelles Konfigurieren von Kinesis in der Konsole

1. Melden Sie sich bei der -AWSManagementkonsole an und öffnen Sie die Kinesis-Konsole unter https://console.aws.amazon.com/kinesis.

2. Wählen Sie im Navigationsbereich Bereitstellungsdatenströme aus.

3. Wählen Sie Create Delivery Stream (Bereitstellungs-Stream erstellen) aus.

4. Wählen Sie für Quelle die Option Amazon Kinesis Data Streams aus.

5. Wählen Sie für Ziel Amazon S3 aus.

6. Geben Sie unter Quelleinstellungen, Kinesis-Datenstrom den ARN Ihres Kinesis-Datenstroms ein.

7. Geben Sie unter Name des Bereitstellungsdatenstroms den Namen Ihres Kinesis-Datenstroms ein.

8. Wählen Sie unter Zieleinstellungen einen Amazon S3-Bucket aus oder geben Sie einen Bucket-URI ein.

9. (optional) Aktivieren Sie die dynamische Partitionierung mithilfe von Inline-Parsing für JSON. Diese Option ist geeignet, wenn Sie Streaming-Messungsdaten basierend auf Quellinformationen und Zeitstempel partitionieren möchten. Beispielsweise:

   • Wählen Sie Aktiviert für Dynamische Partitionierung aus.

   • Wählen Sie Aktiviert für Neues Zeilentrennzeichen aus.

   • Wählen Sie Aktiviert für Inline-Parsing für JSON aus.

   • Fügen Sie unter Dynamische Partitionierungsschlüssel Folgendes hinzu:

     Tastenname	JQ-Ausdruck
     project	.projectDisplayName| "Projekt=\(.)"
     site	.siteDisplayName| "site=\(.)"
     time	.timestamp| sub("[0-9]{2}:[0-9]{2}:[0-9]{2}.[0-9]{3}$"; "00:00:00")| "time=\(.)"

10. Wählen Sie Dynamische Partitionierungsschlüssel anwenden und bestätigen Sie, dass das generierte Amazon S3-Bucket-Präfix lautet!{partitionKeyFromQuery:project}/!{partitionKeyFromQuery:site}/!{partitionKeyFromQuery:time}/.

11. In Amazon S3 verwenden Objekte das folgende Schlüsselformat: /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}.

12. Wählen Sie Create Delivery Stream (Bereitstellungs-Stream erstellen) aus.

13. (optional) Verwenden Sie einen detaillierteren Pfad.

    Wenn Sie eine dynamische Partition ausgewählt haben, verwenden Sie das vorherige Amazon S3-Schlüsselformat, wenn Sie planen, AWS Glue und Athena zum Abfragen der Daten zu verwenden. Sie können auch ein feineres Schlüsselformat wählen, aber die Amazon Athena-Abfrage ist nicht effizient. Hier ist ein Beispiel für die Einrichtung eines feineren Amazon S3-Schlüsselpfads.

    Fügen Sie unter Dynamische Partitionierungsschlüssel Folgendes hinzu:

    Tastenname	JQ-Ausdruck
    project	.projectDisplayName| "Projekt=\(.)"
    site	.siteDisplayName| "site=\(.)"
    Komponente	.assetDisplayName| "asset=\(.)"
    position	.sensorPositionDisplayName| "position=\(.)"
    Sensor	. Bol.physicalId | "=\(.)"
    date	.timestamp| sub(" [0-9]{2}:[0-9]{2}:[0-9]{2}.[0-9]{3}$"; "")| "date=\(.)"

    In Amazon S3 verwenden Objekte das folgende Schlüsselformat: /project={projectName}/site={siteName}/asset={assetName}/position={positionName}/sensor={sensorId}/date={yyyy-mm-dd}/time={HH:MM:SS}/{filename}