Menyimpan data yang diekspor di Amazon S3

Menggunakan template yang telah ditentukan CloudFormation

Amazon Monitron menyediakan AWS CloudFormation template yang telah ditentukan untuk membantu menyiapkan Firehose dengan cepat untuk mengirimkan data dari aliran data Kinesis ke bucket Amazon S3. Template ini memungkinkan partisi dinamis dan objek Amazon S3 yang dikirimkan akan menggunakan format kunci berikut yang direkomendasikan oleh Amazon Monitron: /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

1. Masuk ke AWS akun Anda.

2. Buka tab browser baru dengan URL berikut:

   https://console.aws.amazon.com/cloudformation/home?region=us-east-1#/stacks/create/review?templateURL=https://s3.us-east-1.amazonaws.com/monitron-cloudformation-templates-us-east-1/monitron_kinesis_data_export.yaml&stackName=monitron-kinesis-live-data-export

3. Pada AWS CloudFormation halaman yang terbuka, di sudut kanan atas, pilih wilayah di mana Anda menggunakan Amazon Monitron.

4. Secara default, template akan membuat aliran data Kinesis baru dan bucket S3 bersama dengan sumber daya lain yang diperlukan untuk mengirimkan data ke Amazon S3. Anda dapat mengubah parameter untuk menggunakan sumber daya yang ada.

5. Centang kotak yang mengatakan saya mengakui yang AWS CloudFormation mungkin membuat sumber daya IAM.

6. Pilih Buat tumpukan.

7. Pada halaman berikutnya, pilih ikon penyegaran sesering yang Anda suka hingga status tumpukan adalah CREATE_COMPLETE.

Mengkonfigurasi Kinesis secara manual di konsol

1. Masuk ke Konsol AWS Manajemen dan buka konsol Kinesis di https://console.aws.amazon.com/kinesis.

2. Pilih Stream pengiriman di panel navigasi.

3. Pilih Buat aliran pengiriman.

4. Untuk Sumber, pilih Amazon Kinesis Data Streams.

5. Untuk Tujuan, pilih Amazon S3.

6. Di bawah Pengaturan Sumber, aliran data Kinesis, masukkan ARN aliran data Kinesis Anda.

7. Di bawah nama aliran pengiriman, masukkan nama aliran data Kinesis Anda.

8. Di bawah Pengaturan desinasi, pilih bucket Amazon S3 atau masukkan URI bucket.

9. (opsional) Aktifkan partisi dinamis menggunakan penguraian sebaris untuk JSON. Opsi ini sesuai jika Anda ingin mempartisi data pengukuran streaming berdasarkan informasi sumber dan stempel waktu. Sebagai contoh:

   • Pilih Diaktifkan untuk partisi Dinamis.

   • Pilih Diaktifkan untuk pembatas baris baru.

   • Pilih Diaktifkan untuk penguraian Inline untuk JSON.

   • Di bawah tombol partisi dinamis, tambahkan:

     Nama kunci	Ekspresi JQ
     proyek	. projectDisplayName| “proyek =\ (.)”
     situs	. siteDisplayName| “site=\ (.)”
     Waktu	.timestamp| sub (“[0-9] {2}: [0-9] {2}: [0-9] {2}. [0-9] {3} $”; "00:00:00 “) | “time=\ (.)”

10. Pilih Terapkan kunci partisi dinamis dan konfirmasikan awalan bucket Amazon S3 yang dihasilkan. !{partitionKeyFromQuery:project}/!{partitionKeyFromQuery:site}/!{partitionKeyFromQuery:time}/

11. Di Amazon S3, objek akan menggunakan format kunci berikut:. /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

12. Pilih Buat aliran pengiriman.

13. (opsional) Gunakan jalur yang lebih granular.

    Jika Anda memilih partisi dinamis, gunakan format kunci Amazon S3 sebelumnya jika Anda berencana untuk menggunakan AWS Glue dan Athena untuk menanyakan data. Anda juga dapat memilih format kunci yang lebih halus, tetapi kueri Amazon Athena tidak akan efisien. Berikut adalah contoh pengaturan jalur kunci Amazon S3 yang lebih halus.

    Di bawah tombol partisi dinamis, tambahkan:

    Nama kunci	Ekspresi JQ
    proyek	. projectDisplayName| “proyek =\ (.)”
    situs	. siteDisplayName| “site=\ (.)”
    aset	. assetDisplayName| “aset =\ (.)”
    posisi	. sensorPositionDisplayNama| “posisi=\ (.)”
    sensor	.sensor.physicalid | “sensor=\ (.)”
    date	.timestamp| sub (” [0-9] {2}: [0-9] {2}: [0-9] {2}. [0-9] {3} $”; “”) | “date=\ (.)”

    Di Amazon S3, objek akan menggunakan format kunci berikut: /project={projectName}/site={siteName}/asset={assetName}/position={positionName}/sensor={sensorId}/date={yyyy-mm-dd}/time={HH:MM:SS}/{filename}