Langkah 4: Membuat Aliran Pengiriman Kinesis Data Firehose

Untuk menerbitkan peristiwa pengiriman email ke Amazon Kinesis Data Firehose, Anda harus membuat aliran pengiriman Kinesis Data Firehose. Saat menyiapkan aliran pengiriman Kinesis Data Firehose, Anda memilih lokasi Kinesis Data Firehose untuk menerbitkan data tersebut. Untuk tutorial ini, kami akan menyiapkan Kinesis Data Firehose untuk menerbitkan data ke Amazon Redshift, dan memilih agar Kinesis Data Firehose menerbitkan catatan ke Amazon S3 sebagai langkah perantara. Dalam prosesnya, kita perlu menentukan cara Amazon Redshift menyalin catatan dari Amazon S3 ke dalam tabel yang kita buat di langkah sebelumnya.

Bagian ini menunjukkan cara membuat aliran pengiriman Kinesis Data Firehose yang mengirimkan data ke Amazon Redshift, dan cara mengedit aliran pengiriman untuk menentukan bagaimana Amazon Redshift harus menyalin data penerbitan peristiwa Amazon SES ke Amazon S3.

catatan

Anda harus sudah menyiapkan klaster Amazon Redshift, terhubung ke klaster Anda, dan membuat tabel basis data, seperti yang dijelaskan pada langkah sebelumnya.

Membuat Aliran Pengiriman Kinesis Data Firehose

Prosedur berikut menunjukkan cara membuat aliran pengiriman Kinesis Data Firehose yang menerbitkan data ke Amazon Redshift, menggunakan Amazon S3 sebagai lokasi data perantara.

Untuk membuat aliran pengiriman dari Kinesis Data Firehose ke Amazon Redshift

1. Masuk ke AWS Management Console dan buka konsol Kinesis Data Firehose di https://console.aws.amazon.com/firehose/.

2. Pilih Buat Aliran Pengiriman.

3. Di halaman Tujuan, pilih opsi-opsi berikut:

   • Tujuan – Pilih Amazon Redshift.

   • Nama aliran pengiriman – Ketikkan nama untuk aliran pengiriman.

   • Bucket S3 – Pilih Bucket S3 baru, ketik nama bucket, pilih wilayah, lalu pilih Buat Bucket.

   • Klaster Redshift – Pilih klaster Amazon Redshift yang Anda buat di langkah sebelumnya.

   • Basis data Redshift – Ketik dev, yang merupakan nama basis data default.

   • Tabel Redshift – Ketik ses, yang merupakan tabel yang Anda buat di Langkah 3: Buat Tabel Basis Data.

   • Kolom tabel Redshift – Biarkan bidang ini kosong.

   • Nama pengguna Redshift – Ketik nama pengguna yang Anda pilih saat menyiapkan klaster Amazon Redshift.

   • Kata sandi Redshift – Ketikkan kata sandi yang Anda pilih saat menyiapkan klaster Amazon Redshift.

   • Opsi SALIN Redshift – Biarkan bidang ini kosong.

   • Durasi coba ulang – Biarkan bidang ini pada nilai default-nya.

   • Perintah SALIN – Biarkan bidang ini pada nilai default-nya. Anda akan memperbaruinya di prosedur berikutnya.

4. Pilih Selanjutnya.

5. Pada halaman Konfigurasi, biarkan bidang pada pengaturan default untuk tutorial sederhana ini. Satu-satunya langkah yang harus Anda lakukan adalah memilih IAM role yang memungkinkan Kinesis Data Firehose mengakses sumber daya Anda, seperti yang dijelaskan dalam prosedur berikut.

   1. Untuk IAM Role, pilih Pilih IAM role.

   2. Di menu tarik-turun, di bawah Buat/Perbarui IAM role yang sudah ada, pilih IAM role penyampaian Firehose.

      Anda akan dibawa ke konsol IAM.

   3. Di konsol IAM, biarkan bidang pada pengaturan default-nya, lalu pilih Izinkan.

      
      

      Anda akan kembali ke langkah penyiapan aliran pengiriman Kinesis Data Firehose di konsol Kinesis Data Firehose.

6. Pilih Selanjutnya.

7. Pada halaman Tinjauan, tinjau pengaturan Anda, lalu pilih Buat Aliran Pengiriman.

Pengaturan Opsi Salin Amazon Redshift

Selanjutnya, Anda harus menentukan ke Amazon Redshift, cara menyalin catatan JSON penerbitan peristiwa Amazon SES ke dalam tabel basis data yang Anda buat di Langkah 3: Buat Tabel Basis Data. Anda melakukan ini dengan mengedit opsi salin di aliran pengiriman Kinesis Data Firehose.

Untuk prosedur ini, Anda harus membuat File JSONPaths. File JSONPaths adalah file teks yang menentukan cara mengurai data sumber JSON untuk perintah SALIN Amazon Redshift Kami menyediakan file JSONPaths dalam prosedur. Untuk informasi selengkapnya tentang file JSONPaths, lihat SALIN dari Format JSON dalam Panduan Developer Basis Data Amazon Redshift.

Anda mengunggah file JSONPaths ke bucket Amazon S3 yang Anda siapkan saat membuat aliran pengiriman Kinesis Data Firehose, lalu mengedit opsi SALIN aliran pengiriman Kinesis Data Firehose untuk menggunakan file JSONPaths yang Anda unggah. Langkah-langkah ini dijelaskan dalam prosedur berikut.

Untuk mengatur opsi perintah SALIN Amazon Redshift

1. Buat file JSONPaths – Di komputer Anda, buat file bernamajsonpaths.json. Salin teks berikut ke dalam file, dan kemudian simpan file.

   {
       "jsonpaths": [
           "$.mail.messageId",
           "$.eventType",
           "$.mail.sendingAccountId",
           "$.mail.timestamp",
           "$.mail.destination",
           "$.mail.tags.ses:configuration-set",
           "$.mail.tags.campaign"
       ]
   }

2. Unggah file JSONPaths ke bucket Amazon S3 – Buka Konsol Amazon S3 dan unggah file ke bucket yang Anda buat saat menyiapkan aliran pengiriman Kinesis Data Firehose di Membuat Aliran Pengiriman Kinesis Data Firehose.

3. Atur perintah SALIN dalam pengaturan aliran pengiriman Kinesis Data Firehose – Sekarang Anda memiliki informasi yang Anda perlukan untuk mengatur sintaksis perintah SALIN yang digunakan Amazon Redshift saat menempatkan data Anda di tabel yang Anda buat. Prosedur berikut menunjukkan cara memperbarui informasi perintah SALIN dalam pengaturan aliran pengiriman Kinesis Data Firehose.

   1. Buka Konsol Kinesis Data Firehose.

   2. Di bawah Aliran Pengiriman Redshift, pilih aliran pengiriman Kinesis Data Firehose yang Anda buat untuk penerbitan peristiwa Amazon SES.

   3. Pada tab Detail, pilih Edit.

   4. Di kotak Opsi SALIN Redshift, ketik teks berikut, menggantikan nilai berikut dengan nilai Anda sendiri:

      • NAMA-BUCKET-S3 – Nama bucket Amazon S3 tempat Kinesis Data Firehose menempatkan data Anda untuk diakses oleh Amazon Redshift. Anda membuat bucket ini saat menyiapkan aliran pengiriman Kinesis Data Firehose di Langkah 4: Membuat Aliran Pengiriman Kinesis Data Firehose. Contohnya adalah my-bucket.

      • DAERAH— Wilayah tempat sumber daya Amazon SES, Kinesis Data Firehose, Amazon S3, dan Amazon Redshift Anda berada. Contohnya adalah us-east-1.

      json 's3://S3-BUCKET-NAME/jsonpaths.json' region 'REGION';
      

   5. Pilih Save (Simpan).

      
      

Langkah Selanjutnya

Langkah 5: Siapkan Set Konfigurasi