Menulis ke Amazon Data Firehose Menggunakan Kinesis Data Streams

Anda dapat mengonfigurasi Amazon Kinesis Data Streams untuk mengirim informasi ke aliran Firehose.

penting

Jika Anda menggunakan Kinesis Producer Library (KPL) untuk menulis data ke aliran data Kinesis, Anda dapat menggunakan agregasi untuk menggabungkan catatan yang Anda tulis ke aliran data Kinesis tersebut. Jika Anda kemudian menggunakan aliran data tersebut sebagai sumber untuk aliran Firehose Anda, Amazon Data Firehose menghapus agregasi catatan sebelum mengirimkannya ke tujuan. Jika Anda mengonfigurasi aliran Firehose untuk mengubah data, Amazon Data Firehose melakukan de-agregasi catatan sebelum mengirimkannya. AWS Lambda Untuk informasi selengkapnya, lihat Mengembangkan Produsen Amazon Kinesis Data Streams Menggunakan Kinesis Producer Library dan Agregasi.

1. Masuk ke AWS Management Console dan buka konsol Amazon Data Firehose di https://console.aws.amazon.com/firehose/.

2. Pilih Buat aliran Firehose. Pada halaman Nama dan sumber, berikan nilai untuk bidang berikut:

   Nama aliran Firehose

   Nama aliran Firehose Anda.

   Sumber

   Pilih aliran Kinesis untuk mengonfigurasi aliran Firehose yang menggunakan aliran data Kinesis sebagai sumber data. Anda kemudian dapat menggunakan Amazon Data Firehose untuk membaca data dengan mudah dari aliran data yang ada dan memuatnya ke tujuan.

   Untuk menggunakan aliran data Kinesis sebagai sumber, pilih aliran yang ada di daftar Aliran Kinesis, atau pilih Buat baru untuk membuat aliran data Kinesis baru. Setelah membuat aliran baru, pilih Segarkan untuk memperbarui daftar Aliran Kinesis. Jika Anda memiliki sejumlah besar aliran, filter daftar menggunakan Filter berdasarkan nama.

   catatan

   Saat Anda mengonfigurasi aliran data Kinesis sebagai sumber aliran Firehose, Firehose dan operasi Amazon Data akan dinonaktifkan. PutRecord PutRecordBatch Untuk menambahkan data ke aliran Firehose Anda dalam kasus ini, gunakan Kinesis Data Streams dan operasi. PutRecord PutRecords

   Amazon Data Firehose mulai membaca data dari LATEST posisi aliran Kinesis Anda. Untuk informasi selengkapnya tentang posisi Kinesis Data Streams, lihat. GetShardIterator

   Amazon Data Firehose memanggil operasi Kinesis Data GetRecordsStreams sekali per detik untuk setiap pecahan. Namun, ketika pencadangan penuh diaktifkan, Firehose memanggil operasi Kinesis Data GetRecords Streams dua kali per detik untuk setiap pecahan, satu untuk tujuan pengiriman utama dan satu lagi untuk pencadangan penuh.

   Lebih dari satu aliran Firehose dapat membaca dari aliran Kinesis yang sama. Aplikasi Kinesis lainnya (konsumen) juga dapat membaca dari aliran yang sama. Setiap panggilan dari aliran Firehose atau aplikasi konsumen lainnya dihitung terhadap batas pelambatan keseluruhan untuk pecahan. Untuk menghindari throttling, rencanakan aplikasi Anda dengan hati-hati. Untuk informasi selengkapnya tentang batas Kinesis Data Streams, lihat Batas Amazon Kinesis Streams.

3. Pilih Selanjutnya untuk pergi ke halaman Konfigurasikan transformasi rekaman dan konversi format.