Menggunakan fan-out yang disempurnakan dalam pekerjaan streaming Kinesis - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan fan-out yang disempurnakan dalam pekerjaan streaming Kinesis

Konsumen fan-out yang ditingkatkan dapat menerima catatan dari aliran Kinesis dengan throughput khusus yang bisa lebih besar daripada konsumen biasa. Ini dilakukan dengan mengoptimalkan protokol transfer yang digunakan untuk memberikan data kepada konsumen Kinesis, seperti pekerjaan Anda. Untuk informasi lebih lanjut tentang Kinesis Enhanced Fan-Out, lihat dokumentasi Kinesis.

Dalam mode fan-out yang disempurnakan, opsi maxRecordPerRead dan idleTimeBetweenReadsInMs koneksi tidak lagi berlaku, karena parameter tersebut tidak dapat dikonfigurasi saat menggunakan fan-out yang disempurnakan. Opsi konfigurasi untuk percobaan ulang berfungsi seperti yang dijelaskan.

Gunakan prosedur berikut untuk mengaktifkan dan menonaktifkan fan-out yang disempurnakan untuk pekerjaan streaming Anda. Anda harus mendaftarkan pengguna streaming untuk setiap pekerjaan yang akan menggunakan data dari aliran Anda.

Untuk mengaktifkan peningkatan konsumsi fan-out pada pekerjaan Anda:
  1. Daftarkan konsumen streaming untuk pekerjaan Anda menggunakan Kinesis API. Ikuti petunjuk untuk mendaftarkan konsumen dengan fan-out yang disempurnakan menggunakan Kinesis Data Streams API dalam dokumentasi Kinesis. Anda hanya perlu mengikuti langkah pertama - menelepon RegisterStreamConsumer. Permintaan Anda harus mengembalikan ARN, ConsumerARN.

  2. Setel opsi koneksi fanoutConsumerARN ke consumerArn dalam argumen metode koneksi Anda.

  3. Mulai ulang pekerjaan Anda.

Untuk menonaktifkan peningkatan konsumsi fan-out pada pekerjaan Anda:
  1. Hapus opsi fanoutConsumerARN koneksi dari panggilan metode Anda.

  2. Mulai ulang pekerjaan Anda.

  3. Ikuti instruksi untuk membatalkan pendaftaran konsumen dalam dokumentasi Kinesis. Instruksi ini berlaku untuk konsol, tetapi juga dapat dicapai melalui Kinesis API. Untuk informasi lebih lanjut tentang deregistrasi konsumen streaming melalui Kinesis API, lihat di dokumentasi Kinesis. DeregisterStreamConsumer