View a markdown version of this page

Mengelola throughput dengan kuota Kafka - Amazon Managed Streaming untuk Apache Kafka

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengelola throughput dengan kuota Kafka

Karena MSK Replicator bertindak sebagai konsumen untuk cluster sumber Anda, replikasi dapat menyebabkan konsumen lain terhambat pada cluster sumber Anda. Jumlah pelambatan tergantung pada kapasitas baca yang Anda miliki di cluster sumber Anda dan throughput data yang Anda replikasi.

Anda dapat mengatur kuota Kafka untuk Replicator pada sumber dan kluster target Anda untuk mengontrol berapa banyak kapasitas yang dapat digunakan oleh Replikator MSK. Direkomendasikan kuota bandwidth jaringan. Kuota bandwidth jaringan mendefinisikan ambang batas byte, didefinisikan sebagai byte per detik, untuk satu atau lebih klien yang berbagi kuota. Kuota ini didefinisikan berdasarkan per-broker.

Ikuti langkah-langkah berikut untuk menerapkan kuota:

  1. Ambil string server bootstrap untuk cluster sumber. Lihat Dapatkan broker bootstrap untuk cluster MSK Amazon.

  2. Ambil peran eksekusi layanan (SER) yang digunakan oleh MSK Replicator. Ini adalah SER yang Anda gunakan untuk CreateReplicator permintaan. Anda juga dapat menarik SER dari DescribeReplicator respons.

  3. Menggunakan alat Kafka CLI, jalankan perintah berikut terhadap cluster sumber:

    ./kafka-configs.sh --bootstrap-server <source-cluster-bootstrap-server> \
  --alter \
  --add-config 'consumer_byte_rate=<quota_in_bytes_per_second>' \
  --entity-type users \
  --entity-name arn:aws:sts::<customer-account-id>:assumed-role/<ser-role-name>/<customer-account-id> \
  --command-config <client-properties-for-iam-auth>

  4. Setelah menjalankan perintah, verifikasi bahwa ReplicatorThroughput metrik tidak melewati kuota yang telah Anda tetapkan.

Jika Anda menggunakan kembali peran eksekusi layanan antara beberapa Replikator MSK, mereka semua tunduk pada kuota ini. Jika Anda ingin mempertahankan kuota terpisah per Replicator, gunakan peran eksekusi layanan terpisah.

Untuk informasi lebih lanjut tentang menggunakan otentikasi MSK IAM dengan kuota, lihat Multi-tenancy Apache Kafka cluster di Amazon MSK dengan kontrol akses IAM dan Kafka Quota - Bagian 1.

Awas

Menyetel yang sangat rendah consumer_byte_rate dapat menyebabkan Replikator MSK Anda bertindak dengan cara yang tidak terduga.