View a markdown version of this page

Kafka クォータによるスループットの管理 - Amazon Managed Streaming for Apache Kafka

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Kafka クォータによるスループットの管理

MSK レプリケーターはソースクラスターのコンシューマーとして機能するため、レプリケーションによってソースクラスター上の他のコンシューマーがスロットルされる可能性があります。スロットリングの量は、ソースクラスターの読み取り容量とレプリケートするデータのスループットによって異なります。

ソースクラスターとターゲットクラスターでレプリケーターの Kafka クォータを設定して、MSK レプリケーターが使用できる容量を制御できます。ネットワーク帯域幅クォータが推奨されます。ネットワーク帯域幅クォータは、クォータを共有する 1 つ以上のクライアントに対して、バイトレートのしきい値 (1 秒あたりのバイト数) を定義します。このクォータはブローカーごとに定義されます。

クォータを適用するには、次の手順に従います。

  1. ソースクラスターのブートストラップサーバー文字列を取得します。「Amazon MSK クラスターのブートストラップブローカーを取得する」を参照してください。

  2. MSK レプリケーターが使用するサービス実行ロール (SER) を取得します。これは CreateReplicator リクエストに使用した SER です。DescribeReplicator レスポンスから SER をプルすることもできます。

  3. Kafka CLI ツールを使用して、ソースクラスターに対して次のコマンドを実行します。

    ./kafka-configs.sh --bootstrap-server <source-cluster-bootstrap-server> \
  --alter \
  --add-config 'consumer_byte_rate=<quota_in_bytes_per_second>' \
  --entity-type users \
  --entity-name arn:aws:sts::<customer-account-id>:assumed-role/<ser-role-name>/<customer-account-id> \
  --command-config <client-properties-for-iam-auth>

  4. コマンドを実行した後、ReplicatorThroughputメトリクスが設定したクォータを超えていないことを確認します。

複数の MSK レプリケーター間でサービス実行ロールを再利用する場合、それらはすべてこのクォータの対象となります。レプリケーターごとに個別のクォータを維持する必要がある場合は、個別のサービス実行ロールを使用します。

MSK IAM 認証とクォータの使用に関する詳細については、「Multi-tenancy Apache Kafka clusters in Amazon MSK with IAM access control and Kafka Quotas – Part 1」を参照してください。

警告

を極端に低く設定するとconsumer_byte_rate、MSK レプリケーターが予期しない方法で動作する可能性があります。