Amazon MSK 設定 - Amazon Managed Streaming for Apache Kafka

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon MSK 設定

MSK クラスターを作成し、カスタム MSK 設定を指定しない場合、Amazon MSK は、次の表に示す値を使用してデフォルト設定を作成して使用します。このテーブルにないプロパティの場合、Amazon MSK はご使用のバージョンの Apache Kafka に関連付けられているデフォルトを使用します。これらのデフォルト値のリストについては、Apache Kafka の設定を参照してください。

デフォルト設定値
名前 説明 デフォルト値
allow.everyone.if.no.acl.found 特定のリソースに一致するリソースパターンがない場合、リソースには ACL が関連付けられていません。この場合、このプロパティを true に設定すると、スーパーユーザーだけでなく、誰でもリソースにアクセスできます。 true
auto.create.topics.enable サーバー上のトピックの自動作成を有効にします。 false
auto.leader.rebalance.enable 自動リーダーバランシングを有効にします。バックグラウンドスレッドは、必要に応じて定期的にリーダーバランスをチェックして開始します。 true
default.replication.factor 自動的に作成されるトピックのデフォルトのレプリケーション係数。 3-AZ クラスターの場合は 3、2-AZ クラスターの場合は 2

ローカル.リテンション.バイト

古いセグメントを削除する前の、パーティションのローカルログセグメントの最大サイズ。この値を設定しない場合は、log.retention.bytes の値が使用されます。有効な値は、常に log.retention.bytes 値以下である必要があります。デフォルト値の -2 は、ローカルリテンションに制限がないことを示します。これは retention.ms/bytes 設定の -1 に対応しています。local.retention.ms と local.retention.bytes のプロパティは log.retention に似ています。この設定は、ログセグメントをローカルストレージに残す時間を決定するために使用されます。既存の log.retention.* 設定は、トピックパーティションの保存設定です。これには、ローカルストレージとリモートストレージの両方が含まれます。有効な値:[-2; +Inf] の整数

-2 (無制限)

local.retention.ms

ローカルログセグメントが削除されるまでに保持するミリ秒数。この値を設定しない場合は、log.retention.ms の値が使用されます。有効な値は、常に log.retention.bytes 値以下である必要があります。デフォルト値の -2 は、ローカルリテンションに制限がないことを示します。これは、リテンション.ms/bytes が -1 に設定されていることに相当します。

local.retention.ms と local.retention.bytes の値は log.retention に似ています。この設定は、ログセグメントをローカルストレージに残す時間を決定するために使用されます。既存の log.retention.* 設定は、トピックパーティションの保存設定です。これには、ローカルストレージとリモートストレージの両方が含まれます。有効な値:> 0
-2 (無制限)
min.insync.replicas

プロデューサーが ACK の値をまたは"all""-1") に設定した場合、min.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in.in. この値がこの最小値を満たさない場合、プロデューサは例外を発生させます ( NotEnoughReplicas または NotEnoughReplicasAfterAppend)。

min.insync.replicas と acks の値を一緒に使用すると、より優れた耐久性を保証できます。たとえば、レプリケーション係数が 3 のトピックを作成し、min.insync.replicas を 2 に設定し、それから ack を 2"all" に設定して作成することができます。これにより、大部分のレプリカが書き込みを受け取らない場合、プロデューサーが例外を発生させることができます。

3-AZ クラスターの場合は 2、2-AZ クラスターの場合は 1
num.io.threads サーバーがリクエストを生成するために使用するスレッドの数。これには、ディスク I/O が含まれる場合があります。 8
num.network.threads サーバーがネットワークからの要求を受信し、応答をネットワークに送信するために使用するスレッドの数。 5
num.partitions トピックごとのログパーティションのデフォルト数。 1
num.replica.fetchers ソースブローカーからのメッセージを複製するために使用されるフェッチャースレッドの数。この値を増やすと、フォロワーブローカーの入出力並列度を高めることができます。 2

remote.log.msk.disable.policy

remote.storage.enable とともに使用すると、階層型ストレージが無効になります。このポリシーを「削除」に設定すると、remote.storage.enable を false に設定したときに階層型ストレージ内のデータが削除されるようになります。

DELETE

リモート. ストレージ. イネーブル

true に設定すると、トピックの階層化 (リモート) ストレージが有効になります。false に設定し、remote.log.msk.disable.policy が Delete に設定されている場合、トピックレベルの階層化ストレージを無効にします。階層型ストレージを無効にすると、リモートストレージからデータが削除されます。トピックの階層型ストレージを無効にすると、再度有効にすることはできません。 false
replica.lag.time.max.ms フォロワーがフェッチリクエストを送信していないか、またはリーダーのログ終了オフセットまでこのミリ秒数以上消費されていない場合、リーダーはフォロワーを ISR から削除します。 30000

retention.ms

必須のフィールド。最短期間は 3 日です。設定は必須なので、デフォルトはありません。

Amazon MSK は local.retention.ms の値を使用して、データがローカルストレージから階層型ストレージに移動するタイミングを決定します。local.retention.ms の値は、ローカルストレージから階層型ストレージにデータを移動するタイミングを指定します。retention.ms の値は、階層型ストレージからデータを削除する (つまり、クラスターから削除する) タイミングを指定します。有効な値:[-1; +Inf] の整数

最小 259,200,000 ミリ秒 (3 日間)。無限リテンションの場合は -1。
socket.receive.buffer.bytes ソケットサーバーソケットの SO_RCVBUF バッファー。値が -1 の場合、OS のデフォルトが使用されます。 102400
socket.request.max.bytes ソケットリクエストの最大バイト数。 104857600
socket.send.buffer.bytes ソケットサーバーソケットの SO_SNDBUF バッファー。値が -1 の場合、OS のデフォルトが使用されます。 102400
unclean.leader.election.enable ISR セットに含まれていないレプリカを最終手段として、リーダーとして使用するかどうかを指定します。ただし、そうするとデータが失われる可能性があります。 true
zookeeper.session.timeout.ms

Apache ZooKeeper セッションのタイムアウト (ミリ秒単位)。

18000
zookeeper.set.acl クライアントはセキュア ACL を使用するように設定します。 false

カスタム設定値の指定方法については、「」を参照してください[MSK 設定] MSK 設定