Configuration Amazon MSK par défaut - Amazon Managed Streaming for Apache Kafka

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration Amazon MSK par défaut

Lorsque vous créez un cluster MSK et que vous ne spécifiez pas de configuration MSK personnalisée, Amazon MSK crée et utilise une configuration par défaut avec les valeurs indiquées dans le tableau suivant. Pour les propriétés qui ne figurent pas dans cette table, Amazon MSK utilise les valeurs par défaut associées à votre version d'Apache Kafka. Pour obtenir la liste de ces valeurs par défaut, consultez Apache Kafka Configuration.

Valeurs de la configuration par défaut
Name (Nom) Description Valeur par défaut d'un cluster de stockage non hiérarchisé Valeur par défaut d'un cluster de stockage hiérarchisé
allow.everyone.if.no.acl.found Si aucun modèle de ressource ne correspond à une ressource spécifique, la ressource n'a aucune ACL associée. Dans ce cas, si vous définissez cette propriété sur true, tous les utilisateurs peuvent accéder à la ressource, et pas seulement les super utilisateurs. true true
auto.create.topics.enable Active la création automatique d'une rubrique sur le serveur. false false
auto.leader.rebalance.enable Active l'équilibrage automatique du leader. Un thread d'arrière-plan vérifie et lance un équilibrage de leader si nécessaire à intervalles réguliers. true true
default.replication.factor Facteurs de réplication par défaut pour les rubriques créées automatiquement. 3 pour les clusters situés dans 3 zones de disponibilité et 2 pour les clusters situés dans 2 zones de disponibilité. 3 pour les clusters situés dans 3 zones de disponibilité et 2 pour les clusters situés dans 2 zones de disponibilité.

local.retention.bytes

Taille maximale des segments de journal locaux pour une partition avant la suppression des anciens segments. Si vous ne définissez pas cette valeur, la valeur de log.retention.bytes est utilisée. La valeur effective doit toujours être inférieure ou égale à la valeur de log.retention.bytes. Une valeur par défaut de -2 signifie qu'aucune limite n'est appliquée à la conservation locale. Cela correspond au paramètre retention.ms/bytes de -1. Les propriétés local.retention.ms et local.retention.bytes sont similaires à log.retention, car elles sont utilisées pour déterminer la durée pendant laquelle les segments de journal doivent être conservés dans le stockage local. Les configurations log.retention.* existantes sont des configurations de conservation pour la partition de la rubrique. Cela inclut le stockage local et distant. Valeurs valides : nombres entiers compris entre [-2 ; +Inf]

-2 pour un nombre illimité -2 pour un nombre illimité

local.retention.ms

Nombre de millisecondes pour retenir le segment de journal local avant sa suppression. Si vous ne définissez pas cette valeur, Amazon MSK utilise la valeur de log.retention.ms. La valeur effective doit toujours être inférieure ou égale à la valeur de log.retention.bytes. Une valeur par défaut de -2 signifie qu'aucune limite n'est appliquée à la conservation locale. Cela correspond au paramètre retention.ms/bytes de -1.

Les valeurs local.retention.ms et local.retention.bytes sont similaires à celles de log.retention. MSK utilise cette configuration pour déterminer la durée pendant laquelle les segments de journal doivent être conservés dans le stockage local. Les configurations log.retention.* existantes sont des configurations de conservation pour la partition de la rubrique. Cela inclut le stockage local et distant. Les valeurs valides sont des nombres entiers supérieurs à 0.
-2 pour un nombre illimité -2 pour un nombre illimité

log.message.timestamp.difference.max.ms

Différence maximale autorisée entre l'horodatage lorsqu'un broker reçoit un message et l'horodatage spécifié dans le message. Si log.message.timestamp.type=CreateTime, un message sera rejeté si la différence d'horodatage dépasse ce seuil. Cette configuration est ignorée si LogAppendTime log.message.timestamp.type=. La différence d'horodatage maximale autorisée ne doit pas être supérieure à log.retention.ms afin d'éviter la propagation de journaux inutilement fréquente. 9223372036854775807 86400000 pour Kafka 2.8.2.tiered
log.segment.bytes Taille maximale d'un seul fichier journal. 1073741824 134217728
min.insync.replicas

Lorsqu'un producteur définit la valeur de acks (accusé de réception reçu par le producteur de l'agent Kafka) sur "all" (ou "-1"), la valeur de min.insync.replicas spécifie le nombre minimum de réplicas qui doivent reconnaître une écriture pour que celle-ci soit considérée comme réussie. Si cette valeur n'atteint pas ce minimum, le producteur déclenche une exception ( NotEnoughReplicas ou NotEnoughReplicasAfterAppend).

Lorsque vous utilisez les valeurs de min.insync.replicas et acks ensemble, vous pouvez appliquer de meilleures garanties de durabilité. Par exemple, vous pouvez créer une rubrique avec un facteur de réplication de 3, définir min.insync.replicas sur 2 et produire avec des acks de "all". Cela garantit que le producteur déclenche une exception si la majorité des réplicas ne reçoivent pas d'écriture.

2 pour les clusters situés dans 3 zones de disponibilité et 1 pour les clusters situés dans 2 zones de disponibilité. 2 pour les clusters situés dans 3 zones de disponibilité et 1 pour les clusters situés dans 2 zones de disponibilité.
num.io.threads Nombre de threads utilisés par le serveur pour produire des demandes, qui peuvent inclure des E/S de disque. 8 max (8, vCPU) où les vCPU dépendent de la taille d'instance de l'agent
num.network.threads Nombre de threads que le serveur utilise pour recevoir des demandes du réseau et lui envoyer des réponses. 5 max (5, vCPU / 2) où les vCPU dépendent de la taille d'instance de l'agent
num.partitions Nombre par défaut de partitions de journal par rubrique. 1 1
num.replica.fetchers Nombre de threads de récupération utilisés pour répliquer les messages provenant d'un agent source. Si vous augmentez cette valeur, vous pouvez augmenter le degré de parallélisme des E/S dans l'agent suiveur. 2 max (2, vCPU / 4) où les vCPU dépendent de la taille d'instance de l'agent

remote.log.msk.disable.policy

Utilisé avec remote.storage.enable pour désactiver le stockage hiérarchisé. Définissez cette politique sur Supprimer, pour indiquer que les données du stockage hiérarchisé sont supprimées lorsque vous définissez remote.storage.enable sur false.

N/A DELETE
remote.log.reader.threads Taille du pool de threads du lecteur de journaux distant, qui est utilisée pour planifier des tâches visant à récupérer des données à partir d'un stockage distant. N/A max (10, vCPU * 0,67) où les vCPU dépendent de la taille d'instance de l'agent

remote.storage.enable

Active le stockage (distant) hiérarchisé pour une rubrique s'il est défini sur true. Désactive le stockage hiérarchisé au niveau de la rubrique s'il est défini sur false et remote.log.msk.disable.policy est défini sur Supprimer. Lorsque vous désactivez le stockage hiérarchisé, vous supprimez les données du stockage distant. Lorsque vous désactivez le stockage hiérarchisé pour une rubrique, vous ne pouvez pas le réactiver. false true
replica.lag.time.max.ms Si un suiveur n'a envoyé aucune demande d'extraction ou n'a pas consommé le décalage de fin existant avec le journal du leader pendant au moins ce nombre de millisecondes, le leader supprime le suiveur de l'ISR. 30 000 30 000

retention.ms

Champ obligatoire. La durée minimale est de 3 jours. Le paramètre étant obligatoire, il n'y a pas de valeur par défaut.

Amazon MSK utilise la valeur retention.ms avec local.retention.ms pour déterminer à quel moment les données sont transférées du stockage local vers le stockage hiérarchisé. La valeur local.retention.ms indique quand déplacer les données du stockage local vers le stockage hiérarchisé. La valeur retention.ms indique à quel moment les données doivent être supprimées du stockage hiérarchisé (c'est-à-dire lorsqu'elles sont supprimées du cluster). Valeurs valides : nombres entiers compris entre [-1 ; +Inf]

Minimum 259 200 000 millisecondes (3 jours). -1 pour une conservation illimitée. Minimum 259 200 000 millisecondes (3 jours). -1 pour une conservation illimitée.
socket.receive.buffer.bytes Tampon SO_RCVBUF tampon des sockets de serveur de socket. Si la valeur est -1, le système d'exploitation par défaut est utilisé. 102400 102400
socket.request.max.octets Nombre maximal d'octets dans une requête socket. 104857600 104857600
socket.send.buffer.bytes Tampon SO_SNDBUF des sockets de serveur de socket. Si la valeur est -1, le système d'exploitation par défaut est utilisé. 102400 102400
unclean.leader.election.enable Indique si vous souhaiter que les réplicas ne figurant pas dans l'ensemble ISR servent de leader en dernier recours, même si cela peut entraîner une perte de données. vrai false
zookeeper.session.timeout.ms

Le délai d'expiration de ZooKeeper la session Apache en millisecondes.

18000 18000
zookeeper.set.acl Client défini pour utiliser des listes de contrôle d'accès (ACL) sécurisées. false false

Pour de plus amples informations sur la définition de valeurs de configuration personnalisées, consultez Configurations MSK personnalisées.