A configuração padrão do Amazon MSK - Amazon Managed Streaming for Apache Kafka

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

A configuração padrão do Amazon MSK

Quando você cria um cluster do MSK sem especificar uma configuração personalizada do MSK, o Amazon MSK cria e usa uma configuração padrão com os valores apresentados na tabela a seguir. Para propriedades que não estejam nessa tabela, o Amazon MSK usará os padrões associados à sua versão do Apache Kafka. Para obter uma lista desses valores padrão, consulte Configuração do Apache Kafka.

Valores padrão de configuração
Nome Descrição Valor padrão para cluster de armazenamento sem camadas Valor padrão para cluster de armazenamento em camadas
allow.everyone.if.no.acl.found Se nenhum padrão de recurso corresponder a um recurso específico, o recurso não terá ACLs associadas. Nesse caso, se você definir essa propriedade como true, todos os usuários terão acesso ao recurso, não apenas os superusuários. true true
auto.create.topics.enable Habilita a criação automática de um tópico no servidor. false false
auto.leader.rebalance.enable Habilita o equilíbrio de líderes automáticos. Se necessário, um thread em segundo plano verifica e inicia o balanceamento do líder em intervalos regulares. true true
default.replication.factor Fatores de replicação padrão para tópicos criados automaticamente. O valor é 3 para clusters em 3 zonas de disponibilidade e 2 para clusters em 2 zonas de disponibilidade. O valor é 3 para clusters em 3 zonas de disponibilidade e 2 para clusters em 2 zonas de disponibilidade.

local.retention.bytes

O tamanho máximo dos segmentos de log locais de uma partição antes que ela exclua os segmentos antigos. Se você não definir esse valor, o sistema usará o valor de log.retention.bytes. O valor efetivo sempre deve ser menor que ou igual ao valor de log.retention.bytes. O valor padrão de -2 indica que não há limite para a retenção local. Isso corresponde à configuração de -1 para retention.ms/bytes. As propriedades local.retention.ms e local.retention.bytes são semelhantes a log.retention, pois são usadas para determinar por quanto tempo os segmentos de log devem permanecer no armazenamento local. As configurações existentes de log.retention.* são configurações de retenção para a partição do tópico. Isso inclui armazenamento local e remoto. Valores válidos: números inteiros em [-2; +Inf]

-2 para ilimitado -2 para ilimitado

local.retention.ms

O número de milissegundos para a retenção do segmento de log local antes da exclusão. Se você não definir esse valor, o Amazon MSK usará o valor de log.retention.ms. O valor efetivo sempre deve ser menor que ou igual ao valor de log.retention.bytes. O valor padrão de -2 indica que não há limite para a retenção local. Isso corresponde à configuração de -1 para retention.ms/bytes.

Os valores de local.retention.ms e local.retention.bytes são semelhantes a log.retention. O MSK usa essa configuração para determinar por quanto tempo os segmentos de log devem permanecer no armazenamento local. As configurações existentes de log.retention.* são configurações de retenção para a partição do tópico. Isso inclui armazenamento local e remoto. Os valores válidos são números inteiros maiores que 0.
-2 para ilimitado -2 para ilimitado

log.message.timestamp.difference.max.ms

A diferença máxima permitida entre o timestamp em que um agente recebe uma mensagem e o timestamp especificado na mensagem. Se log.message.timestamp.type=CreateTime, uma mensagem será rejeitada se a diferença no timestamp exceder esse limite. Essa configuração será ignorada se log.message.timestamp.type=. LogAppendTime Para evitar a repetição desnecessária e frequente de registros, a diferença máxima permitida para o carimbo de data/hora não deve ser maior que log.retention.ms. 9223372036854775807 86400000 para Kafka 2.8.2.tiered
log.segment.bytes O tamanho máximo de um único arquivo de log. 1073741824 134217728
min.insync.replicas

Quando um produtor define o valor de confirmações (as confirmações que o produtor receber o agente do Kafka) como "all" (ou "-1"), o valor em min.insync.replicas especifica o número mínimo de réplicas que devem confirmar uma gravação para que a gravação seja considerada bem-sucedida. Se esse valor não atingir esse mínimo, o produtor gera uma exceção ( NotEnoughReplicas ou NotEnoughReplicasAfterAppend).

Quando você usar os valores em min.insync.replicas e acks juntos, será possível forçar maiores garantias de durabilidade. Por exemplo, você poderia criar um tópico com um fator de replicação de 3, definir min.insync.replicas como 2 e produzir com acks de "all". Isso garante que o produtor gere uma exceção se a maioria das réplicas não receber uma gravação.

O valor é 2 para clusters em 3 zonas de disponibilidade e 1 para clusters em 2 zonas de disponibilidade. O valor é 2 para clusters em 3 zonas de disponibilidade e 1 para clusters em 2 zonas de disponibilidade.
num.io.threads O número de threads que o servidor usa para produzir solicitações, que podem incluir E/S de disco. 8 max(8, vCPUs), no qual as vCPUs dependem do tamanho da instância do agente
num.network.threads O número de threads que o servidor usa para receber solicitações da rede e enviar respostas para a rede. 5 max(5, vCPUs/2), no qual as vCPUs dependem do tamanho da instância do agente
num.partitions Número padrão de partições de log por tópico. 1 1
num.replica.fetchers O número de threads de busca usados para replicar mensagens de um agente de origem. Se você aumentar esse valor, poderá aumentar o grau de paralelismo de E/S no agente seguidor. 2 max(2, vCPUs/4), no qual as vCPUs dependem do tamanho da instância do agente

remote.log.msk.disable.policy

Usado com remote.storage.enable para desabilitar o armazenamento em camadas. Defina essa política como Excluir para indicar que os dados no armazenamento em camadas são excluídos quando você definir remote.storage.enable como falso.

N/D DELETE
remote.log.reader.threads O tamanho do pool de threads do leitor de logs remoto. Usado no agendamento de tarefas para buscar dados do armazenamento remoto. N/D max(10, vCPUs*0,67), no qual as vCPUs dependem do tamanho da instância do agente

remote.storage.enable

Se definido como verdadeiro, habilita o armazenamento em camadas (remoto) para um tópico. Desabilita o armazenamento em camadas no nível de tópico se definido como falso e se remote.log.msk.disable.policy estiver definido como Excluir. Ao desabilitar o armazenamento em camadas, você exclui dados do armazenamento remoto. Ao desabilitar o armazenamento em camadas para um tópico, não será possível habilitá-lo novamente. false verdadeiro
replica.lag.time.max.ms Se um seguidor não enviou nenhuma solicitação de busca ou se não consumiu até o deslocamento final do log do líder por pelo menos esse número de milissegundos, o líder remove o seguidor do ISR. 30000 30000

retention.ms

Campo obrigatório. O tempo mínimo é de 3 dias. Não há padrão porque a configuração é obrigatória.

O Amazon MSK usa o valor retention.ms com local.retention.ms para determinar quando os dados são movidos do armazenamento local para o armazenamento em camadas. O valor local.retention.ms especifica quando mover dados do armazenamento local para o armazenamento em camadas. O valor retention.ms especifica quando remover dados do armazenamento em camadas (ou seja, remoção do cluster). Valores válidos: números inteiros em [-1; +Inf]

Mínimo de 259.200.000 milissegundos (3 dias). Use -1 para retenção infinita. Mínimo de 259.200.000 milissegundos (3 dias). Use -1 para retenção infinita.
socket.receive.buffer.bytes O buffer SO_RCVBUF dos soquetes do servidor de soquetes. Se o valor for -1, o sistema operacional padrão será usado. 102400 102400
socket.request.max.bytes Número máximo de bytes em uma solicitação de soquete. 104857600 104857600
socket.send.buffer.bytes O buffer SO_SNDBUF dos soquetes do servidor de soquetes. Se o valor for -1, o sistema operacional padrão será usado. 102400 102400
unclean.leader.election.enable Indica se você deseja que as réplicas que não estão no conjunto ISR devem atuar como líderes em último recurso, mesmo que isso possa resultar em perda de dados. verdadeiro false
zookeeper.session.timeout.ms

O tempo limite da ZooKeeper sessão do Apache em milissegundos.

18000 18000
zookeeper.set.acl O cliente definido para usar ACLs seguras. false false

Para obter mais informações sobre como definir valores de configuração personalizada, consulte Configurações personalizadas do MSK.