Configuraciones de broker MSK Express personalizadas (acceso de lectura/escritura)

Puede actualizar las configuraciones de los corredores de lectura/escritura mediante la función de configuración de actualizaciones de Amazon MSK o mediante la API de Apache Kafka. AlterConfig Las configuraciones de los brókers de Apache Kafka son estáticas o dinámicas. Las configuraciones estáticas requieren un reinicio del broker para poder aplicar la configuración, mientras que las configuraciones dinámicas no necesitan un reinicio del broker. Para obtener más información sobre las propiedades de configuración y los modos de actualización, consulte Actualización de las configuraciones del broker.

Configuraciones estáticas en los corredores de MSK Express

Puede usar Amazon MSK para crear un archivo de configuración de MSK personalizado para establecer las siguientes propiedades estáticas. Amazon MSK establece y administra todas las demás propiedades que usted no establece. Puede crear y actualizar archivos de configuración estáticos desde la consola de MSK o mediante el comando configuration.

Configuraciones de lectura/escritura (editables) de Express Brokers: propiedades estáticas

Propiedad	Descripción	Valor predeterminado
allow.everyone.if.no.acl.found	Si desea establecer esta propiedad en false, primero asegúrese de definir Apache Kafka ACLs para su clúster. Si establece esta propiedad en false y no define primero Apache Kafka ACLs, perderá el acceso al clúster. Si eso ocurre, puede volver a actualizar la configuración y establecer esta propiedad en true para recuperar el acceso al clúster.	true
auto.create.topics.enable	Habilita la creación automática de un tema en el servidor.	false
compression.type	Especifique el tipo de compresión final para un tema determinado. Esta configuración acepta los códecs de compresión estándar: gzip, snappy, lz4, zstd. Esta configuración también aceptauncompressed, lo que equivale a no comprimir, yproducer, lo que significa conservar el códec de compresión original establecido por el fabricante.	Apache Kafka es el predeterminado
connections.max.idle.ms	Tiempo de espera de las conexiones inactivas en milisegundos. Los subprocesos del procesador del socket del servidor cierran las conexiones que están inactivas durante un tiempo superior al valor establecido para esta propiedad.	Apache Kafka es el valor predeterminado
delete.topic.enable	Habilita la operación para eliminar un tema. Si desactiva esta configuración, no podrá eliminar un tema usando la herramienta de administración.	Apache Kafka es el valor predeterminado
group.initial.rebalance.delay.ms	Cantidad de tiempo que el coordinador del grupo espera para que otros consumidores de datos se unan a un nuevo grupo antes de que el coordinador del grupo lleve a cabo el primer reequilibrio. Un retraso superior implica posiblemente menos reequilibrios, pero aumenta el tiempo hasta que el procesamiento comience.	Apache Kafka es el valor predeterminado
group.max.session.timeout.ms	Tiempo de espera máximo de la sesión para los consumidores registrados. Unos tiempos de espera superiores proporcionan a los consumidores más tiempo para procesar los mensajes entre latidos, pero se requiere más tiempo para detectar errores.	Apache Kafka es el valor predeterminado
leader.imbalance.per.broker.percentage	La proporción de desequilibrio del líder permitida por agente. El controlador desencadena un equilibrio del líder si supera este valor por agente. Este valor se especifica en porcentaje.	Apache Kafka es el valor predeterminado
log.cleanup.policy	La política de limpieza predeterminada de los segmentos que superan el periodo de retención. Una lista de políticas válidas separadas por comas. Las políticas válidas son delete y compact. En el caso de los clústeres habilitados para el almacenamiento por niveles, la política válida es únicamente. delete	Apache Kafka es el valor predeterminado
log.message.timestamp.after.max.ms	La diferencia de marca de tiempo permitida entre la marca de tiempo del mensaje y la marca de tiempo del corredor. La marca de tiempo del mensaje puede ser posterior o igual a la marca de tiempo del corredor, con la diferencia máxima permitida determinada por el valor establecido en esta configuración. Silog.message.timestamp.type=CreateTime, el mensaje se rechazará si la diferencia en las marcas de tiempo supera este umbral especificado. Esta configuración se ignora si. log.message.timestamp.type=LogAppendTime	86400000 (24 * 60 * 60 * 1000 ms, es decir, 1 día)
log.message.timestamp.before.max.ms	La diferencia de marca de tiempo permitida entre la marca de tiempo del corredor y la marca de tiempo del mensaje. La marca de tiempo del mensaje puede ser anterior o igual a la marca de tiempo del corredor, con la diferencia máxima permitida determinada por el valor establecido en esta configuración. Silog.message.timestamp.type=CreateTime, el mensaje se rechazará si la diferencia en las marcas de tiempo supera este umbral especificado. Esta configuración se ignora si. log.message.timestamp.type=LogAppendTime	86400000 (24 * 60 * 60 * 1000 ms, es decir, 1 día)
log.message.timestamp.type	Especifica si la marca temporal del mensaje es la hora de creación del mensaje o la hora de adición del registro. Los valores permitidos son CreateTime y LogAppendTime.	Apache Kafka es el predeterminado
log.retention.bytes	Tamaño máximo del registro antes de eliminarlo.	Apache Kafka es el valor predeterminado
log.retention.ms	Número de milisegundos que se debe conservar un archivo de registro antes de eliminarlo.	Apache Kafka es el valor predeterminado
max.connections.per.ip	El número máximo de conexiones permitidas desde cada dirección IP. Se puede configurar 0 si hay anulaciones configuradas mediante la max.connections.per.ip.overrides propiedad. Si se alcanza el límite, se eliminan las conexiones nuevas desde la dirección IP.	Apache Kafka es el valor predeterminado
max.incremental.fetch.session.cache.slots	Número máximo de sesiones de recuperación incrementales que se conservan.	Apache Kafka es el valor predeterminado
message.max.bytes	Tamaño de lote de registros más grande que admite Kafka. Si aumenta este valor y hay consumidores anteriores a 0.10.2, también debe aumentar el tamaño de recuperación de los consumidores para que se puedan recuperar lotes de registros de este tamaño. La versión de formato de mensaje más reciente siempre agrupa los mensajes en lotes para aumentar la eficacia. Las versiones de formato de mensaje anteriores no agrupan los registros sin comprimir en lotes y, en este caso, este límite se aplica únicamente a un solo registro. Puede establecer este valor por tema con la max.message.bytes configuración a nivel de tema.	Apache Kafka es el predeterminado
num.partitions	Número predeterminado de particiones por tema.	1
offsets.retention.minutes	Después de que un grupo de consumidores pierda todos sus consumidores (es decir, se quede vacío), sus compensaciones se conservan durante este periodo de retención antes de que se descarten. Para los consumidores independientes (es decir, aquellos que utilizan la asignación manual), las compensaciones caducan después de la última confirmación más este período de retención.	Apache Kafka es el predeterminado
replica.fetch.max.bytes	Número de bytes de los mensajes para intentar recuperar cada partición. Esto no es un valor máximo absoluto. Si el primer lote de registros de la primera partición que no está vacía de la recuperación es superior a este valor, el lote de registros se devuelve para asegurar el progreso. Las propiedades message.max.bytes (configuración del agente) o max.message.bytes (configuración del tema) definen el tamaño de lote de registro máximo que acepta el agente.	Apache Kafka es el valor predeterminado
replica.selector.class	El nombre de clase totalmente cualificado que se implementa. ReplicaSelector El agente utiliza este valor para encontrar la réplica de lectura preferida. Si quiere permitir a los consumidores realizar búsquedas desde la réplica más cercana, defina esta propiedad en. org.apache.kafka.common.replica.RackAwareReplicaSelector	Apache Kafka es el valor predeterminado
socket.receive.buffer.bytes	El búfer SO_RCVBUF de los sockets del servidor de sockets. Si el valor es -1, se utiliza el sistema operativo predeterminado.	102400
socket.request.max.bytes	Número máximo de bytes de una solicitud de conector.	104857600
socket.send.buffer.bytes	El búfer SO_SNDBUF de los sockets del servidor de sockets. Si el valor es -1, se utiliza el sistema operativo predeterminado.	102400
transaction.max.timeout.ms	Tiempo de espera máximo para las transacciones. Si el tiempo de transacción solicitado por un cliente supera este valor, el bróker devuelve un error. InitProducerIdRequest Esto evita que un cliente experimente un tiempo de espera demasiado grande, lo que puede detener la lectura de los temas que se incluyen en la transacción por parte de los consumidores.	Apache Kafka es el predeterminado
transactional.id.expiration.ms	El tiempo en milisegundos que el coordinador de transacciones espera para recibir cualquier actualización del estado de la transacción actual antes de que venza el ID de la transacción del coordinador. Esta configuración también influye en la caducidad del ID de productor porque hace que el productor IDs caduque cuando este tiempo transcurre después de la última escritura con el ID de productor indicado. El productor IDs puede caducar antes si se elimina la última escritura del ID de productor debido a la configuración de retención del tema. El valor mínimo de esta propiedad es de 1 milisegundo.	Apache Kafka es el predeterminado

Configuraciones dinámicas en Express Brokers

Puede utilizar la AlterConfig API de Apache Kafka o la herramienta Kafka-configs.sh para editar las siguientes configuraciones dinámicas. Amazon MSK establece y administra todas las demás propiedades que usted no establece. Puede establecer dinámicamente las propiedades de configuración a nivel de clúster y a nivel de broker que no requieren el reinicio del broker.

Configuraciones dinámicas de Express Brokers

Propiedad	Descripción	Valor predeterminado
anunciado.oyentes	Los oyentes se publicarán para que los usen los clientes, si son diferentes de la propiedad de configuración. listeners En los entornos de IaaS, es posible que sea diferente de la interfaz a la que se vincula el bróker. Si no está establecido, se utilizará el valor para los oyentes. A diferencia de los oyentes, no es válido anunciar la metadirección 0.0.0.0. Por otra partelisteners, esta propiedad también puede tener puertos duplicados, de modo que se puede configurar un oyente para que anuncie la dirección de otro oyente. Esto puede resultar útil en algunos casos en los que se utilizan balanceadores de carga externos. Esta propiedad se establece a nivel de bróker.	null
compression.type	El tipo de compresión final para un tema determinado. Puede establecer esta propiedad en los códecs de compresión estándar (gzip, snappy, lz4 y zstd). Además, acepta uncompressed. Este valor equivale a la ausencia de compresión. Si establece el valor en producer, se retendrá el códec de compresión original que configuró el productor.	Apache Kafka es el valor predeterminado
log.cleanup.policy	La política de limpieza predeterminada de los segmentos que superan el periodo de retención. Una lista de políticas válidas separadas por comas. Las políticas válidas son delete y compact. En el caso de los clústeres habilitados para el almacenamiento por niveles, la política válida es únicamente. delete	Apache Kafka es el valor predeterminado
log.message.timestamp.after.max.ms	La diferencia de marca de tiempo permitida entre la marca de tiempo del mensaje y la marca de tiempo del corredor. La marca de tiempo del mensaje puede ser posterior o igual a la marca de tiempo del corredor, con la diferencia máxima permitida determinada por el valor establecido en esta configuración. Silog.message.timestamp.type=CreateTime, el mensaje se rechazará si la diferencia en las marcas de tiempo supera este umbral especificado. Esta configuración se ignora si. log.message.timestamp.type=LogAppendTime	86400000 (24 * 60 * 60 * 1000 ms, es decir, 1 día)
log.message.timestamp.before.max.ms	La diferencia de marca de tiempo permitida entre la marca de tiempo del corredor y la marca de tiempo del mensaje. La marca de tiempo del mensaje puede ser anterior o igual a la marca de tiempo del corredor, con la diferencia máxima permitida determinada por el valor establecido en esta configuración. Silog.message.timestamp.type=CreateTime, el mensaje se rechazará si la diferencia en las marcas de tiempo supera este umbral especificado. Esta configuración se ignora si. log.message.timestamp.type=LogAppendTime	86400000 (24 * 60 * 60 * 1000 ms, es decir, 1 día)
log.message.timestamp.type	Especifica si la marca temporal del mensaje es la hora de creación del mensaje o la hora de adición del registro. Los valores permitidos son CreateTime y LogAppendTime.	Apache Kafka es el predeterminado
log.retention.bytes	Tamaño máximo del registro antes de eliminarlo.	Apache Kafka es el valor predeterminado
log.retention.ms	Número de milisegundos que se debe conservar un archivo de registro antes de eliminarlo.	Apache Kafka es el valor predeterminado
max.connection.creation.rate	La velocidad máxima de creación de conexiones permitida por el bróker en cualquier momento.	Apache Kafka es el valor predeterminado
número máximo de conexiones	El número máximo de conexiones permitidas en el bróker en cualquier momento. Este límite se aplica además de cualquier límite por IP configurado mediantemax.connections.per.ip.	Apache Kafka (predeterminado)
max.connections.per.ip	El número máximo de conexiones permitidas desde cada dirección IP. Se puede configurar 0 si hay anulaciones configuradas mediante la propiedad max.connections.per.ip.overrides. Si se alcanza el límite, se eliminan las conexiones nuevas desde la dirección IP.	Apache Kafka es el valor predeterminado
max.connections.per.ip.overrides	Una lista separada por comas por IP o nombre de host reemplaza el número máximo de conexiones predeterminado. Un ejemplo de valor es hostName:100,127.0.0.1:200	El valor predeterminado de Apache Kafka
message.max.bytes	Tamaño de lote de registros más grande que admite Kafka. Si aumenta este valor y hay consumidores anteriores a 0.10.2, también debe aumentar el tamaño de recuperación de los consumidores para que se puedan recuperar lotes de registros de este tamaño. La versión de formato de mensaje más reciente siempre agrupa los mensajes en lotes para aumentar la eficacia. Las versiones de formato de mensaje anteriores no agrupan los registros sin comprimir en lotes y, en este caso, este límite se aplica únicamente a un solo registro. Puede establecer este valor por tema con la max.message.bytes configuración a nivel de tema.	Apache Kafka es el predeterminado
producer.id.expiration.ms	El tiempo en ms que esperará el líder de una partición temática antes de que el productor caduque. IDs El productor IDs no caducará mientras una transacción asociada a él esté en curso. Ten en cuenta que el productor IDs puede caducar antes si se elimina la última escritura del identificador de productor debido a la configuración de retención del tema. Establecer este valor igual o superior al anterior delivery.timeout.ms puede ayudar a evitar la caducidad durante los reintentos y a evitar la duplicación de mensajes, pero el valor predeterminado debería ser razonable para la mayoría de los casos de uso.	Apache Kafka es el valor predeterminado

Configuraciones temáticas en Express Brokers

Puede utilizar los comandos de Apache Kafka para establecer o modificar propiedades de configuración de nivel de tema para temas nuevos y existentes. Si no puede proporcionar ninguna configuración a nivel de tema, Amazon MSK usa la configuración predeterminada del bróker. Al igual que con las configuraciones a nivel de intermediario, Amazon MSK protege algunas de las propiedades de configuración de nivel de tema contra cambios. Los ejemplos incluyen el factor de replicación y. min.insync.replicas unclean.leader.election.enable Si intenta crear un tema con un valor de factor de replicación distinto de3, Amazon MSK creará el tema con un factor de replicación 3 predeterminado. Para obtener más información acerca de las propiedades de configuración de temas y ejemplos de cómo establecerlas, consulte Topic-Level Configs en la documentación de Apache Kafka.

Configuraciones a nivel temático en Express Brokers

Propiedad	Descripción
cleanup.policy	Esta configuración designa la política de retención que se utilizará en los segmentos de registro. La política de «eliminar» (que es la predeterminada) descartará los segmentos antiguos cuando se alcance su límite de tiempo de retención o tamaño. La política de «compactación» permitirá la compactación de registros, que conserva el valor más reciente de cada clave. También es posible especificar ambas políticas en una lista separada por comas (por ejemplo, «eliminar, compactar»). En este caso, los segmentos antiguos se descartarán según la configuración de tiempo y tamaño de retención, mientras que los segmentos retenidos se compactarán. La compactación en los corredores Express se activa cuando los datos de una partición alcanzan los 256 MB.
compression.type	Especifique el tipo de compresión final para un tema determinado. Esta configuración acepta los códecs de compresión estándar (gzip,, snappylz4,zstd). Además, acepta uncompressed lo que equivale a no comprimir, es decirproducer, conservar el códec de compresión original establecido por el productor.
max.message.bytes	El tamaño de lote de discos más grande permitido por Kafka (después de la compresión, si la compresión está habilitada). Si esta cifra aumenta y hay consumidores mayores de esa edad0.10.2, también se debe aumentar el tamaño de búsqueda de los consumidores para que puedan obtener lotes récord de este tamaño. En la versión de formato de mensaje más reciente, los registros siempre se agrupan en lotes para aumentar la eficacia. En versiones de formato de mensaje anteriores, los registros sin comprimir no se agrupan en lotes y este límite se aplica únicamente a un solo registro en este caso. Esto se puede configurar por tema con el nivel de tema. max.message.bytes config
message.timestamp.after.max.ms	Esta configuración establece la diferencia de marca de tiempo permitida entre la marca de tiempo del mensaje y la marca de tiempo del corredor. La marca de tiempo del mensaje puede ser posterior o igual a la marca de tiempo del corredor, con la diferencia máxima permitida determinada por el valor establecido en esta configuración. Simessage.timestamp.type=CreateTime, el mensaje se rechazará si la diferencia en las marcas de tiempo supera este umbral especificado. Esta configuración se ignora si. message.timestamp.type=LogAppendTime
message.timestamp.before.max.ms	Esta configuración establece la diferencia de marca de tiempo permitida entre la marca de tiempo del corredor y la marca de tiempo del mensaje. La marca de tiempo del mensaje puede ser anterior o igual a la marca de tiempo del corredor, con la diferencia máxima permitida determinada por el valor establecido en esta configuración. Simessage.timestamp.type=CreateTime, el mensaje se rechazará si la diferencia en las marcas de tiempo supera este umbral especificado. Esta configuración se ignora si. message.timestamp.type=LogAppendTime
message.timestamp.type	Defina si la marca de tiempo del mensaje es la hora de creación del mensaje o la hora de adición del registro. El valor debe ser uno o CreateTime LogAppendTime
retention.bytes	Esta configuración controla el tamaño máximo que puede alcanzar una partición (que consta de segmentos de registro) antes de descartar los segmentos de registro antiguos para liberar espacio si utilizamos la política de retención de «eliminar». De forma predeterminada, no hay límite de tamaño, solo un límite de tiempo. Como este límite se aplica a nivel de partición, multiplíquelo por el número de particiones para calcular la retención del tema en bytes. Además, retention.bytes configuration funciona independientemente de segment.ms las segment.bytes configuraciones. Además, activa la rotación de un nuevo segmento si retention.bytes está configurado a cero.
retention.ms	Esta configuración controla el tiempo máximo que conservaremos un registro antes de descartar los segmentos de registro antiguos para liberar espacio si utilizamos la política de retención de «eliminar». Esto representa un acuerdo de nivel de servicio sobre la rapidez con la que los consumidores deben leer sus datos. Si se establece en-1, no se aplica ningún límite de tiempo. Además, retention.ms la configuración funciona de forma independiente de segment.ms las segment.bytes configuraciones. Además, activa la rotación de un nuevo segmento si se cumple la retention.ms condición.