Versiones compatibles de Apache Kafka - Transmisión gestionadada de Amazon para Apache Kafka

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Versiones compatibles de Apache Kafka

Amazon Managed Streaming para Apache Kafka (Amazon MSK) es compatible con las siguientes versiones de Apache Kafka y Amazon MSK. La comunidad de Apache Kafka proporciona aproximadamente 12 meses de soporte para una versión después de su fecha de lanzamiento. Para obtener más información, consulta la política de fin de vida útil (EOL) de Apache Kafka.

Versiones compatibles de Apache Kafka
Versión de Apache Kafka Fecha de lanzamiento de MSK Fecha de fin del soporte
1.1.1 -- 05/06/2024
2.1.0 -- 2024-06-05
2.2.1 31/07/2019 2024-06-08
2.3.1 19/12/2019 2024-06-08
2.4.1 02/04/2020 2024-06-08
2.4.1.1 2020-09-09 2024-06-08
2.5.1 2020-09-30 2024-06-08
2.6.0 2020-10-21 2024-09-11
2.6.1 2021-01-19 2024-09-11
2.6.2 2021-04-29 2024-09-11
2.6.3 2021-12-21 2024-09-11
2.7.0 2020-12-29 2024-09-11
2.7.1 2021-05-25 2024-09-11
2.7.2 2021-12-21 2024-09-11
2.8.0 -- 2024-09-11
2.8.1 2022-10-28 2024-09-11
2.8.2 niveles 28-10-2022 Se anunciará próximamente
3.1.1 2022-06-22 2024-09-11
3.2.0 2022-06-22 2024-09-11
3.3.1 2022-10-26 2024-09-11
3.3.2 2023-03-02 2024-09-11
3.4.0 2023-05-04 2025-06-17
3.5.1 (recomendado) 26/09/2020 --
3.6.0 2023-11-16 --
3.7.x 2024-05-29 --

Para obtener más información sobre la política de soporte de versiones de Amazon MSK, consultePolítica de soporte de versiones de Amazon MSK.

Apache Kafka, versión 3.7.x (con almacenamiento en niveles listo para la producción)

La versión 3.7.x de Apache Kafka en MSK incluye soporte para la versión 3.7.0 de Apache Kafka. Puede crear clústeres o actualizar los existentes para usar la nueva versión 3.7.x. Con este cambio en el nombre de las versiones, ya no tendrá que adoptar versiones más recientes con correcciones de parches, como la 3.7.1, cuando las publique la comunidad de Apache Kafka. Amazon MSK actualizará automáticamente la versión 3.7.x para que sea compatible con las futuras versiones de parches una vez que estén disponibles. Esto le permite beneficiarse de la seguridad y las correcciones de errores disponibles en las versiones con correcciones de parches sin necesidad de activar una actualización de la versión. Estas versiones con correcciones de parches publicadas por Apache Kafka no rompen la compatibilidad de las versiones y usted puede beneficiarse de las nuevas versiones con correcciones de parches sin preocuparse por los errores de lectura o escritura en las aplicaciones cliente. Asegúrese de que sus herramientas de automatización de infraestructuras, por ejemplo CloudFormation, estén actualizadas para tener en cuenta este cambio en el nombre de las versiones.

Amazon MSK ahora admite el modo KrAFT (Apache Kafka Raft) en la versión 3.7.x de Apache Kafka. En Amazon MSK, al igual que con ZooKeeper los nodos, los controladores KrAFT se incluyen sin coste adicional para usted y no requieren ninguna configuración o administración adicionales por su parte. Ahora puede crear clústeres en modo KrAFT o en modo Apache Kafka ZooKeeper versión 3.7.x. En el modo Kraft, puede añadir hasta 60 agentes para alojar más particiones por clúster, sin solicitar un aumento del límite, en comparación con la cuota de 30 agentes de los clústeres basados en ZooKeeper. Para obtener más información sobre KrAFT en MSK, consulte el modo KrAFT.

La versión 3.7.x de Apache Kafka también incluye varias correcciones de errores y nuevas funciones que mejoran el rendimiento. Entre las principales mejoras se incluyen las optimizaciones de detección de líderes para los clientes y las opciones de optimización del vaciado de segmentos de registros. Para obtener una lista completa de mejoras y correcciones de errores, consulte las notas de la versión 3.7.0 de Apache Kafka.

Versión 3.6.0 de Apache Kafka (con almacenamiento en niveles listo para producción)

Para obtener información sobre la versión 3.6.0 de Apache Kafka (con almacenamiento en niveles listo para producción), consulte las notas de la versión en el sitio de descargas de Apache Kafka.

Amazon MSK seguirá utilizando y gestionando Zookeeper para la gestión del cuórum en esta versión para garantizar la estabilidad.

Amazon MSK versión 3.5.1

Amazon Managed Streaming for Apache Kafka (Amazon MSK) ahora es compatible con la versión 3.5.1 de Apache Kafka para clústeres nuevos y existentes. Apache Kafka 3.5.1 incluye varias correcciones de errores y nuevas funciones que mejoran el rendimiento. Entre sus principales características se incluye la introducción de una nueva asignación de particiones adaptada a los racks para los consumidores. Amazon MSK seguirá utilizando y gestionando Zookeeper para la gestión del quórum en esta versión. Para obtener una lista completa de las mejoras y correcciones de errores, consulte las notas de la versión 3.5.1 de Apache Kafka.

Para obtener información sobre la versión 3.5.1 de Apache Kafka, consulte las notas de la versión en el sitio de descargas de Apache Kafka.

Amazon MSK versión 3.4.0

Amazon Managed Streaming for Apache Kafka (Amazon MSK) ahora es compatible con la versión 3.4.0 de Apache Kafka para clústeres nuevos y existentes. Apache Kafka 3.4.0 incluye varias correcciones de errores y nuevas funciones que mejoran el rendimiento. Entre sus características principales se incluye una corrección para mejorar la estabilidad de las búsquedas desde la réplica más cercana. Amazon MSK seguirá utilizando y gestionando Zookeeper para la gestión del quórum en esta versión. Para obtener una lista completa de las mejoras y correcciones de errores, consulte las notas de la versión 3.4.0 de Apache Kafka.

Para obtener información sobre la versión 3.4.0 de Apache Kafka, consulte las notas de la versión en el sitio de descargas de Apache Kafka.

Amazon MSK versión 3.3.2

Amazon Managed Streaming for Apache Kafka (Amazon MSK) ahora es compatible con la versión 3.3.2 de Apache Kafka para clústeres nuevos y existentes. Apache Kafka 3.3.2 incluye varias correcciones de errores y nuevas funciones que mejoran el rendimiento. Entre sus características principales se incluye una corrección para mejorar la estabilidad de las búsquedas desde la réplica más cercana. Amazon MSK seguirá utilizando y gestionando Zookeeper para la gestión del quórum en esta versión. Para obtener una lista completa de las mejoras y correcciones de errores, consulte las notas de la versión 3.3.2 de Apache Kafka.

Para obtener información sobre la versión 3.3.2 de Apache Kafka, consulte las notas de la versión en el sitio de descargas de Apache Kafka.

Amazon MSK versión 3.3.1

Amazon Managed Streaming for Apache Kafka (Amazon MSK) ahora es compatible con la versión 3.3.1 de Apache Kafka para clústeres nuevos y existentes. Apache Kafka 3.3.1 incluye varias correcciones de errores y nuevas funciones que mejoran el rendimiento. Algunas de las características clave incluyen mejoras en las métricas y el particionador. Amazon MSK seguirá utilizando y gestionando Zookeeper para la gestión del cuórum en esta versión para garantizar la estabilidad. Para ver una lista completa de mejoras y correcciones de errores, consulta las notas de la versión 3.3.1 de Apache Kafka.

Para obtener información sobre la versión 3.3.1 de Apache Kafka, consulte las notas de la versión en el sitio de descargas de Apache Kafka.

Amazon MSK versión 3.1.1

Amazon Managed Streaming for Apache Kafka (Amazon MSK) ahora es compatible con las versiones 3.1.1 y 3.2.0 de Apache Kafka para clústeres nuevos y existentes. Apache Kafka 3.1.1 y Apache Kafka 3.2.0 incluyen varias correcciones de errores y nuevas funciones que mejoran el rendimiento. Algunas de las características clave incluyen mejoras en las métricas y el uso de identificadores de temas. En esta versión, MSK seguirá utilizando y gestionando Zookeeper para gestionar el quórum a fin de garantizar la estabilidad. Para obtener una lista completa de mejoras y correcciones de errores, consulte las notas de la versión 3.1.1 y 3.2.0 de Apache Kafka.

Para obtener información sobre las versiones 3.1.1 y 3.2.0 de Apache Kafka, consulte las notas de la versión 3.2.0 y las notas de la versión 3.1.1 en el sitio de descargas de Apache Kafka.

Almacenamiento por niveles de Amazon MSK, versión 2.8.2

Esta versión es una versión exclusiva para Amazon MSK de la versión 2.8.2 de Apache Kafka y es compatible con los clientes Apache Kafka de código abierto.

La versión 2.8.2 por niveles contiene una funcionalidad de almacenamiento por niveles que es compatible con las API introducidas en el KIP-405 para Apache Kafka. Para obtener más información acerca de la característica por niveles de Amazon MSK, consulte Almacenamiento por niveles.

Versión 2.5.1 de Apache Kafka

La versión 2.5.1 de Apache Kafka incluye varias correcciones de errores y nuevas funciones, como el cifrado en tránsito para los clientes de Apache y de administración. ZooKeeper Amazon MSK proporciona ZooKeeper puntos de enlace TLS, que puede consultar con la operación. DescribeCluster

El resultado de la DescribeClusteroperación incluye el ZookeeperConnectStringTls nodo, que muestra los puntos de enlace de TLS Zookeeper.

El siguiente ejemplo muestra el nodo ZookeeperConnectStringTls de la respuesta de la operación DescribeCluster:

"ZookeeperConnectStringTls": "z-3.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-2.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-1.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182"

Para obtener información sobre el uso del cifrado TLS con Zookeeper, consulte Uso de la seguridad TLS con Apache ZooKeeper.

Para obtener más información sobre la versión 2.5.1 de Apache Kafka, consulte las notas de la versión en el sitio de descargas de Apache Kafka.

Solución de errores de Amazon MSK, versión 2.4.1.1

Esta versión es una versión de corrección de errores exclusiva para Amazon MSK de la versión 2.4.1 de Apache Kafka. Esta versión de corrección de errores contiene una solución para el KAFKA-9752, un problema poco frecuente que provoca que los grupos de consumidores se reequilibren continuamente y permanezcan en el estado PreparingRebalance. Este problema afecta a los clústeres que ejecutan las versiones 2.3.1 y 2.4.1 de Apache Kafka. Esta versión contiene una corrección producida por la comunidad que está disponible en la versión 2.5.0 de Apache Kafka.

nota

Los clústeres de Amazon MSK que ejecutan la versión 2.4.1.1 son compatibles con cualquier cliente de Apache Kafka que sea compatible con la versión 2.4.1 de Apache Kafka.

Si prefiere usar Apache Kafka 2.4.1, le recomendamos que utilice la versión 2.4.1.1 con la corrección de errores de MSK para clústeres nuevos de Amazon MSK. Puede actualizar los clústeres existentes que ejecutan la versión 2.4.1 de Apache Kafka a esta versión para incorporar esta corrección. Para obtener información sobre cómo actualizar un clúster existente, consulte Actualización de la versión de Apache Kafka.

Para solucionar este problema sin actualizar el clúster a la versión 2.4.1.1, consulte la sección Grupo de consumidores atrapado en el estado PreparingRebalance de la guía Solución de problemas del clúster de Amazon MSK.

Versión 2.4.1 de Apache Kafka (utilice 2.4.1.1 en su lugar)

nota

Ya no puede crear un clúster de MSK con la versión 2.4.1 de Apache Kafka. En su lugar, puede usar Solución de errores de Amazon MSK, versión 2.4.1.1 con clientes compatibles con la versión 2.4.1 de Apache Kafka. Y si ya tiene un clúster de MSK con la versión 2.4.1 de Apache Kafka, le recomendamos que lo actualice para que utilice la versión 2.4.1.1 de Apache Kafka en su lugar.

KIP-392 es una de las principales propuestas de mejora de Kafka que se incluyen en la versión 2.4.1 de Apache Kafka. Esta mejora permite a los consumidores recuperar de la réplica más cercana. Para utilizar esta característica, establezca client.rack en las propiedades del consumidor en el ID de la zona de disponibilidad del consumidor. Un ejemplo de ID de AZ es use1-az1. Amazon MSK establece broker.rack en los ID de las zonas de disponibilidad de los agentes. También debe establecer la propiedad de configuración replica.selector.class en org.apache.kafka.common.replica.RackAwareReplicaSelector, que es una implementación de reconocimiento de bastidor proporcionada por Apache Kafka.

Cuando utiliza esta versión de Apache Kafka, las métricas en el nivel de monitoreo abierto PER_TOPIC_PER_BROKER aparecen solo después de que sus valores sean distintos de cero por primera vez. Para obtener más información acerca de este tema, consulte Supervisión de PER_TOPIC_PER_BROKER.

Para obtener información sobre cómo encontrar los ID de las zonas de disponibilidad, consulte los ID de zona de disponibilidad de su recurso en la guía del usuario. AWS Resource Access Manager

Para obtener información sobre los ajustes de las propiedades de configuración, consulte Configuración de Amazon MSK.

Para obtener más información acerca de KIP-392, consulte Allow Consumers to Fetch from Closest Replica en las páginas de Confluence.

Para obtener más información sobre la versión 2.4.1 de Apache Kafka, consulte las notas de la versión en el sitio de descargas de Apache Kafka.