支援的 Apache Kafka 版本 - Amazon Managed Streaming for Apache Kafka

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

支援的 Apache Kafka 版本

Amazon Managed Streaming for Apache Kafka (Amazon MSK) 支援以下的 Apache Kafka 和 Amazon MSK 版本。Apache 卡夫卡社群在發行日期後提供大約 12 個月的版本支援。欲了解更多詳細信息,請檢查阿帕奇卡夫卡 EOL(生命週期結束)政策。

支援的 Apache Kafka 版本
阿帕奇卡夫卡版 MSK 發行日期 支援結束日期
1.1.1 -- 2024-06-05
2.1.0 -- 2024-06-05
2.2.1 2019-07-31 2024-06-08
2.3.1 2019-12-19 2024-06-08
2.4.1 2020-04-02 2024-06-08
2.4.1.1 2020-09-09 2024-06-08
2.5.1 2020-09-30 2024-06-08
2.6.0 2020-10-21 2024-09-11
2.6.1 2021-01-19 2024-09-11
2.6.2 2021-04-29 2024-09-11
2.6.3 2021-12-21 2024-09-11
2.7.0 2020-12-29 2024-09-11
2.7.1 2021-05-25 2024-09-11
2.7.2 2021-12-21 2024-09-11
2.8.0 -- 2024-09-11
2.8.1 2022-10-28 2024-09-11
分層 2022-10-28 即將公佈
3.1.1 2022-06-22 2024-09-11
3.2.0 2022-06-22 2024-09-11
3.3.1 2022-10-26 2024-09-11
3.3.2 2023-03-02 2024-09-11
3.4.0 2023-05-04 2025-06-17
3.5.1 (建議使用) 2023-09-26 --
3.6.0 2023-11-16 --
3.7.x 2024-05-29 --

如需 Amazon MSK 版本支援政策的詳細資訊,請參閱Amazon MSK 版本支援政策

阿帕奇卡夫卡 3.7.x 版(與生產就緒分層存儲)

阿帕奇卡夫卡 3.7.x 版本在 MSK 包括阿帕奇卡夫卡版本 3.7.0 的支持。您可以建立叢集或升級現有叢集以使用新的 3.7.x 版本。隨著版本命名的變更,您不再需要在 Apache Kafka 社群發行時採用更新的修補程式修正版本,例如 3.7.1。Amazon MSK 將自動更新 3.7.x,以支援 future 的修補程式版本可供使用。這可讓您受益於透過修補程式修正版本提供的安全性和錯誤修正,而不會觸發版本升級。Apache Kafka 發行的這些修補程式修正版本不會破壞版本相容性,您可以從新的修補程式修正版本中受益,而不必擔心用戶端應用程式的讀取或寫入錯誤。請確定您的基礎架構自動化工具 (例如) 已更新 CloudFormation,以說明版本命名中的這項變更。

Amazon MSK 現在支持卡夫卡模式(阿帕奇卡夫卡筏)在阿帕奇卡夫卡 3.7.x 版。在 Amazon MSK 上,就像 ZooKeeper 節點一樣,Kraft 控制器隨附在內,無需額外付費,而且不需要額外的設定或管理。現在,您可以在 Apache 卡夫卡 3.7.x 版本上創建卡夫卡 ZooKeeper 模式或模式集群。在 Kraft 模式下,與 Zookeeper 型叢集上的 30 個代理程式配額相比,您最多可以新增 60 個代理程式來裝載每個叢集更多的磁碟分割,而不需要增加限制。要了解有關 MSK 卡夫的更多信息,請參閱 Kraft 模式

阿帕奇卡夫卡 3.7.x 版還包括幾個錯誤修復和新功能,以提高性能。主要改進包括針對用戶端的領導者探索最佳化和記錄區段清除最佳化選項。如需改善和錯誤修正的完整清單,請參閱 Apache Kafka 3.7.0 版本說明。

Apache Kafka 3.6.0 版本 (具有已準備好投入生產的分層儲存)

如需有關 Apache Kafka 3.6.0 版本 (具有已準備好投入生產的分層儲存) 的資訊,請參閱 Apache Kafka 下載網站上的版本備註

Amazon MSK 將在此版本中繼續使用和管理 Zookeeper 來進行規定人數管理,以確保穩定性。

Amazon MSK 3.5.1 版

Amazon 阿帕奇卡夫卡(Amazon MSK)受管流媒體現在支持 Apache 卡夫卡 3.5.1 版用於新的和現有的集群。阿帕奇卡夫卡 3.5.1 包括幾個錯誤修復和新功能,以提高性能。主要功能包括為消費者引入新的機架感知分割區指派。Amazon MSK 將在此版本中繼續使用和管理動物園管理員進行仲裁管理。如需改善和錯誤修正的完整清單,請參閱 Apache Kafka 3.5.1 版本說明。

如需有關 Apache Kafka 3.5.1 版的資訊,請參閱 Apache Kafka 下載網站上的版本備註

Amazon MSK 版本 3.4.0

Amazon 阿帕奇卡夫卡(Amazon MSK)受管流媒體現在支持 Apache 卡夫卡 3.4.0 版本適用於新的和現有的集群。阿帕奇卡夫卡 3.4.0 包括幾個錯誤修復和新功能,可以提高性能。主要功能包括修復程序,以提高從最近的副本獲取的穩定性。Amazon MSK 將在此版本中繼續使用和管理動物園管理員進行仲裁管理。如需改善和錯誤修正的完整清單,請參閱 Apache Kafka 3.4.0 版本說明。

如需有關 Apache Kafka 3.4.0 版的資訊,請參閱 Apache Kafka 下載網站上的版本備註

Amazon MSK 3.3.2 版

Amazon 阿帕奇卡夫卡(Amazon MSK)受管流媒體現在支持 Apache 卡夫卡 3.3.2 版用於新的和現有的集群。阿帕奇卡夫卡 3.3.2 包括幾個錯誤修復和新功能,以提高性能。主要功能包括修復程序,以提高從最近的副本獲取的穩定性。Amazon MSK 將在此版本中繼續使用和管理動物園管理員進行仲裁管理。如需改善和錯誤修正的完整清單,請參閱 Apache Kafka 3.3.2 版本說明。

如需有關 Apache Kafka 3.3.2 版的資訊,請參閱 Apache Kafka 下載網站上的版本備註

Amazon MSK 版本 3.3.1

Amazon 阿帕奇卡夫卡(Amazon MSK)受管流媒體現在支持 Apache 卡夫卡 3.3.1 版本適用於新的和現有的集群。阿帕奇卡夫卡 3.3.1 包括幾個錯誤修復和新功能,以提高性能。一些關鍵功能包括量度和分區程序的增強功能。Amazon MSK 將在此版本中繼續使用和管理 Zookeeper 來進行規定人數管理,以確保穩定性。如需改善和錯誤修正的完整清單,請參閱 Apache Kafka 3.3.1 版本說明。

如需有關 Apache Kafka 3.3.1 版的資訊,請參閱 Apache Kafka 下載網站上的版本備註

Amazon MSK 3.1.1 版

Amazon 阿帕奇卡夫卡(Amazon MSK)受管流媒體現在支持 Apache 卡夫卡 3.1.1 和 3.2.0 版本,用於新的和現有的集群。阿帕奇卡夫卡 3.1.1 和阿帕奇卡夫卡 3.2.0 包括幾個錯誤修復和新功能,提高性能。一些關鍵功能包括指標的增強功能和主題 ID 的使用。MSK 將繼續在此版本中使用和管理 Zookeeper 進行法定人數管理,以確保穩定性。如需改善和錯誤修正的完整清單,請參閱 Apache 卡夫卡 3.1.1 和 3.2.0 版本說明。

如需有關阿帕奇卡夫卡 3.1.1 和 3.2.0 版本的資訊,請參閱阿帕奇卡夫卡下載網站上的 3.2.0 發行說明3.1.1 版本說明

Amazon MSK 分層儲存 2.8.2.tiered 版

此版本是 Apache Kafka 2.8.2 版的僅限 Amazon MSK 版本,且與開源 Apache Kafka 用戶端兼容。

2.8.2.tiered 版本包含分層儲存功能,與 Apache Kafka 的 KIP-405 中引入之 API 相容。如需有關 Amazon MSK 分層儲存功能的詳細資訊,請參閱 分層儲存

Apache Kafka 2.5.1 版

Apache 卡夫卡版本 2.5.1 包括幾個錯誤修復和新功能,包括 Apache ZooKeeper 和管理客戶端的傳輸過程中加密。Amazon MSK 提供 TLS ZooKeeper 端點,您可以透過DescribeCluster 操作進行查詢。

DescribeCluster操作的輸出包括ZookeeperConnectStringTls節點,其中列出了 TLS 動物園管理員端點。

以下範例會顯示 DescribeCluster 操作之回應的 ZookeeperConnectStringTls 節點:

"ZookeeperConnectStringTls": "z-3.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-2.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-1.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182"

如需有關搭配使用 TLS 加密和 ZooKeeper 的相關資訊,請參閱 搭配阿帕奇使用 TLS 安全性 ZooKeeper

如需有關 Apache Kafka 2.5.1 版的詳細資訊,請參閱 Apache Kafka 下載網站上的版本備註

Amazon MSK 2.4.1.1 錯誤修正版

此版本是 Apache Kafka 2.4.1 版本的僅限 Amazon MSK 錯誤修正版。此錯誤修正版包含 KAFKA-9752 的修正內容,KAFKA-9752 是一個罕見問題,會造成取用者群組持續重新平衡並維持在 PreparingRebalance 狀態。此問題會影響執行 Apache Kafka 2.3.1 和 2.4.1 版的叢集。此版本包含社群產生的修正內容,適用於 Apache Kafka 2.5.0 版。

注意

任何與 Apache Kafka 2.4.1 版相容的 Apache Kafka 用戶端,會與執行 2.4.1.1 版的 Amazon MSK 叢集相容。

若您要使用 Apache Kafka 2.4.1 版本,我們建議您針對新的 Amazon MSK 叢集使用 MSK 2.4.1.1 錯誤修正版本。您可以將執行 Apache Kafka 2.4.1 版的現有叢集更新為此版本,以納入此修正內容。如需有關升級現有叢集的資訊,請參閱 更新 Apache Kafka 版本

若要在不將叢集升級至 2.4.1.1 版的情況下解決此問題,請參閱 疑難排解 Amazon MSK 叢集 指南的 取用者群組停滯在 PreparingRebalance 狀態 章節。

Apache Kafka 2.4.1 版 (改為使用 2.4.1.1 版)

注意

您無法再使用 Apache Kafka 2.4.1 版來建立 MSK 叢集。您可以改為搭配使用 Amazon MSK 2.4.1.1 錯誤修正版 和與 Apache Kafka Apache 2.4.1 版相容的用戶端。若你已有具有 Apache Kafka 2.4.1 版的 MSK 叢集,建議您進行更新,以改為使用 Apache Kafka 2.4.1.1 版。

KIP-392 是其中一個關鍵的 Kafka 改善提案,包含在 Apache Kafka 2.4.1 版本中。這項改善可讓取用者從最接近的複本擷取。如要使用此功能,請將取用者屬性中的 client.rack 設為取用者可用區域的 ID。範例 AZ ID 為 use1-az1。Amazon MSK 會將 broker.rack 設為代理程式可用區域的 ID。您也必須將 replica.selector.class 組態屬性設為 org.apache.kafka.common.replica.RackAwareReplicaSelector,此為 Apache Kafka 所提供機架意識的一種實作。

當您使用此版本的 Apache Kafka 時,PER_TOPIC_PER_BROKER 監控層級中的指標只有在其值首次變為非零值時才會出現。如需此項目的詳細資訊,請參閱PER_TOPIC_PER_BROKER 層級監控

如需如何尋找可用區域 ID 的相關資訊,請參閱 AWS Resource Access Manager 使用者指南中的資源適用的 AZ ID

如需設定組態屬性的資訊,請參閱 Amazon MSK 組態

如需 KIP-392 的詳細資訊,請參閱 Confluence 頁面中的 Allow Consumers to Fetch from Closest Replica

如需 Apache Kafka 2.4.1 版的詳細資訊,請參閱 Apache Kafka 下載網站上的版本備註