Amazon MSK 資料交付

透過 Amazon MSK 資料交付，您可以將 Apache Kafka 資料從 Amazon MSK Express 代理程式直接交付至 Amazon S3，無需連接器或其他要管理的基礎設施。Amazon MSK Express 會自動處理擴展、重試和背壓，並管理例行操作，例如容量擴展和版本升級，而不會引入交付差距。由於這些是原生中介裝置功能，因此不會新增中介裝置輸出輸送量，因此您可以避免擴展連接器型管道通常會產生的增量基礎設施成本，並將容量與實際工作負載需求配對，而不是佈建峰值。每個功能都支援高達 10 GBps 的輸送量。

這兩個功能為：

• 資料交付至 Apache Iceberg 的串流資料表 — 透過 Amazon MSK Data Delivery，您可以持續將 Apache Kafka 主題具體化為 Amazon S3 Tables 上的 Apache Iceberg 資料表。智慧型內嵌壓縮可消除小型檔案的效能影響，並保持查詢效能的可預測性，而不會犧牲資料新鮮度。內建協調功能可解決高輸送量取用者之間的並行寫入器衝突。Amazon S3 Tables 會自動處理持續的資料表維護，包括壓縮、快照過期和未參考的檔案清除。

• 資料交付至 Amazon S3 一般用途儲存貯體 - 透過 Amazon MSK Data Delivery，您可以將來源格式的 Apache Kafka 資料交付至 Amazon S3 一般用途儲存貯體以進行下游處理，並為任務關鍵工作負載提供end-to-end可靠性。使用它在 Amazon S3 中登陸 Kafka 資料，用於日誌封存、合規保留、Kafka 重播和訓練 AI/ML 模型等使用案例。這種方法不需要建置自我管理的連接器管道，隨著工作負載擴展而成本高昂且操作複雜。

主題

• 將資料表串流至 Apache Iceberg 的資料交付

• 資料交付至 Amazon S3 一般用途儲存貯體