本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
資料交付至 Amazon S3 一般用途儲存貯體
使用 Amazon MSK Data Delivery,您可以將來源格式的 Apache Kafka 資料交付至 Amazon S3 一般用途儲存貯體以進行下游處理,並為關鍵任務工作負載提供end-to-end可靠性。使用它在 Amazon S3 中登陸 Kafka 資料,用於日誌封存、合規保留、Kafka 重播和訓練 AI/ML 模型等使用案例。這種方法不需要建置自我管理的連接器管道,隨著工作負載擴展而成本高昂且操作複雜。
整合
Amazon MSK Express 代理程式 — 資料來源。
Amazon S3 — 一般用途物件目的地。
Amazon CloudWatch — 指標和操作日誌。
AWS CloudTrail — API 稽核記錄。
AWS KMS — 選用的客戶受管靜態加密。
常用案例
將 Kafka 主題資料封存至 S3 以進行儲存、重播或下游批次處理。
將單一主題散發到多個目的地,而不新增代理程式負載。
如需 API CreateChannel規格,請參閱《Amazon MSK API DescribeChannel參考ListChannels》中的 UpdateChannel、DeleteChannel、、 和 。
資料流程
下圖顯示記錄如何透過資料交付管道從 Amazon MSK Express 代理程式主題流向目的地,並將無法處理的記錄路由到無效字母佇列。
優勢
無需管理基礎設施 — 無需連接器或運算叢集。您可以設定頻道,而 服務會處理交付、擴展和容錯能力。
不會影響代理程式 — 頻道會從主題讀取,而不會耗用代理程式輸送量或影響生產者和消費者工作負載。
使用您的資料擴展 — 支援高達 10 GBps 的資料交付輸送量,無需手動擴展。
以分鐘為單位的資料新鮮度 — 交付的資料可在產生主題的 5 到 15 分鐘內進行查詢或處理。
內建錯誤處理 — 無法處理的記錄會路由到具有錯誤內容的無效字母佇列,因此傳遞不會中斷。
運作方式
若要將資料交付至一般用途 S3 儲存貯體,您可以建立頻道。您可以在使用 Express 代理程式的 Amazon MSK 佈建叢集上建立頻道。頻道會從 Kafka 主題讀取記錄,並將其交付至設定的目的地。
對於 Amazon S3 一般用途儲存貯體,頻道會使用可設定的輸出金鑰範本,將記錄 (JSON、ByteArray 或字串) 作為物件寫入一般用途 S3 儲存貯體。
無法處理的記錄會路由到必要的無效字母佇列 (DLQ) S3 儲存貯體。
注意
頻道不會回填先前產生的資料 - 只有啟用交付後產生的資料。
需求和支援的組態
具有 Express 代理程式的 Amazon MSK 佈建叢集。不支援標準代理程式和 Amazon MSK Serverless。
至少一個 Kafka 主題。
無效字母佇列 (DLQ) 的 Amazon S3 儲存貯體。這是必要項目。
頻道擔任以交付資料的 IAM 服務角色。
資料新鮮度設定在 5 到 15 分鐘之間。
JSON、ByteArray 或 String 格式的主題資料。
用於交付的一般用途 Amazon S3 儲存貯體。