View a markdown version of this page

資料交付至 Amazon S3 一般用途儲存貯體 - Amazon Managed Streaming for Apache Kafka

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

資料交付至 Amazon S3 一般用途儲存貯體

使用 Amazon MSK Data Delivery,您可以將來源格式的 Apache Kafka 資料交付至 Amazon S3 一般用途儲存貯體以進行下游處理,並為關鍵任務工作負載提供end-to-end可靠性。使用它在 Amazon S3 中登陸 Kafka 資料,用於日誌封存、合規保留、Kafka 重播和訓練 AI/ML 模型等使用案例。這種方法不需要建置自我管理的連接器管道,隨著工作負載擴展而成本高昂且操作複雜。

整合

  • Amazon MSK Express 代理程式 — 資料來源。

  • Amazon S3 — 一般用途物件目的地。

  • Amazon CloudWatch — 指標和操作日誌。

  • AWS CloudTrail — API 稽核記錄。

  • AWS KMS — 選用的客戶受管靜態加密。

常用案例

  • 將 Kafka 主題資料封存至 S3 以進行儲存、重播或下游批次處理。

  • 將單一主題散發到多個目的地,而不新增代理程式負載。

如需 API CreateChannel規格,請參閱《Amazon MSK API DescribeChannel參考ListChannels》中的 UpdateChannelDeleteChannel、、 和 。

資料流程

下圖顯示記錄如何透過資料交付管道從 Amazon MSK Express 代理程式主題流向目的地,並將無法處理的記錄路由到無效字母佇列。

從 Amazon MSK Express 代理程式主題到一般用途 Amazon S3 儲存貯體的資料流程,其中無法處理的記錄會路由到無效字母佇列。

優勢

  • 無需管理基礎設施 — 無需連接器或運算叢集。您可以設定頻道,而 服務會處理交付、擴展和容錯能力。

  • 不會影響代理程式 — 頻道會從主題讀取,而不會耗用代理程式輸送量或影響生產者和消費者工作負載。

  • 使用您的資料擴展 — 支援高達 10 GBps 的資料交付輸送量,無需手動擴展。

  • 分鐘為單位的資料新鮮度 — 交付的資料可在產生主題的 5 到 15 分鐘內進行查詢或處理。

  • 內建錯誤處理 — 無法處理的記錄會路由到具有錯誤內容的無效字母佇列,因此傳遞不會中斷。

運作方式

若要將資料交付至一般用途 S3 儲存貯體,您可以建立頻道。您可以在使用 Express 代理程式的 Amazon MSK 佈建叢集上建立頻道。頻道會從 Kafka 主題讀取記錄,並將其交付至設定的目的地。

對於 Amazon S3 一般用途儲存貯體,頻道會使用可設定的輸出金鑰範本,將記錄 (JSON、ByteArray 或字串) 作為物件寫入一般用途 S3 儲存貯體。

無法處理的記錄會路由到必要的無效字母佇列 (DLQ) S3 儲存貯體。

注意

頻道不會回填先前產生的資料 - 只有啟用交付後產生的資料。

需求和支援的組態

  • 具有 Express 代理程式的 Amazon MSK 佈建叢集。不支援標準代理程式和 Amazon MSK Serverless。

  • 至少一個 Kafka 主題。

  • 無效字母佇列 (DLQ) 的 Amazon S3 儲存貯體。這是必要項目。

  • 頻道擔任以交付資料的 IAM 服務角色。

  • 資料新鮮度設定在 5 到 15 分鐘之間。

  • JSONByteArrayString 格式的主題資料。

  • 用於交付的一般用途 Amazon S3 儲存貯體。