DynamoDB 零 ETL 與 Amazon 服務整合 OpenSearch - Amazon DynamoDB

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

DynamoDB 零 ETL 與 Amazon 服務整合 OpenSearch

Amazon DynamoDB 透過 DynamoDB 外掛程式提供與 Amazon OpenSearch 服務的零 ETL 整合,以進行擷取。 OpenSearch Amazon OpenSearch 擷取提供全受管、無程式碼的體驗,可將資料擷取至 Amazon 服務。 OpenSearch

使用用於 OpenSearch 擷取的 DynamoDB 外掛程式,您可以使用一或多個 DynamoDB 表作為擷取一或多個服務索引的來源。 OpenSearch 您可以瀏覽和設定 OpenSearch 擷取管道,將 DynamoDB 做為來源,從中的 OpenSearch 擷取或 DynamoDB 整合。AWS Management Console

運作方式

此外掛程式使用 DynamoDB 匯出至 Amazon S3 來建立要載入的初始快照。 OpenSearch載入快照之後,外掛程式會使用 DynamoDB Streams 以近乎即時的方式複製任何進一步的變更。在 OpenSearch 擷取中,每個項目都會作為事件處理,並且可以使用處理器外掛程式進行修改。您可以刪除屬性或創建複合屬性,並通過路由將其發送到不同的索引。

您必須啟用point-in-time 復原 (PITR) 才能使用匯出到 Amazon S3。您也必須啟用 DynamoDB Streams (在選取 [新映像和舊映像] 選項的情況下),才能使用它。排除匯出設定,可以在不建立快照的情況下建立管線。

您也可以透過排除串流設定來建立僅包含快照且無更新的管道。外掛程式不會在您的資料表上使用讀取或寫入輸送量,因此可以安全使用,而不會影響您的生產流量。在建立此整合或其他整合之前,您應該考慮串流上的 parallel 消費者數量有限制。如需其他考量,請參閱與 DynamoDB 整合的最佳做法

對於簡單的管道,單一 OpenSearch 運算單元 (OCU) 每秒可處理約 1 MB 的寫入。這相當於大約 1000 個寫入請求單位 (WCU)。根據管道的複雜性和其他因素,您可能實現的效果或多或少。

OpenSearch 擷取支援導致無法復原錯誤的事件無法復原的無效字母佇列 (DLQ)。此外,即使 DynamoDB、管道或 Amazon OpenSearch 服務發生服務中斷,管道也可以從中斷的位置繼續執行,而無需使用者介入。

如果中斷持續超過 24 小時,這可能會導致更新遺失。不過,管道會繼續處理還原可用性時仍然可用的更新。除非它們在無效字母隊列中,否則您需要執行新的索引構建來修復由於丟棄事件而導致的任何不規則行為。

如需外掛程式的所有設定和詳細資訊,請參閱OpenSearch擷取 DynamoDB 外掛程式文件。

透過主控台整合建立體驗

DynamoDB 和 OpenSearch 服務在中具有整合式體驗AWS Management Console,可簡化入門程序。當您執行這些步驟時,服務會自動選取 DynamoDB 藍圖並為您新增適當的 DynamoDB 資訊。

若要建立整合,請依照OpenSearch 擷取入門指南中的說明進行操作。當您進入「步驟 3:建立管線」時,請使用下列步驟取代步驟 1 和 2:

  1. 導覽至動 DynamoDB 主控台。

  2. 在左側導覽窗格中,選擇 [整合]。

  3. 選取您要複寫的目標 DynamoDB 資料表。 OpenSearch

  4. 選擇建立

從這裡,您可以繼續學習本自學課程的其餘部分。

後續步驟

若要更好地瞭解 DynamoDB 如何與 OpenSearch 服務整合,請參閱下列內容: