AWS 資料網格的 產品 - AWS 方案指引
Amazon DataZoneData.allAWS Lake Formation

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

AWS 資料網格的 產品

使用 上的分析 AWS功能，為您的組織建置以資料網格為基礎的資料解決方案。資源分析 AWS 建議數個 AWS 服務 以低成本建置資料網格，而不會犧牲效能。客戶已採用下列選項來建置以資料網格為基礎的解決方案：

  • 使用 Amazon 實作資料網格 DataZone

  • 在 data.all AWS 等上使用開放原始碼架構來實作資料網格

  • 使用 實作資料網格 AWS Lake Formation

這三個選項使用下列項目 AWS 服務：

Amazon DataZone 選項也會使用 Amazon EventBridge。

data.all 和 AWS Lake Formation 選項也會使用下列 AWS 服務 和資源：

AWS 服務 您在實作中使用的 可能會根據您組織的需求而有所不同。

Amazon DataZone

如果您想要使用全受管服務，請考慮使用 Amazon DataZone 為您的組織實作資料網格。Amazon DataZone 是一種資料管理服務，用於編製目錄、探索、共用和管理跨 AWS內部部署和第三方來源存放的資料。下圖顯示以 Amazon 為基礎的資料網格參考架構 DataZone。

具有中央控管帳戶和 Amazon 的多個生產者和消費者帳戶 DataZone。

在參考架構中，成員帳戶屬於資料網域。它們會分組為資料生產者和資料消費者。架構圖包含下列元件：

  1. 資料生產者會在 Amazon 資料入口網站提供的商業目錄中發佈 DataZone 資料產品。資料入口網站託管在中央管理帳戶中。

  2. 資料消費者 （使用者） 使用其 AWS 登入資料入口網站或單一登入登入資料來登入資料入口網站。他們可以瀏覽目錄，並使用關鍵字搜尋他們感興趣的資料產品。他們可以篩選搜尋結果。

  3. 屬於消費者團隊的資料使用者找到他們感興趣的資料產品後，他們可以請求存取資料。Amazon DataZone 具有內建的存取管理工作流程，資料擁有者會使用此工作流程來檢閱和核准請求。

  4. 資料消費者團隊可以使用資料來強化其人工智慧和機器學習 (AI/ML)、分析和報告，以及擷取、轉換和載入 (ETL) 使用案例。

Data.all

如果您了解開放原始碼並想要建置和管理自己的解決方案，請考慮使用開放原始碼架構，例如 data.all。Data.all 是一個現代資料市場，支援不同使用者之間的協作。Data.all 可簡化資料探索、共用和精細資料存取管理，而建置器則使用資料和分析服務的 AWS 產品組合。下圖顯示以 data.all 為基礎的資料網格參考架構。

具有中央控管帳戶和 data.all 的多個生產者和消費者帳戶。

架構圖包含下列元件：

  1. 資料生產者會在 data.all 前端提供的目錄中發佈資料產品。data.all 的前端和後端託管在中央管理帳戶中。

  2. 資料消費者 （使用者） 使用其單一登入或 Amazon Cognito 登入資料來登入 data.all 前端。他們可以瀏覽目錄並搜尋他們感興趣的資料產品。他們可以篩選搜尋結果。

  3. 在屬於消費者團隊的資料使用者找到他們感興趣的資料產品後，他們可以請求存取資料。Data.all 具有內建的存取管理工作流程，資料擁有者可使用此工作流程來檢閱和核准存取請求。

  4. 消費者團隊可以使用資料來授權其 AI/ML、分析和報告，以及ETL使用案例。

AWS Lake Formation

如果您想要從頭開始建置自訂資料網格解決方案並進行管理，請考慮使用 AWS Lake Formation。Lake Formation 可協助您集中管理、保護和全域共用資料，以進行分析和機器學習。下圖顯示以 Lake Formation 為基礎的資料網格參考架構。

具有中央管理帳戶和 Lake Formation 的多個生產者和消費者帳戶

架構圖包含下列元件：

  1. 資料生產者 AWS Glue Data Catalog 會將資料產品發佈至中央控管帳戶的 。 AWS Lake Formation 管理中央資料目錄實體的存取權。

  2. 授予存取權後，消費者團隊可以使用資料來授權 AI/ML、分析和報告，以及ETL使用案例。