資料倉儲系統架構 - Amazon Redshift

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

資料倉儲系統架構

本節介紹 Amazon Redshift 資料倉儲架構的元素,如下圖所示。

用戶端應用程式

Amazon Redshift 與各種資料載入和 ETL (摘取、轉換和載入) 工具及商業智慧 (BI) 報告、資料採礦及分析工具整合。Amazon Redshift 是以業界標準 PostgreSQL 為基礎,因此大多數現有 SQL 用户端應用程式只要稍微變更即可運作。如需 Amazon Redshift SQL 與 PostgreSQL 之間重要差異的相關資訊,請參Amazon Redshift 和 PostgreSQL

叢集

Amazon Redshift 資料倉儲的核心基礎設施組件是

叢集是由一個或多個運算節點所組成。如果為叢集佈建了兩個或多個運算節點,則會有另外的領導節點負責統籌運算節點和處理外部通訊。您的用戶端應用程式只會直接和領導節點互動,外部應用程式不會知道運算節點的存在。

領導節點

領導節點會管理與用戶端程式的通訊,以及和運算節點的所有通訊。此節點會剖析和制定執行計畫,來執行資料庫的操作,尤其是取得複雜查詢結果所需的一系列步驟。領導節點會根據執行計畫,來編譯程式碼、將編譯過的程式碼分發到運算節點,並指派資料的各部分給每個運算節點。

只有當查詢參考儲存於運算節點上的資料表時,領導節點才會將 SQL 陳述式分發到運算節點。所有其他查詢只在領導節點上執行。Amazon Redshift 旨在僅在領導節點上執行某些 SQL 函數。如果查詢使用這些函式的任一個,而且參考位於運算節點上的資料表,則將會傳回錯誤。如需詳細資訊,請參閱 領導節點上所支援的 SQL 函數

運算節點

領導節點會針對執行計畫的個別元素,來編譯程式碼,並將程式碼指派給個別的運算節點。運行編譯過的程式碼,然後將中間的結果傳回領導節點,以進行最後的綜合。

每個運算節點都具有自己專屬的 CPU、記憶體和附加磁碟儲存空間 (根據節點類型決定)。隨著工作負載的增長,您可以藉由增加節點的數量、將節點的類型升級,或是同時實行這兩種做法,來增加叢集的運算容量和儲存容量。

Amazon Redshift 提供幾種節點類型,以滿足您的運算和儲存需求。如需各種節點類型的詳細資訊,請參Amazon Redshift 叢集中的Amazon Redshift 叢集管理指南

節點配量

運算節點可分割為分割。每個分割會分配到節點的一部分記憶體和磁碟空間,並且用以處理指派給節點的部分工作負載。領導節點會負責將資料分發給分割,並將任何查詢或其他資料庫操作的工作負載,分派給這些分割。這些分割接著會平行運作,以完成操作。

每個節點的分割數目,取決於叢集的節點大小。如需每個節點大小的切片數量的詳細資訊,請轉到關於叢集和節點中的Amazon Redshift 叢集管理指南

建立資料表時,您可以選擇性地指定一個欄做為分佈索引鍵。當資料載入資料表時,會根據為資料表定義的分佈索引鍵,將資料列分發給節點分割。Amazon Redshift 可讓 Amazon Redshift 使用平行處理作業,以高效率的方式載入資料和執行查詢。如需關於選擇分佈索引鍵的詳細資訊,請參閱選擇最佳的分佈方式

內部網路

Amazon Redshift 利用高頻寬連線、鄰近位置與自訂通訊協定,在領導節點和運算節點之間,提供私密的超高速網路通訊。運算節點會在獨立的隔離網路中執行,用戶端應用程式絕對不會直接存取此網路。

資料庫

叢集包含一個或多個資料庫。使用者資料儲存於運算節點上。您的 SQL 用戶端會和領導節點進行通訊,然後再由領導節點統籌使用運算節點的查詢執行作業。

Amazon Redshift 是關聯式資料庫管理系統 (RDBMS),因此與其他 RDBMS 應用程式兼容。雖然提供與典型 RDBMS 相同的功能 (包括線上交易處理 (OLTP) 功能,例如插入和刪除資料),但 Amazon Redshift 最適合應用於超大資料集的高效能分析與報告。

Amazon Redshift 基於 PostgreSQL。Amazon Redshift 和 PostgreSQL 之間有多項極為重要的差異,在設計和開發您的資料倉儲應用程式時,您需要考量與 PostgreSQL 之間的許多很重要的差異。如需 Amazon Redshift SQL 與 PostgreSQL 之間差異的相關資訊,請參Amazon Redshift 和 PostgreSQL