將現場部署的思路遷移至 Amazon Redshift - AWS Prescriptive Guidance

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

將現場部署的思路遷移至 Amazon Redshift

由巴圖加普雷弗拉格查亞 (AWS) 和安東尼·普拉薩德·特瓦拉吉 (AWS) 創作

:Conment PoC 或試驗

來源:現場部署的思路現場部署獵鷹資料庫

目標:Amazon Redshift

R 類型 重新架構

工作負載:所有其他工作負載

Technologies 移轉; 資料庫

AWS 服務:AWS DMS; Amazon Redshift

Summary

內部部署資料倉儲需要大量的管理時間和資源,尤其是大型資料集。建造、維護和發展這些倉庫的財務成本也非常高。為了協助管理成本、保持擷取、轉換和載入 (ETL) 複雜度低,並在資料成長時提供效能,您必須持續選擇要載入的資料以及要封存的資料。

藉由遷移您的現場部署思考現場獵鷹資料庫到 Amazon Web Services (AWS) 雲端時,您可以存取雲端資料湖和資料倉儲,以增加商業靈活性、安全性和應用程式可靠性,同時降低整體基礎設施成本。Amazon Redshift 有助於大幅降低資料倉儲的成本和操作開銷。您也可以使用 Amazon Redshift Spectrum 來分析其原生格式的大量資料,而無需載入資料。

此模式說明將 Falcon 資料庫從現場部署資料中心遷移到 AWS 雲端上 Amazon Redshift 資料庫的步驟和程序。

先決條件和限制

先決條件

  • 作用中的 AWS 帳戶

  • 位於現場部署資料中心的 Falcon 資料庫

產品版本

Architecture

此圖表顯示下列工作流程:

  1. 資料會裝載在內部部署關聯式資料庫。

  2. AWS Schema Conversion Tool (AWS SCT) 會轉換與 Amazon Redshift 相容的資料定義語言 (DDDL)。

  3. 建立資料表後,您可以使用 AWS Database Migration Service (AWS DMS) 來回遷移資料。

  4. 資料載入 Amazon Redshift。

  5. 如果您使用 Redshift Simple Storage Service (Amazon S3) 中的資料,則資料會儲存在 Amazon S3 中。

Tools

  • AWS DMS— AWS Database Migration Service (AWS DMS) 可協助您快速、安全地將資料庫遷移至 AWS。

  • Amazon Redshift— Amazon Redshift 是快速、全受管的 PB 級資料倉儲服務,可讓您使用現有的商業智慧工具,以簡單且經濟實惠的方式有效率地分析所有資料。

  • AWS SCT— AWS Schema Conversion Tool (AWS SCT) 會將現有資料庫結構描述從一個資料庫引擎轉換到另一個資料庫引擎。

Epics

任務描述所有技能
識別適當的 Amazon Redshift 組態。

根據您的需求和資料磁碟區識別適當的 Amazon Redshift 叢集配置。 

如需此項目的詳細資訊,請參閱Amazon Redshift 叢集在 Amazon Redshift 文檔中。

DBA
研究 Amazon Redshift 以評估其是否符合您的要求。

使用Amazon Redshift 常見問題了解並評估 Amazon Redshift 是否符合您的要求。

DBA
任務描述所有技能
建立 Amazon Redshift 叢集。

登入 AWS 管理主控台,開啟 Amazon Redshift 主控台,然後在虛擬私有雲 (VPC) 中建立 Amazon Redshift 叢集。 

如需此項目的詳細資訊,請參閱在 VPC 中建立叢集在 Amazon Redshift 文檔中。

DBA
為您的 Amazon Redshift 資料庫設計執行 PoC。

針對您的資料庫設計進行概念驗證 (PoC),遵循 Amazon Redshift 的最佳實務。 

如需此項目的詳細資訊,請參閱進行 Amazon Redshift 的概念驗證在 Amazon Redshift 文檔中。

DBA
建立資料庫使用者

在 Amazon Redshift 資料庫中建立使用者,並授與適當的角色以存取結構描述和表格。 

如需此項目的詳細資訊,請參閱授與使用者或使用者群組的存取權限在 Amazon Redshift 文檔中。

DBA
將組態設定值套用至目標資料庫。

根據您的需求將組態設定套用到 Amazon Redshift 資料庫。 

如需啟用資料庫、工作階段和伺服器層級參數的詳細資訊,請參閱組態參考在 Amazon Redshift 文檔中。

DBA
任務描述所有技能
在 Amazon Redshift 中使用 DDL 手動創建表。

(可選) 如果您使用 AWS SCT,表格會自動建立。但是,如果在複寫 DDL 時發生失敗,您必須手動建立資料表

DBA
建立 Redshift 光譜的外部表格。

建立含有 Amazon Redshift Spectrum 外部結構描述的外部資料表。若要建立外部資料表,您必須為外部結構描述的擁有者或資料庫超級使用者。 

如需此項目的詳細資訊,請參閱建立 Amazon Redshift Spectrum 的外部資料表在 Amazon Redshift 文檔中。

DBA
任務描述所有技能
使用 AWS DMS 遷移資料。

在 Amazon Redshift 資料庫中建立表格的 DDL 之後,請使用 AWS DMS 將您的資料遷移到 Amazon Redshift。

如需有關此項的詳細步驟和指示,請參閱使用 Amazon Redshift 資料庫做為 AWS DMS 的目標存放在 AWS DMS 文件中。

DBA
使用 COPY 指令載入資料。

使用 Amazon RedshiftCOPY命令將資料從 Amazon S3 載入 Amazon Redshift。

如需此項目的詳細資訊,請參閱使用 COPY 命令從 Amazon S3 載入在 Amazon Redshift 文檔中。

DBA
任務描述所有技能
驗證來源和目標記錄。

驗證從來源系統載入之來源和目標記錄的表格計數。

DBA
實作用於效能調整的 Amazon Redshift 最佳實務。

針對資料表和資料庫設計實作 Amazon Redshift 最佳實務。 

如需此項目的詳細資訊,請參閱Amazon Redshift 的十大性能調整技術AWS 大數據部落格。

DBA
最佳化查詢效能。

Amazon Redshift 使用 SQL 型查詢來與系統中的資料和物件互動。資料操作語言 (DML) 是 SQL 的子集,您可以用它來檢視、新增、變更和刪除資料。DDL 是 SQL 的子集,您可以使用它來新增、變更和刪除資料庫物件 (例如資料表和檢視表)。

如需此項目的詳細資訊,請參閱調校查詢效能在 Amazon Redshift 文檔中。

DBA
實作 WLM。

您可以使用工作負載管理 (WLM) 來定義多個查詢佇列,並於執行時間將查詢路由至適當的佇列。

如需此項目的詳細資訊,請參閱實作工作負載管理在 Amazon Redshift 文檔中。

DBA
使用並行擴展。

藉由使用並行擴展功能,您可以藉由持續的快速查詢效能,支援幾乎無限的並行使用者和並行查詢。

如需此項目的詳細資訊,請參閱使用並行擴展在 Amazon Redshift 文檔中。

DBA
使用 Amazon Redshift 最佳實務進行表格設計。

當您規劃資料庫時,有些重要的資料表設計決策可以強烈影響整體查詢效能。

如需選擇最適當的資料表設計選項的詳細資訊,請參閱Amazon Redshift for 設計資料表的最佳實務在 Amazon Redshift 文檔中。

DBA
在 Amazon Redshift 中創建具體化視觀表。

「具體化檢視」包含預先運算的結果集,該結果集是以對一或多個基底資料表進行的 SQL 查詢為基礎。您可以發出SELECT敘述句來查詢具體化視觀表的方式與查詢資料庫中其他表格或視觀表的方式相同。

如需此項目的詳細資訊,請參閱在 Amazon Redshift 中建立具體化檢視在 Amazon Redshift 文檔中。

DBA
定義資料表之間的聯結。

若要在 InventSpot 中同時搜尋多個資料表,您必須指定包含跨兩個資料表相符資料的資料行,以定義資料表之間的聯結。這些資料行代表primary keyforeign key的加入。

您可以使用ALTER TABLE命令在 Amazon Redshift 或思考現貨。如需此項目的詳細資訊,請參閱ALTER TABLE在 Amazon Redshift 文檔中。

DBA
任務描述所有技能
新增 Amazon Redshift 連接。

將 Amazon Redshift 連接新增到現場部署的現場部署 Fracon 資料庫。

如需此項目的詳細資訊,請參閱新增 Amazon Redshift 連接(位於思考點文件中)。

DBA
編輯 Amazon Redshift 連接。

您可以編輯 Amazon Redshift 連接以新增表格和欄。

如需此項目的詳細資訊,請參閱編輯 Amazon Redshift 連接(位於思考點文件中)。

DBA
重新對應 Amazon Redshift 連接。

編輯新增 Amazon Redshift 連線時所建立的來源對應 .yaml 檔案,以修改連線參數。 

例如,您可以將現有資料表或資料行重新對應至現有資料庫連線中的不同資料表或資料行。思考 Spot 建議您檢查相依性之前和之後您重新對應連線中的資料表或資料行,以確保它們依需要顯示。

如需此項目的詳細資訊,請參閱重新對應 Amazon Redshift 連接(位於思考點文件中)。

DBA
從 Amazon Redshift 連接刪除一個表。

(可選) 如果您嘗試移除 Amazon Redshift 連線中的資料表,思考 Spot 會檢查相依性並顯示相依物件清單。您可以選擇列出的對象來刪除它們或刪除從屬關係。然後您可以移除表格。

如需此項目的詳細資訊,請參閱從 Amazon Redshift 連接刪除表(位於思考點文件中)。

DBA
從 Amazon Redshift 連接刪除包含相依物件的表格。

(選擇性) 如果您嘗試刪除包含相依物件的表格,則會封鎖作業。ACannot delete視窗,其中包含相依物件的連結清單。當所有依賴關係都移除時,您可以刪除表格

如需此項目的詳細資訊,請參閱從 Amazon Redshift 連接刪除包含相關對象的表(位於思考點文件中)。

DBA
刪除 Amazon Redshift 連接。

(選用) 由於連線可用於多個資料來源或視覺化,因此您必須先刪除使用該連線的所有來源和任務,才能刪除 Amazon Redshift 連線。

如需此項目的詳細資訊,請參閱刪除 Amazon Redshift 連接(位於思考點文件中)。

DBA
檢查 Amazon Redshift 的連線參考。

請務必使用 Amazon Redshift 連線提供必要的資訊,以及連線參考從思考點文檔。

DBA

其他資訊