使用 AWS Data Pipeline 將資料從 Amazon S3 自動載入到 Amazon 紅移 - AWS Prescriptive Guidance

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 AWS Data Pipeline 將資料從 Amazon S3 自動載入到 Amazon 紅移

由布拉達基蘭 (AWS) 創建

建立者:AWS

環境:PoC 或試驗

技術:儲存與備份; 資料庫; 分析

AWS 服務:Amazon S3; Amazon Redshift

Summary

此模式會引導您完成從 Amazon Simple Storage Service (Amazon S3) 儲存貯體使用 AWS Data Pipeline 進行 AWS Data Pipeline 的資料遷移程序。

先決條件和限制

先決條件

  • 作用中的 AWS 帳戶

  • 具有正確特權的 S3 來源儲存貯體 

Architecture

來源技術堆疊

  • 帶有 CSV 文件的 S3 存儲桶

目標技術堆疊

  • Amazon Redshift 叢集

資料遷移架構

Tools

  • Data Pipeline-您可以使用AWS Data Pipeline,將資料移動與轉換作業自動化。使用 Data Pipeline,您可以定義資料驅動工作流程,讓任務可以在之前成功完成的任務。

Epics

任務描述所需技能
驗證目標資料庫的版本和引擎。

DBA
建立來源和目標資料庫的輸出安全性群組。

SysAdmin
任務描述所需技能
建立 Amazon Redshift 叢集。

SysAdmin, DBA
從來源擷取使用者、角色和授權清單。

SysAdmin, DBA
在目標資料庫中建立使用者。

SysAdmin, DBA
將先前的步驟中的角色套用至目標資料庫。

SysAdmin, DBA
從來源檢閱資料庫選項、參數、網路檔案和資料庫連結,並評估其對目標資料庫的適用性。

SysAdmin, DBA
任務描述所需技能
在 AWS 資料管線中建立新管線。

SysAdmin
對於來源,請選擇將資料從 Amazon S3 載入到 Amazon Redshift 範本的選項。

SysAdmin
針對參數,請提供來源和目標的詳細資訊。

SysAdmin
排程並選擇 AWS Data Pipeline 啟用。

SysAdmin
對於安全/存取,請將 AWS Identity and Access Management (IAM) 角色保留為預設值。

SysAdmin
啟用管道。

SysAdmin
任務描述所需技能
在資料載入或使用案例完成後刪除管線。

DBA、SysAdmin、委任者