使用 AWS SFTP 將小型資料從內部部署遷移到 Amazon S3 - AWS Prescriptive Guidance

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 AWS SFTP 將小型資料從內部部署遷移到 Amazon S3

由查爾斯·吉布森 (AWS) 創建

R 類型 主體變更

來源:儲存空間

目標:Amazon S3

建立者:AWS

環境:生產

Technologies 儲存與備份;移轉

AWS 服務 Amazon S3

Summary

此模式描述如何使用適用於 SFTP 的 AWS 傳輸 (AWS SFTP),將小型資料集 (5 TB 或更少) 從現場部署資料中心遷移到 Amazon 簡易儲存服務 (Amazon S3)。 資料可以是資料庫傾印或平面檔案。

先決條件和限制

先決條件

  • 作用中的 AWS 帳戶

  • 在資料中心和 AWS 之間建立的 AWS 直接連結

限制

  • 資料檔案必須小於 5 TB。對於超過 5 TB 的檔案,您可以執行多部分上傳到 Amazon S3,或選擇其他資料傳輸方法。 

Architecture

來源技術堆疊

  • 內部部署平面檔案或資料庫傾印

目標技術堆疊

  • Amazon S3

來源與目標架構

Tools

  • AWS SFTP— 使用安全檔案傳輸通訊協定 (SFTP),直接將檔案傳入和傳出 Amazon S3。

  • AWS Direct Connect-建立從現場部署資料中心到 AWS 的專用網路連線。

  • VPC 端點— 可讓您將 VPC 私下連線至支援的 AWS 服務以及採用 AWS PrivateLink 技術的 VPC 端點服務,而不需要網際網路閘道、網路位址轉譯 (NAT) 裝置、VPN 連線或 AWS Direct Connect 連線。VPC 中的執行個體不需要公有 IP 地址,即可與服務中的資源通訊。

Epics

任務描述必要技能
記錄目前的 SFTP 需求。

應用程式擁有者,SA
識別驗證需求。

需求可能包括金鑰型驗證、使用者名稱或密碼,或身分識別提供者 (IdP)。

應用程式擁有者,SA
識別應用程式整合需求。

應用擁有者
識別需要服務的使用者。

應用擁有者
判斷 SFTP 伺服器端點的 DNS 名稱。

聯網
決定備份策略。

SA、DBA (如果資料已傳輸)
識別應用程式移轉或轉換策略。

應用程式擁有者,SA,DBA
任務描述必要技能
在您的 AWS 帳戶中建立一或多個虛擬私有雲端 (VPC) 和子網路。

應用程式擁有者,AMS
建立安全群組和網路存取控制清單 (ACL)。

安全性、網路、AMS
建立 S3 儲存貯體。

應用程式擁有者,AMS
建立身份與存取管理 (IAM) 角色。

建立 IAM 政策,其中包含讓 AWS SFTP 存取您 S3 儲存貯體的許可。此 IAM 政策會判斷您提供給 SFTP 使用者的存取層級為何。建立另一個 IAM 政策以與 AWS SFTP 建立信任關係。

安全, AMS
建立註冊的網域 (選用)。

如果您擁有自己的註冊網域,您可以將它與 SFTP 伺服器建立關聯。您可以將 SFTP 流量從網域或子網域路由至您的 SFTP 伺服器端點。

網路、AMS
建立 SFTP 伺服器。

指定服務用來對您使用者進行身分驗證的身分提供者類型。

應用程式擁有者,AMS
開啟 SFTP 用戶端。

開啟 SFTP 用戶端,並將連線設定為使用 SFTP 端點主機。AWS SFTP 支援任何標準 SFTP 用戶端。常用的 SFTP 客戶端包括 OpenSSH,WinSCP,網絡鴨和 FileZilla。您可以從 AWS SFTP 主控台取得 SFTP 伺服器主機名稱。

應用程式擁有者,AMS
任務描述必要技能
規劃應用程式移轉。

規劃所需的任何應用程式組態變更、設定移轉日期,以及決定測試排程。

應用程式擁有者,AMS
測試基礎結構。

在非生產環境中進行測試。

應用程式擁有者,AMS

References

教學和影片