使用以下命令将小型数据集从本地迁移到 Amazon S3 AWS SFTP

由查尔斯·吉布森 (AWS) 和塞尔吉·舍甫琴科 () 创作 AWS

摘要

此模式描述了如何AWS使用 Transfer for () 将小型数据集（5 TB 或更少）从本地数据中心迁移到亚马逊简单存储服务 (Amazon S3)。SFTP AWS SFTP 数据可以是数据库转储文件，也可以是平面文件。

先决条件和限制

先决条件

• 一个活跃的AWS账户

• 在您的数据中心和之间建立 Di AWS rect Connect 链路 AWS

限制

• 数据文件必须小于 5 TB 对于超过 5 TB 的文件，您可以分段上传至 Amazon S3 或选择其他数据传输方法。 

架构

源技术堆栈

• 本地平面文件或数据库转储文件。

目标技术堆栈

• Amazon S3

源架构和目标架构

工具

• AWSSFTP— 允许使用安全文件传输协议 (SFTP) 将文件直接传入和传出 Amazon S3。

• AWSDirect Connect — 建立从您的本地数据中心到的专用网络连接AWS。

• VPC终端节点-使您AWS PrivateLink 无需互联网网关、网络地址VPC转换 (NAT) 设备、连接或 Di AWS rect Connect VPN 连接即可私密连接到支持的AWS服务和由其提供支持的VPC终端节点服务。中的实例VPC不需要公有 IP 地址即可与服务中的资源通信。

操作说明

准备迁移

任务	描述	所需技能
记录当前的SFTP需求。		应用程序所有者，系统管理员
识别身份验证要求。	要求可能包括基于密钥的身份验证、用户名或密码或身份提供者（IdP）。	应用程序所有者，系统管理员
确定应用程序集成要求。		应用程序所有者
确定需要服务的用户。		应用程序所有者
确定SFTP服务器端点的DNS名称。		网络连接
确定备份策略。		SA，DBA（如果传输了数据）
确定应用程序迁移或割接策略。		应用程序所有者，SA，DBA

配置基础设施

任务	描述	所需技能
在您的AWS账户中创建一个或多个虚拟私有云 (VPCs) 和子网。		应用程序所有者，AMS
创建安全组和网络访问控制列表 (ACL)。		安全、联网、AMS
创建 S3 存储桶。		应用程序所有者，AMS
创建身份和访问管理 (IAM) 角色。	创建包含IAM允许访问您的 S3 存储桶AWSSFTP的权限的策略。此IAM政策决定了您为SFTP用户提供的访问权限级别。创建另一个IAM策略以与之建立信任关系AWSSFTP。	安全，AMS
关联已注册的域名（可选）。	如果您有自己的注册域名，则可以将其与SFTP服务器关联。您可以将SFTP流量从域或子域路由到您的SFTP服务器端点。	联网，AMS
创建SFTP服务器。	指定服务用于对用户进行身份验证的身份提供程序类型。	应用程序所有者，AMS
打开SFTP客户端。	打开SFTP客户端，将连接配置为使用SFTP端点主机。 AWSSFTP支持任何标准SFTP客户端。常用的SFTP客户端包括 Open SSH、Win SCP、Cyberduck 和。 FileZilla您可以从AWSSFTP控制台获取SFTP服务器主机名。	应用程序所有者，AMS

计划和测试

任务	描述	所需技能
计划应用程序迁移。	规划所需任何应用程序配置更改，设置迁移日期并确定测试安排。	应用程序所有者，AMS
测试基础设施。	在非生产环境中测试。	应用程序所有者，AMS

相关资源

参考

• AWS《SFTP用户手册》的转移

• AWS直连 Connect 资源 

• VPC 终端节点

教程和视频

• AWS转移SFTP（视频） 

• AWS转账获取SFTP用户指南

• AWSSA 白板——Direct Connect（视频）