使用AWS DataSync传输文件 - AWS Snowcone 用户指南

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用AWS DataSync传输文件

AWS DataSync是一种在线数据传输服务,它可简化、自动化和加速向和加速向或从复制大量数据的过程AWS通过互联网或AWS Direct Connect. DataSync 代理预安装在 Snowcone 设备上。它可以在设备和 Amazon S3 存储桶、Amazon EFS 和适用于 Windows 文件服务器的 Amazon FSx 之间传输数据。AWS DataSync自动处理移动的文件和对象、计划数据传输、监控传输进度、加密、数据传输验证以及将任何问题通知客户。

在 Snowcone 作业准备过程中,DataSync 代理预安装在 Snowcone 设备上。在线将数据传输到AWS,将 Snowcone 设备连接到外部网络并使用AWS OpsHub或者 CLI 来启动 DataSync 代理 AMI。激活 DataSync 代理AWS您可以使用 CLI,设置 Snowcone NFS 商店与 Amazon S3、Amazon EFS 或 Amazon FSx for Windows 文件服务器之间的在线数据传输任务。

您可以使用AWSDataSync 在 Snowcone 上运行以下内容:

  • 边缘计算应用程序,用于收集数据、处理数据以获得即时见解,然后在线将数据传输到AWS.

  • 将传感器或机器连续生成的数据传输到AWS在工厂或其他边缘站点。

  • 在线分发媒体、科学或其他内容AWS为合作伙伴和客户提供的存储服务。

  • 通过将媒体、科学内容或其他内容从边缘站点在线传输到来聚合内容AWS.

  • 确保您使用 VNI 的静态 IP 地址作为 DataSync 代理。使用 DHCP 可能会导致问题,因为任何设备重新启动都意味着您使用的是不同的 IP 地址,从而迫使必须在中重新配置 DataSync 代理和 DataSync 激活AWS云。

  • 要在 Snowcone 上使用 DataSync 代理,您需要确保 “AllowedHost” 条目在 Snowcone 上的 NFS 配置中包含 DataSync 代理 IP 地址。这可能需要您停止并重新启动 Snowcone 上的 NFS 服务才能启用 DataSync 代理。

  • 无论何时停止 NFS 服务,都应该停止 DataSync 代理。注意:如果您停止允许列出的 DataSync 代理的 NFS 服务,它将停止 DataSync 代理工作。

  • 检查Snowcone HDD 设备每项任务的最大文件数(Snowcone SSD 的 # 可能会更高)。如果超过 200,000 个文件限制,DataSync 任务将报告内存分配错误并中止执行。

对于一次性边缘计算或数据传输工作流程,或者对于没有广域网 (WAN) 链接或广域网带宽不足的边缘站点的 Snowcone 工作流,您应将 Snowcone 设备运回到AWS以完成数据传输。