AWS Snowcone 的工作原理 - AWS Snowcone 用户指南

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

AWS Snowcone 的工作原理

AWS Snowcone是用于边缘计算和数据传输的便携式设备。首先,您可以在中请求一台或多台 Snowcone 设备AWS Management Console取决于您需要传输的数据量以及所需的计算性能。您选择的 Amazon Simple Storage Service (Amazon S3) 存储桶、数据和 Amazon Elastic Compute Cloud (Amazon EC2) Amazon 系统映像 (AMI) 会自动配置、加密和预安装到您的设备上。这些区域有:AWS DataSync在将设备运送给您之前,也会预先安装代理程序。

您通常会在大约 4-6 天内收到 Snowcone 设备。要接收多个AWS Snowcone设备,您必须在控制台上为每台 Snowcone 设备设置作业订单。

当设备到达时,您可以将其连接到本地网络,然后使用动态主机配置协议 (DHCP) 手动或自动设置 IP 地址。您必须下载并安装AWS OpsHub for Snow Family,一个用于管理 Snowcone 设备的图形用户界面 (GUI) 应用程序。你可以将其安装在任何 Windows 或 macOS 客户端计算机上,例如笔记本电脑。

当你打开AWS OpsHub解锁设备后,您会看到一个显示设备及其系统指标的控制面板。然后,您可以启动实例以部署边缘应用程序,或者只需点击几下鼠标即可将数据迁移到设备AWS OpsHub.

当您的计算或数据传输任务完成并准备退回设备时,E Ink 货件标签会自动更新退货地址,以确保 Snowcone 设备已配送到正确的AWS设施。当设备发货时,您可以通过亚马逊 Simple Notification Service (Amazon SNS) 发送的消息、生成的文本和电子邮件或直接从控制台接收跟踪状态。

AWS Snowcone 工作流程

您可以创建三种不同的作业类型。尽管不同类型的使用情形不同,但这些任务类型在订购、接收和寄回设备方面具有下列工作流程。

此工作流程

  1. 创建作业— 你在AWS Snow 系列管理控制台或者通过作业管理 API 以编程方式选择设备类型 —Snowcone要么Snowcone SSD— 取决于您的使用案例。您可以在中跟踪任务的状态AWS Management Console或者通过 Snowcone API。

  2. 为你的工作准备好了设备–AWS准备AWS Snowcone您任务的设备,您任务的状态将变为准备 Snowcone.

  3. 您所在地区的运营商将设备运送给您— 运输承运商从这里接管,您的任务状态现在更改为In transit to you. 您可以在上找到追踪编号以及跟踪网站的链接。AWS Snow 系列管理控制台使用控制台或任务管理 API 进行操作。有关您所在区域的承运商的信息,请参阅AWS Snowcone 运输注意事项.

  4. 获取 Snowcone 电源— 为了保持最小的占用空间,Snowcone 设备不附带电源。Snowcone 使用 45 瓦的 USB-C 连接电源。它也可以由便携式电池供电。有关更多信息,请参阅 AWS Snowcone电源和附件

  5. 接收设备— 几天后,您所在地区的运输承运人将AWS Snowcone设备到您在创建任务时提供的地址。您任务的状态将变为Delivered to you. 设备没有装箱,因为设备是自己的运输容器。

  6. 获取凭证并下载AWS OpsHub或 Snowball Edge 客户端用于 Snow Family 应用— 获取您的凭证、任务清单以及清单的打开代码,然后下载 Snowball Edge 客户端,从而准备好开始传输数据。

    • 当设备位于本地位置时,从控制台或使用任务管理 API 获取设备清单。清单用于验证您对设备的访问权限。清单是加密的,只有解锁代码才能解密。

    • 解锁代码由 29 个字符组成,用于解密清单。您可从控制台或使用任务管理 API 获取解锁代码。为防止在设备位于您的设备时,未经授权地访问设备,我们建议您将解锁代码保存在与清单位置不同的安全位置。

    • AWS OpsHub for Snow Family是用于管理 Snow Family 设备的应用程序,包括 Snowcone。这些区域有:AWS OpsHub for Snow FamilyGUI 可帮助您设置和管理 Snowcone 设备,以便您可以快速运行边缘计算工作负载并将数据迁移到AWS Cloud. 只需点击几下,你就可以使用AWS OpsHub解锁和配置 Snowcone 设备、拖放数据、启动应用程序或监控设备指标。你可以将其下载并安装在 Windows 或 macOS 客户端计算机上,例如笔记本电脑。使用 AWS OpsHub 不会产生任何费用。

      下载AWS OpsHub从AWS Snowball资源. 有关 AWS OpsHub 的更多信息,请参阅 使用 AWS OpsHub for Snow Family 管理设备

    • Snowball Edge 客户端是一个工具,用于管理从设备到内部数据目标的数据流。

  7. 定位硬件— 将设备移动到您的数据中心内并按照外壳上的说明打开。将设备 Connect 到电源和您的本地网络。

  8. 打开设备电源— 按下 LCD 显示屏上方的电源按钮启动设备。稍等几分钟将显示 Ready 屏幕。

  9. 获取设备的 IP 地址— LCD 显示屏有连接在它上面选项卡。点击此选项卡,即可获取的 IP 地址AWS Snowcone设备。

  10. 使用AWS OpsHub解锁设备— 解锁AWS Snowcone设备、输入设备的 IP 地址、上传清单以及解锁代码。AWS OpsHub解密清单并使用清单来验证您对设备的访问权限。有关 AWS OpsHub 的更多信息,请参阅 使用 AWS OpsHub for Snow Family 管理设备

  11. 使用设备— 使用AWS OpsHub来设置和管理AWS Snowcone设备,以便您可以快速运行边缘计算工作负载并将数据传输到AWS Cloud. 只需点击几下,你就可以使用AWS OpsHub解锁和配置 Snowcone 设备、拖放数据、启动应用程序或监控设备指标。有关详细信息,请参阅 使用 AWS OpsHub for Snow Family 管理设备

  12. 不要拔下以太网或电源线— 在数据传输或计算操作期间,请勿拔下以太网电缆或 USB-C 电源或电池。要在数据传输或计算作业完成后关闭 Snowcone 设备,请按电源按钮。

  13. 为设备的回程做好准备— 在本地位置使用设备完成任务后,文件接口状态更改为完成按下 LCD 显示屏上方的电源按钮,以启动设备。拔掉设备的电源线并将其电源线存储在设备顶部的电缆角内,然后将设备的三个门全部关闭。现在可以将设备寄回了。

  14. 您所在地区的运营商将设备退回至AWS— 当承运人有AWS Snowcone设备,作业的状态更改为在途中到AWS.

导入和导出任务的工作方式

你可以使用 Snowcone 在你的设备之间在线传输数据AWS通过使用存储服务AWS DataSync. 您还可以将数据从本地存储设备离线传输到 Snowcone 设备。

Snowcone 和之间的在线数据传输AWS使用存储服务DataSync

AWS DataSync是一项在线数据传输服务,可简化、自动化和加速向和从复制大量数据的过程AWS通过互联网提供存储服务或AWS Direct Connect. 网络 ACL 和安全组都允许 (因此可到达您的实例) 的发起 ping 的AWS DataSync代理已预安装在 Snowcone 设备上,用于在设备与 Amazon S3 存储桶、Amazon 弹性文件系统 (Amazon EFS) 文件系统和适用于 Windows 文件服务器的 Amazon FSx 之间传输数据。DataSync自动处理移动的文件和对象、计划数据传输、监控传输进度、加密数据、验证数据传输以及将任何问题通知客户。

这些区域有:DataSync在 Snowcone 任务准备过程中,代理将作为 Amazon 系统映像 (AMI) 预安装在 Snowcone 设备上。在线将数据传输到AWS,将 Snowcone 设备连接到外部网络并使用AWS OpsHub for Snow Family或者AWS Command Line Interface(AWS CLI) 启动DataSync代理 AMI。激活DataSync使用代理AWS Management Console或者AWS CLI. 然后设置在线数据传输任务AWS Snowcone网络文件系统 (NFS) 存储区和 Amazon S3、Amazon EFS 或 Amazon FSx。

您可以使用DataSync在 Snowcone 上运行以下内容:

  • 对于边缘计算应用程序,要收集数据、处理数据以获得即时见解,然后在线将数据传输到AWS.

  • 将传感器或机器连续生成的数据传输到AWS在工厂或其他边缘站点。

  • 在线分发媒体、科学或其他内容AWS为合作伙伴和客户提供的存储服务。

  • 通过将媒体、科学内容或其他内容从节点在线传输到边缘站点来聚合内容AWS.

对于一次性边缘计算或数据传输工作流程,或者对于没有广域网 (WAN) 链接或广域网带宽不足的边缘站点的 Snowcone 工作流程,我们建议将 Snowcone 设备运回AWS完成数据传输。

在 Snowcone 和 Amazon S3 之间传输数据

对于离线数据导入作业,您可以将 Snowcone 设备连接到本地网络,然后使用AWS OpsHub解锁设备。下载AWS OpsHub来自 的AWS Snowball资源页. 您可以通过 NFS 文件界面将数据从本地存储设备复制到 Snowcone 设备。将数据复制到 Snowcone 设备后,设备上的 E Ink 运输标签有助于确保设备自动发送到正确的AWS设施。您可以使用 Amazon SNS 生成的短信或电子邮件以及控制台跟踪 Snowcone 设备。

从 Amazon S3 导出任务

导出任务的数据源是一个或多个 Amazon S3 存储桶。在将任务部分的数据从 Amazon S3 移动到 Snowcone 设备之后,您可以下载任务报告。此报告将提醒您无法传输到设备的所有对象。您可以在任务的成功日志和失败日志中查找更多信息。

您可以为每个导出任务导出多达 5000 万个对象,使用的设备数目与为完成传输而使用的设备数目相同。如果您需要传输 5000 多万个对象,则必须创建多个导出作业。导出任务的任务部分的每个 Snowcone 设备会一个个地送达,在上一个任务部分进入后,将会向您发送后续设备。在途中到AWS状态。

在将对象从设备复制到本地数据目标时,这些对象将另存为文件。如果将对象复制到已包含文件的位置,则所有名称相同的现有文件都将被覆盖。

何时AWS收到寄回的设备后,我们将按照美国国家标准与技术研究院 (NIST) 800-88 标准将其完全擦除操作。

重要

请不要更改、更新或删除导出的 Amazon S3 对象,直到您验证整个任务的所有内容均已复制到本地数据目标。

创建导出任务时,可导出整个 Amazon S3 存储桶或导出特定范围的对象键。

导出任务的工作方式

每个导出任务可以使用任意数量的 Snowcone 设备。如果列表中包含的数据超过了单台设备上可容纳的数据,则会为您提供多台设备。每个任务部分都正好有一个与其关联的设备。在您创建任务部分之后,第一个任务部分进入准备 Snowcone状态。

注意

用于将任务拆分为多个部分的列举操作是 Amazon S3 的一项功能,您需要为其付费方式与任何 Amazon S3 操作相同。

在此之后,我们很快就会开始将您的数据导出到设备。通常,导出数据需要一个工作日。不过,此过程可能需要更长时间,具体取决于数据的数目和类型。导出完成后,AWS让您所在区域的承运商为设备做好准备。设备到达后,请将 Snowcone 设备连接到您的网络,并将从 Amazon S3 导入的数据传输到该设备上。

完成数据传输之后,请将设备寄回AWS. 收到您导出任务部分的设备后,我们会将其完全擦除操作。此擦除遵循 NIST 800-88 标准。此步骤标记这一特定任务部分的完成。

重要
  • 对于关键列表

    在导出 S3 存储桶中的对象之前,我们会扫描存储桶。如果扫描后存储桶被更改,则作业可能会遇到延迟,因为我们扫描丢失或更改的对象。

  • 对于 Amazon S3 Glacier

    Snowcone 无法导出 S3 Glacier Flexible Retrieval 存储类中的对象。必须将这些对象还原到 S3 存储桶,然后 Snowcone 才能成功导出存储桶中的对象。

使用导出范围

在中创建导出任务时AWS Snow 系列管理控制台或者使用任务管理 API,您可以导出整个 Amazon S3 存储桶或导出特定范围的对象键。对象键名称唯一标识存储桶中的对象。如果导出特定范围的对象键,您可以通过提供包含范围的起始值和/或包含范围的结束值,来定义范围的大小。

范围按 UTF-8 二进制排序。UTF-8 二进制数据按下列方式排序:

  • 数字 0—9 在大写和小写的英文字符之前。

  • 大写英文字符在所有小写英文字符之前。

  • 根据大写英文字符和数字排序时,小写英文字符在最后。

  • 在其他字符集内排序特殊字符。

有关 UTF-8 细节的更多信息,请参阅维基百科上的 UTF-8.

导出范围示例

假定您有一个包含下列按 UTF-8 二进制顺序排序的对象的存储桶:

  • 01

  • Aardvark

  • Aardwolf

  • Aasvogel/apple

  • Aasvogel/banana

  • Aasvogel/cherry

  • Banana

  • Car

指定的范围开始 指定的范围结束 将导出的范围内的对象
(无) (无) 存储桶中的所有对象
(无) Aasvogel

01

Aardvark

Aardwolf

Aasvogel/apple

Aasvogel/banana

Aasvogel/cherry

(无) Aasvogel/banana

01

Aardvark

Aardwolf

Aasvogel/apple

Aasvogel/banana

Aasvogel (无)

Aasvogel/apple

Aasvogel/banana

Aasvogel/cherry

Banana

Car

Aardwolf (无)

Aardwolf

Aasvogel/apple

Aasvogel/banana

Aasvogel/cherry

Banana

Car

Aar (无)

Aardvark

Aardwolf

Aasvogel/apple

Aasvogel/banana

Aasvogel/cherry

Banana

Car

car (无)

将不导出任何对象,且在您尝试创建任务时,会收到错误消息。请注意,汽车在之后排序Car根据 UTF-8 二进制值。

Aar Aarrr

Aardvark

Aardwolf

用于导入 Job 存储

在内部,Snowcone 设备包含 8 TB 或 14 TB 的磁盘存储空间,可以通过本地亚马逊弹性块存储 (Amazon EBS) 卷演示文稿与内部网络文件系统 (NFS) 服务或本地 Amazon EC2 实例一起使用。您可以使用 8 TB 或 14 TB 作为 NFS 存储卷,150 GB 用于容量优化的硬盘(sbg1) Amazon EBS 存储卷。

对于计算 Job 存储

如果作业类型是本地计算,则可以创建总共 8 TB 或 14 TB 的本地容量优化硬盘(sbg1) Amazon EBS 卷并将其附加到 Amazon EC2 实例。使用 Amazon EBS 卷允许本地 Amazon EC2 实例访问比仅根卷更多的本地容量。由于这只是本地存储,所以当设备返回到时,写入 Amazon EBS 卷的数据将丢失AWS因为无法导入 Amazon S3。

注意

NFS 服务器不可用于计算作业。如果您需要将数据导入或导出到或从AWS Cloud,下订单时不要选择本地计算作业类型。