AWS Snowball Edge 的工作原理 - AWS Snowball Edge 开发者指南

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

AWS Snowball Edge 的工作原理

AWS Snowball 边缘设备归所有 AWS,在使用时它们位于您的本地位置。

您可以在 AWS Snowball Edge 设备上使用三种作业类型。尽管不同类型的作业有不同的使用情形,但这些作业类型在预定、接收和寄回设备方面具有相同的工作流程。无论作业类型如何,每项作业都要在作业完成后按照美国国家标准与技术研究院 (NIST) 800-88 标准进行数据擦除。

共享工作流程
  1. 创建作业-每个作业都是在中创建的, AWS Snow 系列管理控制台 或者通过任务管理API以编程方式创建。可以在控制台中或通过控制台跟踪任务的状态API。

  2. 为您的作业准备设备:我们为您的作业准备 AWS Snowball Edge 设备,此时您的作业状态为正在准备 Snowball。从创建设备订单到订购设备后,此准备过程最多可能需要 4 周的时间。应将此时间表纳入您的项目计划中,以确保无缝过渡。

  3. 由您所在区域的承运商将设备运送给您:承运商从这里接管,您的作业状态现在为运送给您的途中。您可以在控制台或任务管理中找到您的追踪号码和追踪网站链接API。有关您所在区域的承运商的信息,请参阅Snow 系列设备的运输注意事项

  4. 接收设备 — 几天后,您所在地区的运营商会将 AWS Snowball Edge 设备运送到您在创建任务时提供的地址,您的任务状态将更改为 “已送达”。设备运抵后,您会注意到它并没有装箱,因为设备本身就是一个运输容器。

  5. 获取您的证书并下载 Snowball Edge 客户端:获取您的证书、作业清单以及清单的打开代码,然后下载 ,从而准备好开始传输数据。

    • Snowball Edge 客户端是一个用于管理从设备到本地数据目标的数据流的工具。

      您可以从 AWS Snowball 资源页面下载并安装 Snowball Edge 客户端。

      您必须从 AWS Snowball Edge 资源页面下载 Snowball Edge 客户端并将其安装在您的高性能工作站上。

    • 清单用于验证您对设备的访问权限,它经过加密,必须使用解锁代码才能解密。当设备位于您的本地位置API时,您可以从控制台或通过任务管理获取清单。

    • 解锁代码由 29 个字符组成,用于解密清单。您可以从控制台或通过任务管理获取解锁码API。建议您将解锁代码与清单分开保存,以防在设备位于您的经营场所期间,他人未经授权而访问设备。

  6. 定位硬件:将设备移动到您的数据中心内并按照外壳上的说明打开。给设备通电并将其连接到您的本地网络。

  7. 打开设备电源-接下来,按下LCD显示屏上方的电源按钮打开设备电源。稍等几分钟将显示 Ready 屏幕。

  8. 获取设备的 IP 地址-LCD 显示屏上有一个CONNECTION选项卡。点击此选项卡,获取 AWS Snowball Edge 设备的 IP 地址。

  9. 使用 Snowball Edge 客户端解锁设备 — 当您使用 Snowball Edge 客户端解锁 AWS Snowball Edge 设备时,请输入设备的 IP 地址、清单路径和解锁码。Snowball Edge 客户端解密清单并使用清单来验证您对设备的访问权限。

  10. 使用设备:设备现已启动,且正在运行。您可以使用它通过 Amazon S3 适配器或网络文件系统 (NFS) 挂载点传输数据,也可以在 Snow Family 设备上使用兼容 Amazon S3 的存储进行本地计算和存储。

  11. 为设备返程做好准备 — 在本地位置使用完设备后,按下LCD显示屏上方的电源按钮。设备关闭大约需要 20 秒。拔掉设备电源,将其电源线放入设备顶部的线缆凹槽内,然后将设备的三个门全部关闭。现在可以将设备寄回了。

  12. 您所在地区的运营商将设备退还给 AWS — 当运营商拥有 AWS Snowball Edge 设备时,任务的状态将变为 “正在运送至” AWS。

    注意

    导出和集群作业还需要执行其他步骤。有关更多信息,请参阅Snow Family 出口工作如何运作Snow Family 集群化本地计算和存储作业的工作原理

Snow Family 导入工作是如何

每个导入作业都使用单个 Snowball 设备。在任务管理中创建订购 Snow Family 设备的任务后API,我们会向你发货 Snowball。 AWS Snow 系列管理控制台 设备经过数日到达后,请将 Snowball Edge 设备连接到您的网络,并将要导入到 Amazon S3 的数据传输到该设备上。完成数据传输后,将 Snowball 运回去 AWS,然后我们会将您的数据导入 Amazon S3。

重要

如果您已打开 S3 对象锁定并启用默认保留设置,则导入过程无法从 Snow 设备写入 Amazon S3 中的存储桶。启用 Amazon S3 对象锁定后,您无法将其禁用或暂停存储段的存储桶版本控制。如果您的存储桶启用了 S3 对象锁定并启用了默认保留设置,则在返回 Snow Family 设备之前,请禁用 S3 对象锁定的保留设置。通过从设备导入数据后 AWS,再次启用存储桶上的保留设置。有关更多信息,请参阅设置或修改 S3 对象的保留期

如果存储桶上的IAM策略禁止写入存储桶,则导入过程也无法写入您在 Amazon S3 中的存储桶。有关更多信息,请参阅 Amazon S3 的身份和访问管理

Snow Family 出口工作如何运作

每个导出任务都可以使用任意数量的 AWS Snowball Edge 设备。如果列表中包含的数据量超过了单台设备所能容纳的数据量,则会向您提供多台设备。每个作业部分都正好有一个与其关联的设备。在您创建作业部分之后,第一个作业部分进入正在准备 Snowball 状态。

注意

用于将作业拆分为多个部分的列举操作是 Amazon S3 的一项功能,与您使用其他 Amazon S3 操作一样,您需要为该操作付费。

在此之后,我们很快就会开始将您的数据导出到设备。根据数据集的性质,导出数据所需的时间会有所不同。例如,导出许多小文件(小于 10 MB)所需的时间要长得多。导出完成后, AWS 准备好设备供您所在地区的运营商取货。当它到达时,您将 AWS AWS Snowball Edge 设备连接到您的网络,并将数据从设备传输到网络上的存储器。

完成数据传输后,请将设备运回至 AWS。在收到导出作业部分的设备后,我们会将其完全擦除。此删除遵循美国国家标准与技术研究所 (NIST) 800-88 的标准。此步骤标记这一特定作业部分的完成。

  • 对于 keylisting

    在导出 S3 存储桶中的对象之前,我们会扫描该存储桶。如果在扫描后更改存储桶,则作业可能会遭遇延迟,因为我们会扫描丢失或更改的对象。

  • 对于 S3 Glacier Flexible Retrieval

    请务必注意, AWS Snowball 无法导出 S3 Glacier 存储类中的对象。必须先还原这些对象,然后 AWS Snowball 才能成功导出存储桶中的对象。

Snow Family 本地计算和存储作业的工作原理

您可以通过在 Ama EKS zon Anywhere on Snow 中运行 AWS EC2兼容的计算实例或 Kubernetes 容器来使用 AWS Snowball Edge 设备的本地计算和存储功能。在计算功能方面,数据存储由 Snow 系列设备上与 Amazon S3 兼容的存储空间提供。

您可以在 Snowball Edge 设备上创建 Amazon S3 存储桶,以便为需要本地数据访问、本地数据处理和数据驻留的应用程序存储和检索本地对象。Snow Family 设备上与 Amazon S3 兼容的存储提供了一种新的存储类别SNOW,它使用 Amazon S3APIs,旨在在多台 Snowball Edge 设备上以持久和冗余的方式存储数据。您可以在 Snowball Edge 存储桶上使用与在 Amazon S3 上相同的功能,包括存储桶生命周期策略、加密APIs和标记。当一个或多个设备返回到时 AWS,在 Snow Family 设备上创建或存储在 Amazon S3 兼容存储器中的所有数据都将被删除。有关更多信息,请参阅仅限本地计算和存储的作业

有关更多信息,请参阅 有关使用 Snowball Edge 设备提供本地计算和存储功能的信息

Snow Family 集群化本地计算和存储作业的工作原理

集群作业是一种特殊的作业,仅用于本地存储和计算。该作业适用于那些需要提高数据持久性和存储容量的工作负载。有关更多信息,请参阅 有关在 Snowball Edge 设备集群上提供本地存储空间的作业的信息

注意

与独立的本地存储和计算作业一样,如果不将其他设备作为单独导入作业的一部分进行排序,则集群中存储的数据无法导入 Amazon S3 中。如果您对这些设备排序,您可以将数据从集群传输到这些设备,并在寄回设备时为导入作业导入数据。

集群有 3 到 16 个 AWS Snowball 边缘设备,称为节点。在您收到所在区域承运商运抵的节点后,为所有节点接通电源并将其连接到网络,以便获取它们的 IP 地址。您可以使用这些 IP 地址,利用其中一个节点的 IP 地址,通过单个解锁命令同时解锁集群的所有节点。有关更多信息,请参阅 配置和使用 Snowball Edge 客户端

您可以在 Snow 系列设备上使用与 Amazon S3 兼容的存储,并将数据分发到其他节点,从而将数据写入未锁定的集群。

集群处理完毕后,将所有节点运回到 AWS。收到集群节点后,我们将对 Snowball 执行完全的擦除操作。此删除遵循美国国家标准与技术研究所 (NIST) 800-88 的标准。

Snowball Edge 视频和博客