管理 Storage Gateway 的本地磁盘 - AWS Storage Gateway

Amazon S3 文件网关文档已移至什么是 Amazon S3 文件网关?

Amazon FSx 文件网关文档已移至什么是 Amazon FSx 文件网关?

磁带网关文档已移至什么是磁带网关?

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

管理 Storage Gateway 的本地磁盘

网关虚拟机 (VM) 使用您在本地分配的本地磁盘进行缓冲和存储。在 Amazon EC2 实例上创建的网关使用 Amazon EBS 卷作为本地磁盘。

确定本地磁盘存储量

要为网关分配的磁盘的数量和大小由您自己决定。根据您部署的存储解决方案 (请参阅 规划 Storage Gateway 部署),网关需要以下附加存储:

  • 卷网关:

    • 存储网关至少需要一个磁盘用作上传缓冲区。

    • 缓存网关至少需要两个磁盘。一个用作缓存,另一个用作上传缓冲区。

下表为所部署的网关推荐了本地磁盘存储的大小。在设置网关后以及工作负载需求增大时,您可以添加更多本地存储。

本地存储 描述
上传缓冲区 上传缓冲区在网关将数据上传到 Amazon S3 之前为数据提供了一个暂存区域。您的网关通过加密的安全套接字层 (SSL) 连接将此缓冲区数据上传到 AWS。
缓存存储空间 缓存存储空间用作等待从上传缓冲区上传到 Amazon S3 的数据的本地持久存储。当应用程序对卷或磁带执行 I/O 时,网关会将数据保存到缓存存储以实现低延迟访问。当您的应用程序请求卷或磁带中的数据时,网关在从 AWS下载数据前会先检查缓存存储中的数据。
注意

预置磁盘时,强烈建议您不要将本地磁盘预置为使用相同物理存储资源(同一磁盘)的上传缓冲区和缓存存储空间。底层物理存储资源在 VMware 中表示为数据存储。部署网关 VM 时,您可选择用来存储 VM 文件的数据存储。预配置本地磁盘 (例如,用作缓存存储空间或上传缓冲区) 时,您可以选择将虚拟磁盘存储在与 VM 相同的数据存储中,也可以选择将其存储在其他数据存储中。

如果您有多个数据存储,强烈建议为缓存存储空间选择一个数据存储,为上传缓冲区选择另一个数据存储。仅由一个底层物理磁盘支持的数据存储在用于同时支持缓存存储空间和上传缓冲区的某些情况下可能导致性能不佳。这同样适用于备份是一个 RAID1 等低性能 RAID 配置的情况。

最初配置并部署网关后,您可以通过添加或删除用于上传缓冲区的磁盘来调整本地存储。还可以添加用于缓存存储空间的磁盘。

确定要分配的上传缓冲区的大小

您可以利用上传缓冲区公式来确定要分配的上传缓冲区的大小。我们强烈建议您至少分配 150 GiB 的上传缓冲区。如果公式返回小于 150 GiB 的值,请将 150 GiB 用作您分配给上传缓冲区的空间量。您可以为每个网关配置高达 2TiB 的上传缓冲区容量。

注意

对于卷网关,当上传缓冲区达到其容量后,您的卷将进入“传递”状态。在此状态下,您的应用程序写入的新数据会保存在本地,但不会 AWS 立即上传到。因此,您不能拍摄新快照。当上传缓冲区容量释放时,该卷将进入“BOOTSTRAPPING”(引导) 状态。在此状态下,任何保留在本地的新数据都将上传到。 AWS最后,该卷恢复为“活动”状态。然后,Storage Gateway 会恢复本地存储的数据与存储在中的副本的正常同步 AWS,然后您就可以开始拍摄新快照了。有关卷状态的更多信息,请参阅 了解卷状态和转换

若要估算要分配的上传缓冲区的容量,您可以确定所需的传入和传出数据速率,并将它们插入到以下公式。

传入数据的速率

此速率指应用程序吞吐量,亦即您的本地应用程序在某段时间内将数据写入网关的速率。

传出数据的速率

此速率指网络吞吐量,亦即您的网关将数据上传到 AWS时可达到的速率。此速率取决于您的网络速度、使用率以及您是否激活了带宽限制。该速率应该针对压缩率进行调整。将数据上传到时 AWS,网关会尽可能应用数据压缩。例如,如果您的应用程序数据为纯文本,您可以获得约 2:1 的有效压缩率。不过,如果您正在写入视频,网关可能无法实现任何数据压缩,并且可能需要更多的网关上传缓冲区。

如果满足以下任一条件,我们强烈建议您至少分配 150 GiB 的上传缓冲区空间:

  • 您的传入费率高于传出费率。

  • 公式返回一个小于 150 GiB 的值。

基于应用程序和网络吞吐量压缩和写入持续时间的上传缓冲区公式。

例如,假定您的业务应用程序每天 12 个小时以每秒 40 MB 的速率向网关写入文本数据并且您的网络吞吐量为每秒 12 MB。假定文本数据的压缩系数为 2:1,您将需要为上传缓冲区分配约 690 GiB 的空间。

((40 MB/sec) - (12 MB/sec * 2)) * (12 hours * 3600 seconds/hour) = 691200 megabytes

您可以将此近似值用来初步确定您希望分配给网关作为上传缓冲区空间的磁盘大小。使用 Storage Gateway 控制台按需添加更多的上传缓冲区空间。此外,您还可以使用 Amazon CloudWatch 运营指标来监控上传缓冲区的使用情况并确定额外的存储需求。有关指标及设置警报的更多信息,请参阅 监控上传缓冲区

确定要分配的缓存存储的大小

您的网关使用其缓存存储来提供对最近访问数据的低延迟访问。缓存存储空间用作等待从上传缓冲区上传到 Amazon S3 的数据的本地持久存储。一般而言,将缓存存储空间的大小配置为上传缓冲区大小的 1.1 倍。有关如何估算缓存存储大小的更多信息,请参阅 确定要分配的上传缓冲区的大小

您可以将此近似值用来初步为缓存存储空间预配置磁盘。然后,您可以使用 Amazon CloudWatch 运营指标监控缓存存储空间使用情况,并使用控制台根据需要配置更多存储空间。有关使用指标和设置警报的信息,请参阅 监控缓存存储

配置额外的上传缓冲区和缓存存储

随着应用程序需求的变化,您可以增加网关的上传缓冲区容量或缓存存储容量。您可以在不中断功能或导致停机的情况下为网关添加存储容量。添加更多存储时,在开启网关 VM 的情况下添加。

重要

向现有网关添加缓存或上传缓冲区时,必须在网关主机虚拟机管理程序或 Amazon EC2 实例上创建新磁盘。请勿删除或更改已分配为缓存或上传缓冲区的现有磁盘的大小。

为网关配置额外的上传缓冲区或缓存存储
  1. 在您的网关主机管理程序或 Amazon EC2 实例上预配置一个或多个新磁盘。有关如何在管理程序中预配置磁盘的信息,请参阅管理程序的文档。有关为 Amazon EC2 实例预配置 Amazon EBS 卷的信息,请参阅《适用于 Linux 实例的 Amazon Elastic Compute Cloud 用户指南》中的 Amazon EBS 卷。在以下步骤中,将此磁盘配置为上传缓冲区或缓存存储。

  2. 打开 Storage Gateway 控制台,网址为 https://console.aws.amazon.com/storagegateway/home

  3. 在导航窗格中,选择 网关

  4. 搜索您的网关并从列表中选择它。

  5. 操作菜单中选择配置存储

  6. 配置存储部分,确定您预配置的磁盘。如果您未看到您的磁盘,请选择刷新图标来刷新列表。对于每个磁盘,从已分配给下拉菜单中选择上传缓冲区缓存存储

    注意

    上传缓冲区是在存储卷网关上分配磁盘的唯一可用选项。

  7. 选择保存更改来保存您的配置设置。