管理元数据性能 - FSx for Lustre

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

管理元数据性能

您可以使用 Amazon FSx 控制台、Amazon FSx API 或 () 更新 FSx for Lustre 文件系统的元数据配置,而不会对最终用户或应用程序造成任何干扰。 AWS Command Line Interface AWS CLI更新过程会增加您的文件系统预配置的元数据 IOPS 的数量。

注意

只能在使用 Persistent_2 部署类型和指定元数据配置创建的 FSx for Lustre 文件系统上提高元数据性能。

文件系统提高的元数据性能可在几分钟内使用。只要元数据性能提升请求间隔至少 6 小时,您就可以随时更新元数据性能。在扩展元数据性能时,文件系统可能会在几分钟内不可用。在文件系统不可用时客户端发出的文件操作将透明地重试,并最终在元数据性能扩展完成后成功。在新的元数据性能提升可供您使用后,您需要为其付费。

您可以使用 Amazon FSx 控制台、CLI 和 API 随时跟踪元数据性能提升的进度。有关更多信息,请参阅 监控元数据配置更新

Lustre 元数据性能配置

预配置的元数据 IOPS 的数量决定了文件系统可以支持的最大元数据操作速率。

创建文件系统时,您可以选择两种元数据配置模式之一,即自动或用户配置:

  • 在自动模式下,Amazon FSx 会根据您的文件系统存储容量自动配置和扩展文件系统的元数据 IOPS 数量。

  • 在用户配置模式下,您可以指定要为文件系统配置的元数据 IOPS 数量。

您可以随时从自动模式切换到用户配置模式。如果文件系统上配置的元数据 IOPS 数量与自动模式下预配置的元数据 IOPS 的默认数量相匹配,则也可以从用户配置模式切换到自动模式。

有效的元数据 IOPS 值为 1500、3000、6000、12000 和 12000 的倍数,最大值为 192000。每个 12000 元数据 IOPS 值都需要在文件系统所在的子网内有一个 IP 地址。

在自动模式下预配置的元数据 IOPS 的默认数量取决于您的文件系统容量。有关基于文件系统存储容量预配置的元数据 IOPS 的默认数量的信息,请参阅此表

如果您的工作负载的元数据性能超过了在自动模式下预配置的元数据 IOPS 数量,则可以使用用户配置模式来增加文件系统的元数据 IOPS 值。

您可以按如下方式查看文件系统元数据服务器配置的当前值:

  • 使用控制台-在文件系统详细信息页面的摘要面板上,元数据 IOPS 字段显示已配置的元数据 IOPS 的当前值以及文件系统的当前元数据配置模式(自动或用户配置)。

  • 使用 CLI 或 API — 使用 desc ribe-file-sy stems CLI 命令或DescribeFile系统 API 操作,然后查找属性。 MetadataConfiguration

提高元数据性能时的注意事项

以下是提高元数据性能时的一些重要注意事项:

  • 仅提高元数据性能-您只能增加文件系统的元数据 IOPS 数量;不能减少元数据 IOPS 的数量。

  • 不支持在自动模式下指定元数据 IOPS-您无法在处于自动模式的文件系统上指定元数据 IOPS 的数量。你必须切换到用户配置模式,然后提出请求。有关更多信息,请参阅 更改元数据配置模式

  • 两次@@ 提高之间的时间-在请求上次提高的 6 小时后,您才能进一步提高文件系统的元数据性能。

  • 并行元数据性能和 SSD 存储空间提高 — 您无法同时扩展元数据性能和文件系统存储容量。

何时提高元数据性能

当您需要运行比文件系统默认配置更高的元数据性能级别的工作负载时,请增加元数据 IOPS 的数量。您可以使用图表 AWS Management Console 来监控您的元数据性能,该Metadata IOPS Utilization图表提供了您在文件系统上消耗的预配置元数据服务器性能的百分比。

您还可以使用更精细的 CloudWatch 指标来监控元数据性能。 CloudWatch 指标包括DiskReadOperationsDiskWriteOperations,它们提供需要磁盘 IO 的元数据服务器操作量,以及元数据操作的精细指标,包括文件和目录的创建、统计信息、读取和删除。有关更多信息,请参阅 文件系统元数据指标