开始使用 Amazon for Lu FSx stre - FSx 为了光泽
先决条件第 1 步：创建你的 f FSx or Lustre 文件系统安装   Lustre 客户端步骤 3：挂载文件系统步骤 4：运行工作流程第 5 步：清除 资源

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

开始使用 Amazon for Lu FSx stre

接下来，你可以学习如何开始使用 Amazon FSx for Lustre。这些步骤将引导您创建一个 Amazon f FSx or Lustre 文件系统并从您的计算实例访问该文件系统。（可选）它们展示如何使用您的 Amazon FSx for Lustre 文件系统通过基于文件的应用程序处理 Amazon S3 存储桶中的数据。

此入门练习包括以下步骤。

先决条件

要进行此次入门练习，您需要：

  • 具有创建 A FSx mazon for Lustre 文件系统和亚马逊 EC2 实例所需权限的 AWS 账户。有关更多信息，请参阅 设置 Amazon FSx for Lustre。

  • 创建要与您 FSx 的 for Lustre 文件系统关联的 Amazon VPC 安全组，并且在创建文件系统后不要对其进行更改。有关更多信息，请参阅为您的 Amazon FSx 文件系统创建安全组。

  • 在您的虚拟私有云 (VPC) 中基于亚马逊 VPC 服务运行支持的 Linux 版本的亚马逊 EC2 实例。在此入门练习中，我们建议使用 Amazon Linux 2023。你将安装 Lustre 在此 EC2 实例上安装客户端，然后在该 EC2 实例上安装您 FSx 的 for Lustre 文件系统。有关创建 EC2 实例的更多信息，请参阅 Amazon EC2 用户指南中的入门：启动实例或启动您的实例。

    除了亚马逊 Linux 2023 之外，Lustre 客户端支持 Amazon Linux 2、红帽企业 Linux (RHEL)、CentOS、Rocky Linux、SUSE Linux 企业服务器和 Ubuntu 操作系统。有关更多信息，请参阅 Lustre 文件系统和客户机内核兼容性。

  • 在为本入门练习创建 Amazon EC2 实例时，请记住以下几点：

    • 我们建议您在默认 VPC 中创建实例。

    • 我们建议您在创建 EC2 实例时使用默认安全组。

  • 确定您要创建哪种类型的 Amazon FSx for Lustre 文件系统，即暂存文件系统还是永久文件系统。有关更多信息，请参阅 适用于 FSx Lustre 文件系统的部署选项。

  • 每个 FSx Lustre 文件系统要求每个元数据服务器 (MDS) 有一个 IP 地址，每个存储服务器 (OSS) 需要一个 IP 地址。

    文件系统类型 吞吐量， MBps/TiB 每个 OSS 的存储空间
    持续 2 EFA 125 每个 OSS 38.4 TiB
    250 每个 OSS 19.2 TiB
    500 每个 OSS 8.6 TiB
    1000 每个 OSS 4.8 TiB
    持续 2 非 EFA 125、250、500、1000 每个 OSS 2.4 TiB
    永久性 1 固态硬盘 50、100、200 每个 OSS 2.4 TiB
    永久硬盘 12 每个 OSS 6 TiB
    40 每个 OSS 1.8 TiB
    从头开始 2 200 每个 OSS 2.4 TiB
    Scratch 1 200 每个 OSS 3.6 TiB

  • 一个 Amazon S3 桶，用于存储要处理的工作负载数据。S3 存储桶将是您 FSx 的 for Lustre 文件系统的链接持久数据存储库。

第 1 步：创建你的 f FSx or Lustre 文件系统

您可以在 Amazon FSx 控制台中创建您的文件系统。

要创建文件系统，请执行以下操作：

  1. 打开 Amazon FSx 控制台，网址为https://console.aws.amazon.com/fsx/。

  2. 在控制面板上，选择创建文件系统以启动文件系统创建向导。

  3. 选择 FSx for Lustre然后选择 “下一步” 以显示 “创建文件系统” 页面。

  4. 在文件系统详细信息部分提供信息：

    • 在文件系统名称 – 可选部分为您的文件系统提供一个名称。您最多可以使用 256 个 Unicode 字母、空格和数字以及特殊字符 + - = . _ : /。

    • 对于部署和存储类别，请选择以下选项之一：

      • 对于长期存储和需要最高级别 IOPS/吞吐量的延迟敏感型工作负载，请选择持久性、SSD 部署类型。持久性、SSD 使用最新一代持久性文件系统 Persistent 2。

        （可选）选择支持 EFA，为文件系统启用弹性结构适配器 (EFA) Fabric Adapter 支持。有关 EFA 的更多信息，请参阅使用支持 EFA 的文件系统。

      • 对于长期存储和侧重于吞吐量且对延迟不敏感的工作负载，请选择持久性、HDD。持久性、HDD 使用 Persistent 1 部署类型。

        或者，选择使用 SSD 缓存来创建大小为 HDD 存储容量的 20% 的 SSD 缓存，以便为经常访问的文件提供亚毫秒级的延迟和更高的 IOPS。

      • 对于临时存储和短期数据处理，请选择 Scratch、SSD 部署类型。从头开始，固态硬盘使用 Scratch 2 文件系统。

    • 为您的文件系统选择每单位存储的吞吐量。此选项仅对持久性部署类型有效。

      每单位存储的吞吐量是预配置的每 1 TB (TiB) 存储的读取和写入吞吐量，以 /TiB 为单位。 MBps您需要为预置吞吐量付费：

      • 对于永久固态硬盘存储，请选择 125、250、500 或 1,000 MBps /TiB 的值。

      • 对于永久硬盘存储，请选择 12 或 40 MBps /TiB 的值。

    • 对于存储容量，请设置文件系统的存储容量，以 TiB 为单位：

      • 对于持久性、SSD 部署类型，请将该值设置为 1.2TiB、2.4TiB 或 2.4TiB 的增量。

      • 对于支持 EFA 的永久固态硬盘部署类型，在 1000、500、250 和 125 /TiB 吞吐量层中分别以 4.8 TiB、8.6 TiB、19.2 TiB 和 38.4 TiB 的增量设置此值。 MBps

      • 对于永久硬盘部署类型，对于 12 MBps /TiB 文件系统，此值可以是 6.0 TiB 的增量，对于 40 /TiB 文件系统，此值可以是 1.8 TiB 的增量。 MBps

      创建文件系统后，您可以根据需要增加存储容量。有关更多信息，请参阅 管理存储容量。

    • 对于元数据配置，可以使用以下两个选项来预置文件系统的 Metadata IOPS 数：

      • 如果您希望 Amazon FSx 根据文件系统的存储容量自动预配置和扩展文件系统的元数据 IOPS，请选择 “自动”（默认）。

      • 如果要指定 Metadata IOPS 数，请选择用户预调配，对文件系统进行预调配。有效值为 1500、3000、6000、12000 和 12000 的倍数，最大值为 192000。

      有关元数据 IOPS 的更多信息，请参阅 Lustre 元数据性能配置。

    • 对于数据压缩类型，选择 “无” 以关闭数据压缩，或者选择LZ4使用 LZ4 算法开启数据压缩。有关更多信息，请参阅 Lustre 数据压缩。

    F FSx or Lustre 文件系统都建立在这一基础之上 Lustre 使用亚马逊 FSx 控制台创建时为 2.15 版。

  5. 在网络与安全部分，提供以下网络和安全组信息：

    • 对于虚拟私有云（VPC），请选择要与文件系统关联的 VPC。在本入门练习中，请选择您为 Amazon EC2 实例选择的相同 VPC。

    • 对于 VPC 安全组，应该已经添加了您的 VPC 的默认安全组 ID。

      如果您未使用默认安全组，请确保将以下入站规则添加到您在此入门练习中使用的安全组中。

      Type 协议 端口范围 源 描述
      所有 TCP TCP 0-65535 自定义 the_ID_of_this_security_group 入站 Lustre 交通规则
      重要

      • 确保您使用的安全组遵循 使用 Amazon VPC 进行文件系统访问控制 中提供的配置说明。您必须将安全组设置为允许 988 端口和 1018-1023 端口来自安全组本身或完整子网 CIDR 的入站流量，这样文件系统主机之间才能相互通信。

      • 如果要创建启用 EFA 的文件系统，请务必指定启用 E FA 的安全组。

    • 对于子网，请从可用子网列表中选择任意值。

  6. 对于加密部分，可用选项因您要创建的文件系统类型而异：

    • 对于永久性文件系统，您可以选择 AWS Key Management Service (AWS KMS) 加密密钥来加密文件系统上的静态数据。

    • 对于临时文件系统，使用由管理的密钥对静态数据进行加密 AWS。

    • 对于 scratch 2 和永久文件系统，当从支持的 Amazon EC2 实例类型访问文件系统时，传输中的数据会自动加密。有关更多信息，请参阅 加密传输中数据。

  7. 对于数据存储库 Import/Export – 可选部分，系统会默认禁用将您的文件系统链接到 Amazon S3 数据存储库。有关启用此选项以及创建与现有 S3 桶关联的数据存储库的信息，请参阅 在创建文件系统时链接 S3 桶（控制台）。

    重要

    • 选择此选项还会禁用备份，因此您在创建文件系统时将无法启用备份。

    • 如果您将一个或多个 Amazon FSx for Lustre 文件系统关联到 Amazon S3 存储桶，则在删除所有链接的文件系统之前，请勿删除 Amazon S3 存储桶。

  8. 对于日志记录 – 可选，系统默认情况下已启用日志记录。启用后，文件系统上数据存储库活动的故障和警告将记录到 Amazon L CloudWatch ogs 中。有关配置日志记录的信息，请参阅 管理日志记录。

  9. 在备份和维护 – 可选中，您可以执行以下操作。

    对于每日自动备份：

    • 禁用每日自动备份。除非您启用了数据存储库 Import/Export，否则此选项默认处于启用状态。

    • 设置每日自动备份时段的开始时间。

    • 将自动备份保留期设置为 1-35 天。

    有关更多信息，请参阅 使用备份。

  10. 设置每周维护时段的开始时间，或者将其设置为默认的无首选项。

  11. 对于根挤压（可选），根挤压默认禁用。有关启用和配置适用于根挤压的信息，请参阅 创建文件系统时启用根挤压（控制台）。

  12. 创建您希望应用于文件系统的所有标签。

  13. 选择下一步以显示创建文件系统摘要页面。

  14. 查看您的 Amazon f FSx or Lustre 文件系统的设置，然后选择创建文件系统。

现在，您已经创建了文件系统，请记下其完全限定域名和挂载名称以供后续步骤使用。在缓存控制面板中选择文件系统的名称，然后选择附加，可以找到文件系统的完全限定域名和挂载名称。

步骤 2：安装和配置 Lustre 客户端

在从您的亚马逊 EC2 实例访问您 FSx 的 Amazon for Lustre 文件系统之前，您必须执行以下操作：

  • 验证您的 EC2 实例是否满足最低内核要求。

  • 需要时请更新内核。

  • 下载并安装 Lustre 客户。

要检查内核版本并下载 Lustre 客户端

  1. 在您的 EC2 实例上打开终端窗口。

  2. 通过运行以下命令确定您的计算实例上当前运行的是哪个内核。

    uname -r

  3. 请执行以下操作之一：

    • 如果基于 x86 6.1.79-99.167.amzn2023.x86_64 的实例返回该命令，6.1.79-99.167.amzn2023.aarch64或者基于 Graviton2 的 EC2 实例返回更高版本的命令，请下载并安装 EC2 Lustre 使用以下命令的客户端。

      sudo dnf install -y lustre-client

    • 如果该命令返回的结果小于基6.1.79-99.167.amzn2023.x86_64于 x86 的 EC2 实例，或者小于基于 Graviton2 6.1.79-99.167.amzn2023.aarch64 的 EC2 实例的结果，请运行以下命令更新内核并重启您的 Amazon EC2 实例。

      sudo dnf -y update kernel && sudo reboot

      使用 uname -r 命令确认是否已更新内核。然后下载并安装 Lustre 客户如上所述。

    有关安装的信息 Lustre 其他 Linux 发行版上的客户端，请参阅安装   Lustre 客户端。

步骤 3：挂载文件系统

要装载文件系统，您需要创建一个挂载目录或挂载点，然后将文件系统挂载到客户端上，并验证客户端是否可以访问该文件系统。

要挂载您的文件系统，请执行以下操作：

  1. 使用以下命令为挂载点创建目录。

    sudo mkdir -p /mnt/fsx

  2. 将 Amazon f FSx or Lustre 文件系统挂载到您创建的目录中。使用以下命令并替换以下项目：

    • file_system_dns_name 替换为实际文件系统的域名系统（DNS）名称。

    • mountname替换为文件系统的挂载名称，您可以通过运行describe-file-systems AWS CLI 命令或 DescribeFileSystemsAPI 操作来获取该名称。

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    此命令使用 -o relatime 和 flock 两个选项挂载您的文件系统：

    • relatime – 选项 atime 会维护每次访问文件时的 atime 数据（索引节点访问时间），而选项 relatime 虽然会维护 atime 数据，但不是每次访问文件时都维护。启用选项 relatime 后，只有当文件在上次 atime 数据更新之后被修改（mtime），或者距离上次访问文件已超过一定时间（默认为 6 小时）的情况下，atime 数据才会被写入磁盘。使用选项 relatime 或 atime 将优化文件发布过程。

      注意

      如果您的工作负载需要精确的访问时间准确度，则可以使用 atime 挂载选项进行挂载。但是，这样做可能会增加保持精确访问时间值所需的网络流量，进而影响工作负载性能。

      如果您的工作负载不需要元数据访问时间，则使用 noatime 挂载选项禁用访问时间更新可以提高性能。请注意，诸如文件发布或数据发布有效性等注重 atime 的过程在发布中可能不准确。

    • flock – 为您的文件系统启用文件锁定。如果您不想启用文件锁定，请使用不启用 flock 的 mount 命令。

  3. 使用以下命令列出挂载文件系统 /mnt/fsx 的目录的内容，验证挂载命令是否成功。

    ls /mnt/fsx
import-path  lustre
$

    您也可以使用以下 df 命令。

    df
Filesystem                      1K-blocks    Used  Available Use% Mounted on
devtmpf                          1001808       0    1001808   0% /dev
tmpfs                            1019760       0    1019760   0% /dev/shm
tmpfs                            1019760     392    1019368   1% /run
tmpfs                            1019760       0    1019760   0% /sys/fs/cgroup
/dev/xvda1                       8376300 1263180    7113120  16% /
123.456.789.0@tcp:/mountname  3547698816   13824 3547678848   1% /mnt/fsx
tmpfs                             203956       0     203956   0% /run/user/1000

    结果显示 Amazon FSx 文件系统已挂载on /mnt/fsx。

步骤 4：运行工作流程

现在，您的文件系统已创建并挂载到计算实例，您可以用它来运行高性能计算工作负载。

您可以创建数据存储库关联，将您的文件系统链接到 Amazon S3 数据存储库。更多信息请参阅 将文件系统链接到 Amazon S3 存储桶。

将文件系统链接到 Amazon S3 数据存储库后，您可以随时将写入文件系统的数据导回您的 Amazon S3 桶。在其中一个计算实例的终端上，运行以下命令将文件导出到 Amazon S3 桶。

sudo lfs hsm_archive file_name

有关如何快速在文件夹或大批量文件上运行此命令的更多信息，请参阅 使用 HSM 命令导出文件。

第 5 步：清除 资源

完成本练习后，您应按照以下步骤清理资源并保护您的 AWS 帐户。

清理资源

  1. 如果您想进行最终导出，请运行以下命令。

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &

  2. 在 Amazon EC2 控制台上，终止您的实例。有关更多信息，请参阅 Amazon EC2 用户指南中的终止您的实例。

  3. 在 Amazon f FSx or Lustre 控制台上，按照以下步骤删除您的文件系统：

    1. 在导航窗格中选择文件系统。

    2. 选择要从控制面板的文件系统列表中删除的文件系统。

    3. 对于操作，选择删除文件系统。

    4. 在随后显示的对话框中，选择是否要对文件系统进行最终备份。然后提供文件系统 ID 以确认删除。选择删除文件系统。

  4. 如果您为此练习创建了 Amazon S3 桶，并且不想保留导出的数据，则现在可以将其删除。有关更多信息，请参阅《Amazon Simple Storage Service 用户指南》中的删除桶。