開始使用 Amazon FSx for Lustre - FSx for Lustre
必要條件步驟 1：建立您的 FSx for Lustre 件系統安裝光澤客戶端步驟 3：掛載檔案系統步驟 4：執行您的工作流程步驟 5：清除 資源

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

開始使用 Amazon FSx for Lustre

接下來，您可以學習如何開始使用 Amazon FSx for Lustre。這些步驟會引導您完成建立 Amazon FSx for Lustre 檔案系統，並從運算執行個體存取該檔案系統的步驟。或者，他們會示範如何使用 Amazon FSx for Lustre 檔案系統，透過檔案型應用程式處理 Amazon S3 儲存貯體中的資料。

此入門練習包括以下步驟。

必要條件

若要執行此入門練習，您需要下列項目：

  • 具有為 Lustre 檔案系統和 Amazon EC2 執行個體建立 Amazon FSx 所需許可的 AWS 帳戶。如需詳細資訊，請參閱 為光澤設置亞馬遜 FSx。

  • 建立一個要與 FSx for Lustre 檔案系統產生關聯的 Amazon VPC 安全群組，並且在建立檔案系統後不要變更它。如需詳細資訊，請參閱若要為 Amazon FSx 檔案系統建立安全群組。

  • 以 Amazon VPC 服務為基礎的虛擬私有雲端 (VPC) 中執行受支援 Linux 版本的 Amazon EC2 執行個體。對於這個入門練習，我們建議使用 Amazon Linux 2023。您將在這個 EC2 執行個體上安裝 Lustre 用戶端，然後將 FSx for Lustre 檔案系統掛載到 EC2 執行個體上。如需建立 EC2 執行個體的詳細資訊，請參閱 Amazon EC2 使用者指南中的入門：啟動執行個體或啟動執行個體。

    光澤客戶端支持 Amazon Linux; Amazon Linux 2; Amazon Linux 2023; CentOS 和紅帽企業 Linux 7.7 到 7.9, 8.2 到 8.9, 9.0, 9.3 和 9.4; 岩石 Linux 8.4 至 8.9, 9.0, 9.3, 和 9.4; 瑞士 Linux 企業伺服器 12 SP3, SP4, 和 SP5; 以及 如需詳細資訊，請參閱 Lustre 文件系統和客戶端內核兼容性。

    為此入門練習建立 Amazon EC2 執行個體時，請牢記以下事項：

    • 建議您在預設 VPC 中建立執行個體。

    • 建議您在建立 EC2 執行個體時使用預設安全群組。

  • Lustre 檔案系統的每個 FSx 都需要每個中繼資料伺服器 (MDS) 一個 IP 位址，而每個儲存伺服器 (OSS) 都需要一個 IP 位址。

    • 對於具有中繼資料組態的 Event_2 檔案系統，每個 12000 中繼資料 IOPS 值也需要檔案系統所在子網路內的一個 IP 位址。

    • 持續性 SSD 檔案系統會根據每個 OSS 提供 2.4 TiB 的儲存空間。

    • 輸送量容量為 12 MB/s/TiB 的持續性硬碟檔案系統，每個 OSS 會以 6 TiB 的儲存空間佈建。

    • 輸送量容量為 40 MB/s/TiB 的持續性硬碟檔案系統，會以每個 OSS 1.8 TiB 的儲存空間佈建。

    • Scratch_2 檔案系統會以每個 OSS 2.4 TiB 的儲存空間佈建。

    • Scratch_1 檔案系統會根據每個 OSS 提供 3.6 TiB 的儲存空間。

  • Amazon S3 儲存貯體可存放資料以供您的工作負載處理。S3 儲存貯體將成為 FSx for Lustre 檔案系統的連結持久性資料儲存庫。

  • 決定您要建立、暫存或持續使用哪種類型的 Lustre 檔案系統的 Amazon FSx。如需詳細資訊，請參閱 適用於 Lustre 檔案系統的 FSx 部署選項。

步驟 1：建立您的 FSx for Lustre 件系統

您可以在 Amazon FSx 主控台中建立檔案系統。

建立 檔案系統

  1. 開啟 Amazon FSx 主控台，網址為 https://console.aws.amazon.com/fsx/。

  2. 從儀表板中，選擇 [建立檔案系統] 以啟動檔案系統建立精靈。

  3. 選擇 FSx for Lustre，然後選擇下一步，以顯示「建立檔案系統」頁面。

  4. 在「檔案系統詳細資訊」區段中提供資訊：

    • 對於 [檔案系統名稱-選擇性]，請提供檔案系統的名稱。您最多可以使用 256 個 Unicode 字母、空格和數字加上特殊字元 +-=。_:/。

    • 對於部署和儲存類型，請選擇下列其中一個選項：

      SSD 儲存體提供低延遲、IOPS 密集型工作負載，這些工作負載通常具有小型隨機檔案作業。HDD 儲存提供輸送密集型工作負載，這些工作負載通常具有大型的順序檔案作業。

      如需儲存區類型的詳細資訊，請參閱多種存儲選項。

      如需部署類型的詳細資訊，請參閱適用於 Lustre 檔案系統的 FSx 部署選項。

      如需有關加密傳輸中資料可用 AWS 區域 位置的詳細資訊，請參閱加密傳輸中的資料。

      • 針對長期儲存，以及需要最高等級 IOPS/ 輸送量的延遲敏感工作負載，請選擇持續性 SSD 部署類型。檔案伺服器具有高可用性，資料會在檔案系統的可用區域內自動複製，並支援加密傳輸中的資料。持續性 SSD 使用「持續性 2」，這是最新一代的持續性檔案系統。

      • 選擇持續性 HDD 部署類型，適用於長期儲存，以及不敏感延遲的輸送量集中工作負載。檔案伺服器具有高可用性，資料會在檔案系統的可用區域內自動複製，而且此類型支援加密傳輸中的資料。持續性硬碟會使用持續性 1 部署類型。

        您可以選擇搭配 SSD 快取，建立大小為 HDD 儲存容量 20% 的 SSD 快取記憶體，為經常存取的檔案提供低於一毫秒的延遲和更高的 IOPS。

      • 選擇 S cratch、SSD 部署類型，用於暫時儲存和資料的短期處理。S@@ cratch，SSD 使用 Scratch 2 檔案系統，並提供傳輸中的資料加密功能。

    • 選擇檔案系統所需的每單位儲存體輸送量。此選項僅適用於持續性部署類型。

      每單位儲存體輸送量是每佈建 1 TB (TiB) 儲存區的讀取和寫入輸送量量，以 MB/S/TiB 為單位。您需要支付佈建的輸送量：

      • 如果是持續性固態硬碟儲存裝置，請選擇 125、250、500 或 1,000 MB/TIB 的值。

      • 對於持續性硬碟儲存裝置，請選擇 12 或 40 MB/S/TiB 的值。

      您可以在建立檔案系統之後，視需要增加或減少每個儲存單位的輸送量。如需詳細資訊，請參閱 管理輸送量容量。

    • 對於儲存容量，請在 TiB 中設定檔案系統的儲存容量：

      • 對於持續性、SSD 部署類型，請將此值設定為 1.2 TiB、2.4 TiB 或 2.4 TiB 的增量。

      • 對於持續性硬碟部署類型，此值可以在 12 MB/S/TIB 檔案系統中遞增 6.0 TiB，而對於 40 MB/S/TiB 檔案系統，此值可以遞增 1.8 TiB。

      建立檔案系統之後，您可以視需要增加儲存容量。如需詳細資訊，請參閱 管理儲存容量。

    • 對於「中繼資料組態」，您有兩個選項可為您的檔案系統佈建中繼資料 IOPS 數目：

      • 如果您希望 Amazon FSx 根據檔案系統的儲存容量在檔案系統上自動佈建和擴展中繼資料 IOPS，請選擇自動 (預設值)。

      • 如果您要指定要為檔案系統佈建的中繼資料 IOPS 數目，請選擇使用者佈建。有效值為15003000、600012000、和的倍數12000，最大值為。192000

      如需有關詮釋資料 IOPS 的更多資訊，請參閱光澤的元數據性能配置。

    • 對於「資料壓縮類型」，請選擇「無」以關閉資料壓縮，或選擇 LZ4 以使用 LZ4 演算法開啟資料壓縮。如需詳細資訊，請參閱 光澤資料壓縮。

    使用 Amazon FSx 主控台建立時，所有 FSx 的檔案系統都建立在 Lustre 2.15 版本上。

  5. 在 [網路與安全性] 區段中，提供下列網路和安全性群組資訊：

    • 對於 V irtual Private Cloud (VPC) (VPC)，請選擇要與檔案系統建立關聯的 VPC。在此入門練習中，請選擇您為 Amazon EC2 執行個體選擇的相同 VPC。

    • 對於 VPC 安全群組，應該已新增 VPC 預設安全性群組的 ID。如果您沒有使用預設安全性群組，請確定已將下列輸入規則新增至您用於此入門練習的安全性群組。

      Type 通訊協定 連接埠範圍 來源 描述
      所有 TCP TCP 0-65535 自訂 the_ID_of_this_security_group 入境光澤流量規則

      下列螢幕擷取顯示編輯輸入規則的範例。

      指派給 Lustre 檔案系統 FSx 的預設安全性群組上的輸入流量規則。
      重要

      請確定您使用的安全性群組遵循中提供的組態指示使用 Amazon VPC 進行檔案系統存取控制。您必須設定安全性群組，以允許來自安全性群組本身或完整子網路 CIDR 的連接埠 988 和 1018-1023 上的輸入流量，這是允許檔案系統主機彼此通訊所必需的。

    • 對於子網路，請從可用子網路清單中選擇任何值。

  6. 在「加密」區段中，可用的選項會因您建立的檔案系統類型而有所不同：

    • 對於持續性檔案系統，您可以選擇 AWS Key Management Service (AWS KMS) 加密金鑰來加密靜態檔案系統上的資料。

    • 對於暫存檔案系統，靜態資料會使用管理的金鑰加密 AWS。

    • 對於暫存 2 和永久性檔案系統，從支援的 Amazon EC2 執行個體類型存取檔案系統時，傳輸中的資料會自動加密。如需詳細資訊，請參閱 加密傳輸中的資料。

  7. 對於「資料儲存庫 Import/Export-選用」區段，依預設會停用將檔案系統連結至 Amazon S3 資料儲存庫。如需啟用此選項以及建立與現有 S3 儲存貯體之資料儲存庫關聯的詳細資訊，請參閱在建立檔案系統時連結 S3 儲存貯體 (主控台)。

    重要

    • 選取此選項也會停用備份，您將無法在建立檔案系統時啟用備份。

    • 如果您將一或多個用於 Lustre 檔案系統的 Amazon FSx 連結到 Amazon S3 儲存貯體，請在刪除所有連結的檔案系統之前，不要刪除 Amazon S3 儲存貯體。

  8. 對於記錄-選用，預設為啟用記錄。啟用後，檔案系統上資料儲存庫活動的故障和警告會記錄到 Amazon CloudWatch Logs。如需有關配置記錄的資訊，請參閱管理記錄。

  9. 在 Backup 和維護-可選中，您可以執行以下操作。

    對於每日自動備份：

    • 禁用每日自動備份。除非您啟用「資料儲存庫 Import /Export」，否則此選項預設為啟用。

    • 設置每日自動備份窗口的開始時間。

    • 設定自動備份保留期間，範圍為 1-35 天。

    如需詳細資訊，請參閱 使用備份。

  10. 設定「每週維護時段」 開始時間，或將其設定為預設 「否」偏好設定。

  11. 對於根壁球-可選，根壁球默認情況下處於禁用狀態。若要取得有關啟用和配置根壁球的資訊，請參閱要在創建文件系統時啟用根壁球（控制台）。

  12. 建立您要套用至檔案系統的任何標籤。

  13. 選擇下一步，顯示 [建立檔案系統摘要] 頁面。

  14. 檢閱適用於 Lustre 檔案系統的 Amazon FSx 設定，然後選擇「建立檔案系統」。

現在您已經建立了檔案系統，請記下其完整的網域名稱和掛載名稱，以便稍後執行。您可以在快取儀表板中選擇檔案系統的名稱，然後選擇附加，來尋找檔案系統的完整網域名稱和掛載名稱。

步驟 2：安裝和配置 Lustre 客戶端

您必須先執行下列動作，才能從 Amazon EC2 執行個體存取您的 Amazon FSx for Lustre 檔案系統：

  • 確認您的 EC2 執行個體符合最低核心需求。

  • 如有需要，請更新核心。

  • 下載並安裝 Lustre 客戶端。

檢查核心版本並下載 Lustre 用戶端

  1. 在 EC2 執行個體上開啟終端機視窗。

  2. 執行下列命令，判斷您的運算執行個體目前正在執行的核心。

    uname -r

  3. 執行以下任意一項：

    • 如果指令傳回 6.1.79-99.167.amzn2023.x86_64 x86 型 EC2 執行個體，6.1.79-99.167.amzn2023.aarch64或傳回以 Graviton2 為基礎的 EC2 執行個體的更高版本，請使用下列指令下載並安裝 Lustre 用戶端。

      sudo dnf install -y lustre-client

    • 如果命令傳回的結果小6.1.79-99.167.amzn2023.x86_64於 x86 型 EC2 執行個體，或低於以 Graviton2 6.1.79-99.167.amzn2023.aarch64 為基礎的 EC2 執行個體傳回的結果，請執行下列命令更新核心並重新啟動 Amazon EC2 執行個體。

      sudo dnf -y update kernel && sudo reboot

      使用uname -r指令確認核心已更新。然後下載並安裝 Lustre 客戶端，如上所述。

    如需在其他 Linux 發行版本上安裝 Lustre 用戶端的相關資訊，請參閱。安裝光澤客戶端

步驟 3：掛載檔案系統

若要掛載檔案系統，您需要建立掛載目錄或掛載點，然後將檔案系統掛載到用戶端上，並確認您的用戶端是否可以存取檔案系統。

若要掛載您的檔案系統

  1. 使用以下命令建立掛載點的目錄。

    sudo mkdir -p /mnt/fsx

  2. 將 Lustre 的 Amazon FSx 檔案系統掛載到您建立的目錄。使用下列命令並取代下列項目：

    • file_system_dns_name以實際檔案系統的網域名稱系統 (DNS) 名稱取代。

    • 以檔案系統的掛載名稱取代mountname，您可以透過執行describe-file-systems AWS CLI 指令或 DescribeFileSystemsAPI 作業取得此名稱。

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    此指令會以兩個選項掛載您的檔案系統，-o relatime並且flock：

    • relatime— 雖然選atime項會在每次存取檔案時維護 atime (inode 存取時間) 資料，但該relatime選項也會維護atime資料，但不會在每次存取檔案時保留資料。啟用此relatime選項後，只有在atime資料上次更新 (mtime) 後修改檔案，或檔案上次存取超過特定時間 (預設為 6 小時) 時，才會將atime資料寫入磁碟。使用relatime或選atime項將最佳化檔案發行程序。

      注意

      如果您的工作負載需要精確的存取時間準確性，您可以使用掛載選項進行atime裝載。不過，這樣做可能會增加維持精確存取時間值所需的網路流量，影響工作負載效能。

      如果您的工作負載不需要中繼資料存取時間，使用noatime掛載選項停用存取時間的更新可提升效能。請atime注意，文件發布或發布數據有效性等重點過程在其發布中將不正確。

    • flock— 啟用檔案系統的檔案鎖定。如果您不想啟用檔案鎖定，請使用不含檔案鎖定的mount指令flock。

  3. 使用下列指令列出您掛載檔案系統的目錄內容/mnt/fsx，以確認 mount 指令是否成功。

    ls /mnt/fsx
import-path  lustre
$

    您也可以使用下面的df命令。

    df
Filesystem                      1K-blocks    Used  Available Use% Mounted on
devtmpf                          1001808       0    1001808   0% /dev
tmpfs                            1019760       0    1019760   0% /dev/shm
tmpfs                            1019760     392    1019368   1% /run
tmpfs                            1019760       0    1019760   0% /sys/fs/cgroup
/dev/xvda1                       8376300 1263180    7113120  16% /
123.456.789.0@tcp:/mountname  3547698816   13824 3547678848   1% /mnt/fsx
tmpfs                             203956       0     203956   0% /run/user/1000

    結果顯示在 /mnt/fsx 上掛載的 Amazon FSx 檔案系統。

步驟 4：執行您的工作流程

現在您的檔案系統已建立並掛接到運算執行個體，您可以使用它來執行高效能運算工作負載。

您可以建立資料儲存庫關聯，將檔案系統連結至 Amazon S3 資料儲存庫。如需詳細資訊，請參閱將檔案系統連結至 S3 儲存貯體。

將檔案系統連結至 Amazon S3 資料儲存庫之後，您可以隨時將寫入檔案系統的資料匯出回 Amazon S3 儲存貯體。從其中一個運算執行個體上的終端機執行下列命令，將檔案匯出到 Amazon S3 儲存貯體。

sudo lfs hsm_archive file_name

如需如何在資料夾或大量檔案上快速執行此命令的詳細資訊，請參閱使用 HSM 命令匯出檔案。

步驟 5：清除 資源

完成這個練習之後，您應該依照下列步驟清理資源並保護您的 AWS 帳戶。

清理資源

  1. 如果您要進行最終匯出，請執行下列命令。

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &

  2. 在 Amazon EC2 主控台上，終止您的執行個體。如需詳細資訊，請參閱 Amazon EC2 使用者指南中的終止執行個體。

  3. 在 Amazon FSx for Lustre 主控台上，按照下列程序刪除您的檔案系統：

    1. 在瀏覽窗格中，選擇 [檔案系統]。

    2. 從儀表板上的檔案系統清單中選擇要刪除的檔案系統。

    3. 針對 Actions (動作)，選擇 Delete file system (刪除檔案系統)。

    4. 在出現的對話方塊中，選擇是否要對檔案系統進行最終備份。然後提供檔案系統 ID 以確認刪除。選擇 [刪除檔案系統]。

  4. 如果您為此練習建立了 Amazon S3 儲存貯體，而且不想保留匯出的資料，現在可以將其刪除。如需詳細資訊，請參閱 Amazon 簡單儲存服務使用者指南中的刪除儲存貯體。