SharedStorage 區段 - AWS ParallelCluster

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

SharedStorage 區段

(選擇性) 叢集的共用儲存裝置設定。

AWS ParallelCluster 支援使用 Amazon EBSFSx 用於 ONTAP,以及用於OpenZF 共享儲存磁碟區的 FSx、Amazon EFSFSx for Lustre 共享儲存檔案系統) 或檔案快取。

在此SharedStorage區段中,您可以定義外部儲存或受管理的儲存體:

  • 外部儲存是指您管理的現有磁碟區或檔案系統。 AWS ParallelCluster 不會建立或刪除它。

  • AWS ParallelCluster 受管理儲存是指建 AWS ParallelCluster 立且可以刪除的磁碟區或檔案系統。

如需共用儲存配額及設定共用儲存裝置的詳細資訊,請參閱使用共用儲存中的 AWS ParallelCluster。

注意

如果 AWS Batch 作為排程器使用,則 FSx for Lustre 只能在叢集標頭節點上使用。

SharedStorage: - MountDir: string Name: string StorageType: Ebs EbsSettings: VolumeType: string Iops: integer Size: integer Encrypted: boolean KmsKeyId: string SnapshotId: string Throughput: integer VolumeId: string DeletionPolicy: string Raid: Type: string NumberOfVolumes: integer - MountDir: string Name: string StorageType: Efs EfsSettings: Encrypted: boolean KmsKeyId: string EncryptionInTransit: boolean IamAuthorization: boolean PerformanceMode: string ThroughputMode: string ProvisionedThroughput: integer FileSystemId: string DeletionPolicy: string - MountDir: string Name: string StorageType: FsxLustre FsxLustreSettings: StorageCapacity: integer DeploymentType: string ImportedFileChunkSize: integer DataCompressionType: string ExportPath: string ImportPath: string WeeklyMaintenanceStartTime: string AutomaticBackupRetentionDays: integer CopyTagsToBackups: boolean DailyAutomaticBackupStartTime: string PerUnitStorageThroughput: integer BackupId: string KmsKeyId: string FileSystemId: string AutoImportPolicy: string DriveCacheType: string StorageType: string DeletionPolicy: string DataRepositoryAssociations: - Name: string BatchImportMetaDataOnCreate: boolean DataRepositoryPath: string FileSystemPath: string ImportedFileChunkSize: integer AutoExportPolicy: string AutoImportPolicy: string - MountDir: string Name: string StorageType: FsxOntap FsxOntapSettings: VolumeId: string - MountDir: string Name: string StorageType: FsxOpenZfs FsxOpenZfsSettings: VolumeId: string - MountDir: string Name: string StorageType: FileCache FileCacheSettings: FileCacheId: string

SharedStorage更新政策

SharedStorage 屬性

MountDir必填String

掛接共用儲存裝置的路徑。

更新原則:如果變更此設定,則不允許更新。

Name必填String

共用儲存裝置的名稱。您可以在更新設定時使用此名稱。

警告

如果您指定 AWS ParallelCluster 受管理的共用儲存區,並變更的值Name,則會刪除現有受管理的共用儲存區和資料,並建立新的受管理共用儲存區。Name使用叢集更新變更的值等同於以新的受管理共用儲存裝置取代現有的受管理共用儲存裝置。Name如果您需要保留現有共用儲存裝置中的資料,請務必在變更前備份資料。

更新原則:對於此清單值設定,必須停止運算叢集,或者QueueUpdateStrategy必須設定為新增值;移除現有值時必須停止運算叢集。

StorageType必填String

共用儲存裝置的類型。支援的值為EbsEfsFsxLustreFsxOntap、和FsxOpenZfs

如需詳細資訊,請參閱FsxLustreSettingsFsxOntapSettingsFsxOpenZfsSettings

注意

如果您使用 AWS Batch 作為排程器,則 FSx for Lustre 只能在叢集標頭節點上使用。

更新原則:如果變更此設定,則不允許更新。

EbsSettings

(選擇性) Amazon EBS 磁碟區的設定。

EbsSettings: VolumeType: string Iops: integer Size: integer Encrypted: boolean KmsKeyId: string SnapshotId: string VolumeId: string Throughput: integer DeletionPolicy: string Raid: Type: string NumberOfVolumes: integer

更新原則:如果變更此設定,則不允許更新。

EbsSettings 屬性

當設定DeletionPolicy為時Delete,如果刪除叢集或使用叢集更新移除磁碟區,則會刪除受管理磁碟區及其資料。

如需詳細資訊,請參閱使用共用儲存中的 AWS ParallelCluster。

VolumeType可選String

指定 Amazon EBS 磁碟區類型。支援的值為gp2gp3io1io2sc1st1、和standard。預設值為 gp3

如需詳細資訊,請參閱《Linux 執行個體的 Amazon EC2 使用者指南》中的 Amazon EBS 磁碟區類型

更新原則:如果變更此設定,則不允許更新。

Iops可選Integer

定義io1io2gp3類型磁碟區的 IOPS 數目。

預設值、支援的值和總volume_iopsvolume_size比例會因VolumeType和而異Size

VolumeType = io1

預設值 Iops =

支援的值 Iops =

最大volume_iopsvolume_size率 = 每個 GiB 的 50 IOPS。5000 IOPS 需要一volume_size個至少 100 GiB。

VolumeType = io2

預設值 Iops =

支援的值 Iops = 100 至 64 萬 (對於io2區塊快速磁碟區為 256000) †

Iops個 GiB 的最大Size比例 = 500 IOPS。5000 IOPS 需要至少 10 GiB 博Size的一個。

VolumeType = gp3

預設Iops

支援的Iops

Iops個 GiB 的最大Size比例 = 500 IOPS。5000 IOPS 需要至少 10 GiB 博Size的一個。

† 只有在已佈建超過 32,000 IOPS 的硝基系統上建置的執行個體上才能保證最大 IOPS。其他執行個體可保證高達 32,000 IOPS。除非您修改磁碟區,否則較早的io1磁碟區可能無法達到完整的效能。 io2區塊快速磁碟區在R5b執行個體類型上支援高達 256000 的volume_iops值。如需詳細資訊,請參閱 Amazon EC2 Linux 執行個體使用者指南中的io2塊快速磁碟區

更新原則:您可以在更新期間變更此設定。

Size可選Integer

以吉位元組 (GiB) 為單位指定磁碟區大小。預設值為 35。

更新原則:如果變更此設定,則不允許更新。

Encrypted可選Boolean

指定磁碟區是否已加密。預設值為 true

更新原則:如果變更此設定,則不允許更新。

KmsKeyId可選String

指定用於加密的自訂 AWS KMS 金鑰。此設定需要將Encrypted設定設定為true

更新原則:如果變更此設定,則不允許更新。

SnapshotId可選String

如果您使用快照做為磁碟區的來源,請指定 Amazon EBS 快照識別碼。

更新原則:如果變更此設定,則不允許更新。

VolumeId可選String

指定 Amazon EBS 磁碟區識別碼。針對EbsSettings例證指定此參數時,也只能指定MountDir參數。

磁碟區必須建立在相同的可用區域中HeadNode

注意

在 AWS ParallelCluster 版本 3.4.0 中添加了多個可用區域。

更新原則:如果變更此設定,則不允許更新。

Throughput可選Integer

佈建磁碟區的輸送量 (以 MIB/s 為單位),最大值為 1,000 Mb/s。

此設定只有在為時VolumeType才有效gp3。支援的範圍是 125 到 1000,預設值為 125。

更新原則:您可以在更新期間變更此設定。

DeletionPolicy可選String

指定刪除叢集或移除磁碟區時,磁碟區是否應保留、刪除或快照。支援的值為DeleteRetain、和Snapshot。預設值為 Delete

DeletionPolicy設定為時Delete,如果刪除叢集或使用叢集更新移除磁碟區,則會刪除受管理磁碟區及其資料。

如需詳細資訊,請參閱 共用儲存

更新原則:您可以在更新期間變更此設定。

注意

DeletionPolicy從 AWS ParallelCluster 版本 3.2.0 開始支援。

Raid

(選擇性) 定義 RAID 卷冊的組態。

Raid: Type: string NumberOfVolumes: integer

更新原則:如果變更此設定,則不允許更新。

Raid 屬性

Type必填String

定義 RAID 陣列的類型。支援的值為「0」(條紋) 和「1」(鏡像)。

更新原則:如果變更此設定,則不允許更新。

NumberOfVolumes可選Integer

定義用來建立 RAID 陣列的 Amazon EBS 磁碟區數量。支援的值範圍為 2-5。預設值 (定義Raid設定時) 為 2。

更新原則:如果變更此設定,則不允許更新。

EfsSettings

(選擇性) Amazon EFS 檔案系統的設定。

EfsSettings: Encrypted: boolean KmsKeyId: string EncryptionInTransit: boolean IamAuthorization: boolean PerformanceMode: string ThroughputMode: string ProvisionedThroughput: integer FileSystemId: string DeletionPolicy: string

更新原則:如果變更此設定,則不允許更新。

EfsSettings 屬性

DeletionPolicy設定為時Delete,如果叢集遭刪除,或使用叢集更新移除檔案系統,則會刪除受管理的檔案系統及其資料。

如需詳細資訊,請參閱使用共用儲存中的 AWS ParallelCluster。

Encrypted可選Boolean

指定 Amazon EFS 檔案系統是否已加密。預設值為 false

更新原則:如果變更此設定,則不允許更新。

KmsKeyId可選String

指定用於加密的自訂 AWS KMS 金鑰。此設定需要將Encrypted設定設定為true

更新原則:如果變更此設定,則不允許更新。

EncryptionInTransit可選Boolean

如果設定為true,則會使用傳輸層安全性 (TLS) 掛接 Amazon EFS 檔案系統。依預設,此設定為false

注意

如果 AWS Batch 用作排程器,則EncryptionInTransit不支援。

注意

EncryptionInTransit已從 AWS ParallelCluster 版本 3.4.0 開始新增。

更新原則:如果變更此設定,則不允許更新。

IamAuthorization可選Boolean

如果設定為true,則會使用系統的 IAM 身分驗證 Amazon EFS。依預設,此設定為false

注意

如果將 IamAuthorization 設定為 true,則 EncryptionInTransit 也必須設定為 true

注意

如果 AWS Batch 用作排程器,則IamAuthorization不支援。

注意

IamAuthorization已從 AWS ParallelCluster 版本 3.4.0 開始新增。

更新原則:如果變更此設定,則不允許更新。

PerformanceMode可選String

指定 Amazon EFS 檔案系統的效能模式。支援的值為 generalPurposemaxIO。預設值為 generalPurpose。如需詳細資訊,請參閱《Amazon Elastic File System 使用者指南》中的效能模式

我們建議對大部分檔案系統使用 generalPurpose 效能模式。

使用 maxIO 效能模式的檔案系統可擴展到更高階的彙總輸出量和每秒操作數。但是,對於大多數文件操作來說,延遲時間會稍高一些。

更新原則:如果變更此設定,則不允許更新。

ThroughputMode可選String

指定 Amazon EFS 檔案系統的輸送量模式。支援的值為 burstingprovisioned。預設值為 bursting。使provisioned用時,ProvisionedThroughput必須指定。

更新原則:您可以在更新期間變更此設定。

ProvisionedThroughput(當ThroughputMode是時需要provisionedInteger

定義 Amazon EFS 檔案系統的佈建輸送量 (單位為 MIB/s),以 MIB/s 為單位。這對應於 Amazon EFS API ProvisionedThroughputInMibps參考中的參數。

如果使用此參數,則必須將 ThroughputMode 設為 provisioned

支援的範圍為 1-1024。聯絡 AWS Support以請求增加限制。

更新原則:您可以在更新期間變更此設定。

FileSystemId可選String

定義現有檔案系統的 Amazon EFS 檔案系統識別碼。

如果叢集設定為跨越多個可用區域,您必須在叢集使用的每個可用區域中定義檔案系統掛載目標。

指定此值時,只MountDir能指定。無法指EfsSettings定其他項目。

如果您設定此選項,則您定義的檔案系統必須符合下列條件:
  • 檔案系統在每個叢集的可用區域中都有一個現有的掛載目標,並允許來自和的輸入HeadNode和輸出 NFS 流量ComputeNodes。在程//網路 SlurmQueues/中設定多個可用區域SubnetIds

    若要確定叢集與檔案系統之間允許流量,您可以執行下列其中一項作業:
    • 設定掛載目標的安全群組,以允許進出叢集子網路 CIDR 或前置碼清單的流量。

      注意

      AWS ParallelCluster 驗證連接埠是否已開啟,以及是否已設定 CIDR 或前置詞清單。 AWS ParallelCluster 不驗證 CIDR 塊或前綴列表的內容。

    • 使用//SecurityGroupsSlurmQueuesNetworkingHeadNode/來設定叢集節點的自訂安全性群組SecurityGroupsNetworking必須將自訂安全群組設定為允許叢集和檔案系統之間的流量。

      注意

      如果所有叢集節點都使用自訂安全群組,則 AWS ParallelCluster 僅驗證連接埠是否已開啟。 AWS ParallelCluster 不會驗證來源和目的地是否已正確設定。

警告

只 OneZone 有在所有運算節點和主節點都位於相同的可用區域時,才支援 EFS。EFS 只 OneZone 能有一個裝載目標。

注意

在 AWS ParallelCluster 版本 3.4.0 中添加了多個可用區域。

更新原則:如果變更此設定,則不允許更新。

DeletionPolicy可選String

指定當檔案系統從叢集中移除或刪除叢集時,是否應保留或刪除檔案系統。支援的值為 DeleteRetain。預設值為 Delete

當設定DeletionPolicy為時Delete,如果刪除叢集,或使用叢集更新移除檔案系統,則會刪除受管理的檔案系統及其資料。

如需詳細資訊,請參閱 共用儲存

更新原則:您可以在更新期間變更此設定。

注意

DeletionPolicy從 AWS ParallelCluster 版本 3.3.0 開始支援。

FsxLustreSettings

注意

您必須定義FsxLustreFsxLustreSettings否為指定StorageType

(選擇性) Lustre 檔案系統的 FSx 設定。

FsxLustreSettings: StorageCapacity: integer DeploymentType: string ImportedFileChunkSize: integer DataCompressionType: string ExportPath: string ImportPath: string WeeklyMaintenanceStartTime: string AutomaticBackupRetentionDays: integer CopyTagsToBackups: boolean DailyAutomaticBackupStartTime: string PerUnitStorageThroughput: integer BackupId: string # BackupId cannot coexist with some of the fields KmsKeyId: string FileSystemId: string # FileSystemId cannot coexist with other fields AutoImportPolicy: string DriveCacheType: string StorageType: string DeletionPolicy: string

更新原則:如果變更此設定,則不允許更新。

注意

如果 AWS Batch 作為排程器使用,則 FSx for Lustre 只能在叢集標頭節點上使用。

FsxLustreSettings 屬性

當設定DeletionPolicy為時Delete,如果刪除叢集,或使用叢集更新移除檔案系統,則會刪除受管理的檔案系統及其資料。

如需詳細資訊,請參閱 共用儲存

StorageCapacity必填Integer

設定 Lustre 檔案系統的 FSx 儲存容量 (以 GiB 為單位)。 StorageCapacity如果您要建立新的檔案系統,則為必要項目。StorageCapacity如果FileSystemId已指定BackupId或,請勿包含。

  • 對於SCRATCH_2PERSISTENT_1、和PERSISTENT_2部署類型,有效值為 1200 GiB、2400 GiB 和 2400 GiB 的增量。

  • 對於 SCRATCH_1 部署類型,有效值為 1200 GiB、2400 GiB,以及以 3600 GiB 遞增的倍數。

更新原則:如果變更此設定,則不允許更新。

DeploymentType可選String

指定 Lustre 檔案系統之 FSx 的部署類型。支援的值為 SCRATCH_1SCRATCH_2PERSISTENT_1PERSISTENT_2。預設值為 SCRATCH_2

當您需要臨時儲存SCRATCH_1和較短的資料處理時,選擇和SCRATCH_2部署類型。部SCRATCH_2署類型提供資料的傳輸加密,以及高於SCRATCH_1.

為長期儲存選擇PERSISTENT_1部署類型,以及不敏感延遲的輸送量集中工作負載。 PERSISTENT_1支持加密傳輸中的數據。它在所有 FSx 的光澤可用的 AWS 區域 地方都可用。

為長期儲存以及需要最高等級 IOPS 和輸送量的延遲敏感工作負載選擇PERSISTENT_2部署類型。 PERSISTENT_2支持固態硬盤存儲,並提供更高的存儲PerUnitStorageThroughput(高達 1000 MB/S /TIB)。 PERSISTENT_2提供的數量有限 AWS 區域。如需有關部署類型和可用 AWS 區域 位置PERSISTENT_2清單的詳細資訊,請參閱 Amazon FSx for Lustre 使用者指南中的適用於 Lustre 的 FSx 檔案系統部署選項

當您從支援此功能的 Amazon EC2 執行個體存取SCRATCH_2PERSISTENT_2部署類型檔案系統時PERSISTENT_1,傳輸中的資料加密會自動啟用

從支援的執行個體類型存取時 SCRATCH_2PERSISTENT_1,支援加密、和PERSISTENT_2部署類型的傳輸中資料 AWS 區域。如需詳細資訊,請參閱 Amazon FSx for Lustre 使用者指南中的加密傳輸中的資料

注意

AWS ParallelCluster 版本 3.2.0 增加了對PERSISTENT_2部署類型的 Support。

更新原則:如果變更此設定,則不允許更新。

ImportedFileChunkSize可選Integer

對於從資料儲存庫匯入的檔案,此值決定儲存在單一實體磁碟上的每個檔案 (以 MiB 為單位) 的資料分割計數和最大資料量。單一檔案可分割範圍的磁碟數上限會受組成檔案系統的磁碟總數所限。

預設區塊大小是 1,024 MiB (1 GiB),最大為 512,000 MiB (500 GiB)。Amazon S3 物件大小的上限為 5 TB。

注意

使用PERSISTENT_2部署類型的檔案系統不支援此參數。如需有關如何設定資料儲存庫關聯的指示,請參閱 Amazon FSx for Lustre 使用者指南中的將檔案系統連結至 S3 儲存貯體。

更新原則:如果變更此設定,則不允許更新。

DataCompressionType可選String

為 Lustre 檔案系統設定 FSx 的資料壓縮組態。支援的值為LZ4LZ4指示已使用 LZ4 演算法開啟資料壓縮。DataCompressionType如果未指定,則在建立檔案系統時會關閉資料壓縮。

如需詳細資訊,請參閱 Lustre 資料壓縮

更新原則:您可以在更新期間變更此設定。

ExportPath可選String

Amazon S3 中的路徑,其中匯出您的 FSx 的根目錄,供 Lustre 檔案系統使用。只有在指定ImportPath參數時才支援此設定。路徑必須使用與中指定相同的 Amazon S3 儲存貯體ImportPath。您可以提供選擇性字首,以便從 FSx for Lustre 檔案系統匯出新資料與變更的資料。如果未提供ExportPath值,則 FSx for Lustre 設定預設匯出路徑。s3://import-bucket/FSxLustre[creation-timestamp]時間戳記使用 UTC 格式,例如 s3://import-bucket/FSxLustre20181105T222312Z

Amazon S3 匯出儲存貯體和 ImportPath 指定的匯入儲存貯體必須相同。如果您僅指定儲存貯體名稱 (例如)s3://import-bucket,則會取得檔案系統物件到 Amazon S3 儲存貯體物件的 1:1 對應。此對應表示 Amazon S3 中的輸入資料會在匯出時遭到覆寫。如果您在匯出路徑中提供自訂前置詞,例如 s3://import-bucket/[custom-optional-prefix] FSx for Lustre 會將檔案系統的內容匯出到 Amazon S3 儲存貯體中的該匯出前綴。

注意

使用PERSISTENT_2部署類型的檔案系統不支援此參數。按照 Amazon FSx for Lustre 使用者指南中的將檔案系統連結到 S3 儲存貯體中所述設定資料儲存庫關聯。

更新原則:如果變更此設定,則不允許更新。

ImportPath可選String

您用來做為 Lustre 檔案系統 FSx 的資料儲存庫的 Amazon S3 儲存貯體路徑 (包括選用的前置詞)。FSx for Lustre 檔案系統的根目錄會映射到您選取的 Amazon S3 儲存貯體根目錄。例如,s3://import-bucket/optional-prefix。如果您在 Amazon S3 儲存貯體名稱後面指定前綴,檔案系統只會載入具有該前綴的物件索引鍵。

注意

使用PERSISTENT_2部署類型的檔案系統不支援此參數。按照 Amazon FSx for Lustre 使用者指南中的將檔案系統連結到 S3 儲存貯體中所述設定資料儲存庫關聯。

更新原則:如果變更此設定,則不允許更新。

WeeklyMaintenanceStartTime可選String

執行每週維護的首選開始時間。它的格"d:HH:MM"式為 UTC+0 時區。對於此格式,d是從 1 到 7 的工作日數字,從星期一開始,以星期日結束。此欄位需要引號。

更新原則:您可以在更新期間變更此設定。

AutomaticBackupRetentionDays可選Integer

自動備份的保留天數。將此設定為 0 會停用自動備份。支持的範圍是 0-90。預設值為 0。此設定僅適用於PERSISTENT_1PERSISTENT_2部署類型。如需詳細資訊,請參Amazon FSx for Lustre 使用者指南中的使用備份

更新原則:您可以在更新期間變更此設定。

CopyTagsToBackups可選Boolean

如果是true,請將 Lustre 檔案系統 FSx 的標籤複製到備份中。此值預設為 false。如設為 true,則所有檔案系統標籤都會複製到使用者不指定標籤的所有自動和使用者啟動的備份。如果此值為 true,而您指定一或多個標籤,只有指定的標籤會複製到備份。如果您在建立使用者啟動的備份時指定一或多個標籤,則無論此值為何,都不會從檔案系統複製任何標籤。此設定僅適用於PERSISTENT_1PERSISTENT_2部署類型。

更新原則:如果變更此設定,則不允許更新。

DailyAutomaticBackupStartTime可選String

每日週期性時間,格HH:MM式為。 HH是一天中的零填充小時 (00-23)。 MM是小時中的零填充分鐘 (00-59)。例如,05:00指定每天上午 5 點。此設定僅適用於PERSISTENT_1PERSISTENT_2部署類型。

更新原則:您可以在更新期間變更此設定。

PerUnitStorageThroughput(部署類型PERSISTENT_1PERSISTENT_2部署類型是必要的Integer)

描述每個 1 TB 儲存體的讀取和寫入輸送量量,以 MB/S/TiB 為單位。檔案系統輸送量的計算方式是將網路系統儲存容量 (TiB) 乘以 PerUnitStorageThroughput (MB/s/TiB)。對於 2.4 TiB 的檔案系統,佈建 50 MB/s/TiB 的 PerUnitStorageThroughput 可產生 120 MB/s 的檔案系統輸送量。您需要支付佈建輸送量的費用。這對應於PerUnitStorageThroughput屬性。

有效值:

  • 永久性 _1 固態硬碟儲存裝置:50、100、200 MBTiB 秒。

  • 永久性 _1 個硬碟儲存空間:12、40 MB /TIB。

  • 持久性 _2 固態硬碟儲存裝置:125、250、500、1000 MBTiB 次。

更新原則:如果變更此設定,則不允許更新。

BackupId可選String

指定用於從現有備份還原 Lustre 檔案系統 FSx 的備份識別碼。指定BackupId設定後 AutoImportPolicyDeploymentType,不得指定ExportPathKmsKeyIdImportPathImportedFileChunkSizeStorageCapacity、、、和PerUnitStorageThroughput設定。這些設定會從備份中讀取。此外 AutoImportPolicyExportPath,不得指定ImportPath、、和ImportedFileChunkSize設定。這對應於BackupId屬性。

更新原則:如果變更此設定,則不允許更新。

KmsKeyId可選String

用來為 Lustre 檔案系統的永久 FSx 資料加密 FSx for Lustre AWS Key Management Service (AWS KMS) 金鑰識別碼。如果未指定,則會使用 Lustre 管理金鑰的 FSx。Lustre 檔案系統的SCRATCH_1SCRATCH_2 FSx 一律會使用 FSx for Lustre 管理的金鑰進行靜態加密。如需詳細資訊,請參閱 AWS Key Management Service API 參考中的加密

更新原則:如果變更此設定,則不允許更新。

FileSystemId可選String

指定 Lustre 檔案系統之現有 FSx 的識別碼。

如果指定此選項,則僅會使用中FsxLustreSettingsMountDirFileSystemId設定。將忽略中的FsxLustreSettings所有其他設定。

注意

如果使用 AWS Batch 排程器,則 FSx for Lustre 只能在頭節點上使用。

注意

檔案系統必須與允許透過連接埠 988、1021、1022 和 1023 之輸入和輸出 TCP 流量的安全性群組相關聯。

請執行下列其中一項動作,確定叢集與檔案系統之間允許流量:

  • 設定檔案系統的安全性群組,以允許進出叢集子網路 CIDR 或前置碼清單的流量。

    注意

    AWS ParallelCluster 驗證連接埠是否已開啟,以及是否已設定 CIDR 或前置詞清單。 AWS ParallelCluster 不驗證 CIDR 塊或前綴列表的內容。

  • 使用//SecurityGroupsSlurmQueuesNetworkingHeadNode/來設定叢集節點的自訂安全性群組SecurityGroupsNetworking必須將自訂安全群組設定為允許叢集和檔案系統之間的流量。

    注意

    如果所有叢集節點都使用自訂安全群組,則 AWS ParallelCluster 僅驗證連接埠是否已開啟。 AWS ParallelCluster 不會驗證來源和目的地是否已正確設定。

更新原則:如果變更此設定,則不允許更新。

AutoImportPolicy可選String

當您建立 FSx for Lustre 檔案系統時,您現有的 Amazon S3 物件會顯示為檔案和目錄清單。使用此屬性可選擇 FSx for Lustre 在連結的 Amazon S3 儲存貯體中新增或修改物件時,如何將檔案和目錄清單保持在最新狀態。 AutoImportPolicy可以具有以下值:

  • NEW-自動匯入已開啟。FSx for Lustre 會自動匯入新增至連結 Amazon S3 儲存貯體的任何新物件的目錄清單,而這些物件目前不存在於 Lustre 檔案系統的 FSx 中。

  • NEW_CHANGED-自動匯入已開啟。FSx for Lustre 會在您選擇此選項後,自動匯入新增至 Amazon S3 儲存貯體的任何新物件的檔案和目錄清單,以及 Amazon S3 儲存貯體中已變更的任何現有物件。

  • NEW_CHANGED_DELETED-自動匯入已開啟。FSx for Lustre 會自動匯入新增至 Amazon S3 儲存貯體的任何新物件的檔案和目錄清單、Amazon S3 儲存貯體中已變更的任何現有物件,以及選擇此選項後,在 Amazon S3 儲存貯體中刪除的任何物件。

    注意

    在 3.1.1 AWS ParallelCluster 版本中添加了 Support。NEW_CHANGED_DELETED

如果AutoImportPolicy未指定,則會關閉自動匯入。FSx for Lustre 只會在建立檔案系統時,從連結的 Amazon S3 儲存貯體更新檔案和目錄清單。選擇此選項後,FSx for Lustre 不會更新任何新物件或變更物件的檔案和目錄清單。

如需詳細資訊,請參閱 Amazon FSx for Lustre 使用者指南中的自動從 S3 儲存貯體匯入更新

注意

使用PERSISTENT_2部署類型的檔案系統不支援此參數。如需有關如何設定資料儲存庫關聯的指示,請參閱 Amazon FSx for Lustre 使用者指南中的將檔案系統連結至 S3 儲存貯體。

更新原則:如果變更此設定,則不允許更新。

DriveCacheType可選String

指定檔案系統具有 SSD 磁碟機快取。只有在設定設定為且StorageType設定為時HDD,才能DeploymentType設定此選項PERSISTENT_1。這對應於DriveCacheType屬性。如需詳細資訊,請參閱《亞馬遜 FSx for Lustre 使用者指南》中的 FSx 部署選項

唯一有效的值為 READ。若要停用 SSD 磁碟機快取,請勿指定DriveCacheType設定。

更新原則:如果變更此設定,則不允許更新。

StorageType可選String

為您建立的 Lustre 檔案系統設定 FSx 的儲存類型。有效值為 SSDHDD

  • 設為 SSD 以使用固態硬碟儲存體。

  • 設定為HDD使用硬碟儲存空間。 HDDPERSISTENT部署類型支援。

預設值為 SSD。如需詳細資訊,請參閱視窗版 Amazon FSx 使用者指南中的儲存類型選項和 Amazon FSx 使用者指南中的多個儲存選項

更新原則:如果變更此設定,則不允許更新。

DeletionPolicy可選String

指定當檔案系統從叢集中移除或刪除叢集時,是否應保留或刪除檔案系統。支援的值為 DeleteRetain。預設值為 Delete

當設定DeletionPolicy為時Delete,如果刪除叢集,或使用叢集更新移除檔案系統,則會刪除受管理的檔案系統及其資料。

如需詳細資訊,請參閱 共用儲存

更新原則:您可以在更新期間變更此設定。

注意

DeletionPolicy從 AWS ParallelCluster 版本 3.3.0 開始支援。

DataRepositoryAssociations可選String

DRA 清單 (每個檔案系統最多 8 個)

每個資料儲存庫關聯必須具有唯一的 Amazon FSx 檔案系統目錄,以及與其相關聯的唯一 S3 儲存貯體或字首。

您無法ImportPath在使用 DRA 的同時使用ExportPath和。 FsxLustreSettings

更新原則:您可以在更新期間變更此設定。

Name必填String

DRA 的名稱。您可以在更新設定時使用此名稱。

更新原則:如果變更此設定,則不允許更新。

BatchImportMetaDataOnCreate可選Boolean

布林值標記,指出要匯入中繼資料的匯入資料儲存庫任務是否應在建立資料儲存庫關聯之後執行。如果此標記設定為 true,任務便會執行。

預設值:false

更新原則:如果變更此設定,則不允許更新。

DataRepositoryPath必填String

將連結至檔案系統之 Amazon S3 資料儲存庫的路徑。路徑可以是 S3 儲存貯體或字首,格式為 s3://myBucket/myPrefix/。此路徑指定 S3 資料儲存庫檔案匯出或匯入的位置。

不能與其他 DRA 重疊

模式:^[^\u0000\u0085\u2028\u2029\r\n]{3,4357}$

下限:3

上限:4357

更新原則:如果變更此設定,則不允許更新。

FileSystemPath必填String

Amazon FSx for Lustre 檔案系統上指向高階目錄 (如 /ns1/) 或子目錄 (如 /ns1/subdir/) 的路徑,此路徑會透過 DataRepositoryPath 完整映射。名稱需要以正斜線開頭。兩個資料儲存庫關聯的檔案系統路徑不可重疊。例如,如果某個資料儲存庫已經與檔案系統路徑 /ns1/ 建立關聯,則您無法將其他資料儲存庫連結到檔案系統路徑 /ns1/ns2

此路徑指定檔案系統匯出或匯入檔案的位置。此檔案系統目錄只能連結到一個 Amazon S3 儲存貯體,其他 S3 儲存貯體無法連結至該目錄。

不能與其他 DRA 重疊

注意

如果您僅指定一個正斜線 (/) 作為檔案系統路徑,則只能將一個資料儲存庫連結至檔案系統。您只能指定 "/" 作為與檔案系統相關聯之第一個資料儲存庫的檔案系統路徑。

模式:^[^\u0000\u0085\u2028\u2029\r\n]{1,4096}$

下限:1

上限:4096

更新原則:如果變更此設定,則不允許更新。

ImportedFileChunkSize可選Integer

如果是從資料儲存庫匯入資料,此值會規定單一實體磁碟上存放的每個檔案的分割計數和資料量上限 (MiB)。單一檔案分割分佈所在的磁碟數上限會受組成檔案系統或快取的磁碟總數所限。

預設區塊大小是 1,024 MiB (1 GiB),最大為 512,000 MiB (500 GiB)。Amazon S3 物件大小的上限為 5 TB。

下限:1

上限:4096

更新原則:您可以在更新期間變更此設定。

AutoExportPolicy可選Array of strings

清單可以包含下列一或多個值:

  • NEW:將新檔案和目錄新增至檔案系統時,會將新檔案和目錄自動匯出至資料儲存庫。

  • CHANGED:對檔案系統上檔案和目錄所做的變更會自動匯出至資料儲存庫。

  • DELETED:在檔案系統上刪除檔案和目錄時,會自動刪除資料儲存庫中的檔案和目錄。

您可以為 AutoExportPolicy 定義任何事件類型組合。

上限:3

更新原則:您可以在更新期間變更此設定。

AutoImportPolicy可選Array of strings

清單可以包含下列一或多個值:

  • NEW:Amazon FSx 會自動匯入任何新增至連結 S3 儲存貯體且目前不存在於 FSx 檔案系統中的檔案中繼資料。

  • CHANGED:Amazon FSx 會在資料儲存庫中的檔案變更時,自動更新檔案中繼資料,並使檔案系統上的現有檔案內容失效。

  • DELETED:Amazon FSx 會在檔案從資料儲存庫中刪除時自動刪除檔案系統上的對應檔案。

您可以為 AutoImportPolicy 定義任何事件類型組合。

上限:3

更新原則:您可以在更新期間變更此設定。

FsxOntapSettings

注意

您必須定義FsxOntapFsxOntapSettings否為指定StorageType

(選擇性) 適用於 ONTAP 檔案系統的 FSx 設定。

FsxOntapSettings: VolumeId: string

FsxOntapSettings 屬性

VolumeId必填String

指定 ONTAP 系統之現有 FSx 的磁碟區識別碼。

注意
  • 如果使用 AWS Batch 排程器,則僅在頭節點上可用於 ONTAP 的 FSx。

  • 如果 ONTAP 部署類型的 FSx 是Multi-AZ,請確定頭節點子網路的路由表已正確設定。

  • 在 3.2.0 AWS ParallelCluster 版中新增了對 FSx 的 Support 援。

  • 檔案系統必須與允許透過連接埠 111、635、2049 和 4046 之輸入和輸出 TCP 和 UDP 流量的安全性群組相關聯。

請執行下列其中一個動作,確定叢集與檔案系統之間允許流量:

  • 設定檔案系統的安全性群組,以允許進出叢集子網路 CIDR 或前置碼清單的流量。

    注意

    AWS ParallelCluster 驗證連接埠是否已開啟,以及是否已設定 CIDR 或前置詞清單。 AWS ParallelCluster 不驗證 CIDR 塊或前綴列表的內容。

  • 使用//SecurityGroupsSlurmQueuesNetworkingHeadNode/來設定叢集節點的自訂安全性群組SecurityGroupsNetworking必須將自訂安全群組設定為允許叢集和檔案系統之間的流量。

    注意

    如果所有叢集節點都使用自訂安全群組,則 AWS ParallelCluster 僅驗證連接埠是否已開啟。 AWS ParallelCluster 不會驗證來源和目的地是否已正確設定。

更新原則:如果變更此設定,則不允許更新。

FsxOpenZfsSettings

注意

您必須定義FsxOpenZfsFsxOpenZfsSettings否為指定StorageType

(選擇性) 適用於 OpenZFS 檔案系統之 FSx 的設定。

FsxOpenZfsSettings: VolumeId: string

更新原則:如果變更此設定,則不允許更新。

FsxOpenZfsSettings 屬性

VolumeId必填String

指定 OpenZFS 系統之現有 FSX 的磁碟區識別碼。

注意
  • 如果使用 AWS Batch 排程器,OpenZF 的 FSx 只能在標頭節點上使用。

  • 在 AWS ParallelCluster 3.2.0 版中新增了對 FSx 的 Support 援。

  • 檔案系統必須與允許透過連接埠 111、2049、20001、20002 和 20003 的輸入和輸出 TCP 和 UDP 流量相關聯的安全性群組。

請執行下列其中一項動作,確定叢集與檔案系統之間允許流量:

  • 設定檔案系統的安全性群組,以允許進出叢集子網路 CIDR 或前置碼清單的流量。

    注意

    AWS ParallelCluster 驗證連接埠是否已開啟,以及是否已設定 CIDR 或前置詞清單。 AWS ParallelCluster 不驗證 CIDR 塊或前綴列表的內容。

  • 使用//SecurityGroupsSlurmQueuesNetworkingHeadNode/來設定叢集節點的自訂安全性群組SecurityGroupsNetworking必須將自訂安全群組設定為允許叢集和檔案系統之間的流量。

    注意

    如果所有叢集節點都使用自訂安全群組,則 AWS ParallelCluster 僅驗證連接埠是否已開啟。 AWS ParallelCluster 不會驗證來源和目的地是否已正確設定。

更新原則:如果變更此設定,則不允許更新。

FileCacheSettings

注意

您必須定義FileCacheFileCacheSettings否為指定StorageType

(選擇性)「檔案快取」的設定。

FileCacheSettings: FileCacheId: string

更新原則:如果變更此設定,則不允許更新。

FileCacheSettings 屬性

FileCacheId必填String

指定現有檔案快取的檔案快取 ID。

注意
  • 檔案快取不支援 AWS Batch 排程器。

  • 3.7.0 AWS ParallelCluster 版中增加了對文件緩存的 Support。

  • 檔案系統必須與允許透過連接埠 988 輸入和輸出 TCP 流量的安全性群組相關聯。

請執行下列其中一項動作,確定叢集與檔案系統之間允許流量:

  • 設定檔案快取的安全性群組,以允許進出叢集子網路 CIDR 或前置碼清單的流量。

    注意

    AWS ParallelCluster 驗證連接埠是否已開啟,以及是否已設定 CIDR 或前置詞清單。 AWS ParallelCluster 不驗證 CIDR 塊或前綴列表的內容。

  • 使用//SecurityGroupsSlurmQueuesNetworkingHeadNode/來設定叢集節點的自訂安全性群組SecurityGroupsNetworking必須將自訂安全群組設定為允許叢集和檔案系統之間的流量。

    注意

    如果所有叢集節點都使用自訂安全群組,則 AWS ParallelCluster 僅驗證連接埠是否已開啟。 AWS ParallelCluster 不會驗證來源和目的地是否已正確設定。

更新原則:如果變更此設定,則不允許更新。