本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
SharedStorage
區段
(選擇性) 叢集的共用儲存裝置設定。
AWS ParallelCluster 支援使用 Amazon EBS、FSx 用於 ONTAP,以及用於OpenZF 共享儲存磁碟區的 FSx、Amazon EFS 和 FSx for Lustre 共享儲存檔案系統) 或檔案快取。
在此SharedStorage
區段中,您可以定義外部儲存或受管理的儲存體:
-
外部儲存是指您管理的現有磁碟區或檔案系統。 AWS ParallelCluster 不會建立或刪除它。
-
AWS ParallelCluster 受管理儲存是指建 AWS ParallelCluster 立且可以刪除的磁碟區或檔案系統。
如需共用儲存配額及設定共用儲存裝置的詳細資訊,請參閱使用共用儲存中的 AWS ParallelCluster。
注意
如果 AWS Batch 作為排程器使用,則 FSx for Lustre 只能在叢集標頭節點上使用。
SharedStorage: - MountDir:
string
Name:string
StorageType: Ebs EbsSettings: VolumeType:string
Iops:integer
Size:integer
Encrypted:boolean
KmsKeyId:string
SnapshotId:string
Throughput:integer
VolumeId:string
DeletionPolicy:string
Raid: Type:string
NumberOfVolumes:integer
- MountDir:string
Name:string
StorageType: Efs EfsSettings: Encrypted:boolean
KmsKeyId:string
EncryptionInTransit:boolean
IamAuthorization:boolean
PerformanceMode:string
ThroughputMode:string
ProvisionedThroughput:integer
FileSystemId:string
DeletionPolicy:string
- MountDir:string
Name:string
StorageType: FsxLustre FsxLustreSettings: StorageCapacity:integer
DeploymentType:string
ImportedFileChunkSize:integer
DataCompressionType:string
ExportPath:string
ImportPath:string
WeeklyMaintenanceStartTime:string
AutomaticBackupRetentionDays:integer
CopyTagsToBackups:boolean
DailyAutomaticBackupStartTime:string
PerUnitStorageThroughput:integer
BackupId:string
KmsKeyId:string
FileSystemId:string
AutoImportPolicy:string
DriveCacheType:string
StorageType:string
DeletionPolicy:string
DataRepositoryAssociations: - Name:string
BatchImportMetaDataOnCreate:boolean
DataRepositoryPath:string
FileSystemPath:string
ImportedFileChunkSize:integer
AutoExportPolicy:string
AutoImportPolicy:string
- MountDir:string
Name:string
StorageType: FsxOntap FsxOntapSettings: VolumeId:string
- MountDir:string
Name:string
StorageType: FsxOpenZfs FsxOpenZfsSettings: VolumeId:string
- MountDir:string
Name:string
StorageType: FileCache FileCacheSettings: FileCacheId:string
SharedStorage
更新政策
-
對於受管理/外部 EBS、受管理 EFS 和受管理 FSx 資料庫,更新政策為 更新原則:對於此清單值設定,必須停止運算叢集,或者QueueUpdateStrategy必須設定為新增值;移除現有值時必須停止運算叢集。
-
對於外部 EFS、FSx 光碟、FSx ONTAP、FSx OpenZfs 和檔案快取,更新政策為:更新原則:您可以在更新期間變更此設定。
SharedStorage
屬性
MountDir
(必填,String
)-
掛接共用儲存裝置的路徑。
Name
(必填,String
)-
共用儲存裝置的名稱。您可以在更新設定時使用此名稱。
警告
如果您指定 AWS ParallelCluster 受管理的共用儲存區,並變更的值
Name
,則會刪除現有受管理的共用儲存區和資料,並建立新的受管理共用儲存區。Name
使用叢集更新變更的值等同於以新的受管理共用儲存裝置取代現有的受管理共用儲存裝置。Name
如果您需要保留現有共用儲存裝置中的資料,請務必在變更前備份資料。更新原則:對於此清單值設定,必須停止運算叢集,或者QueueUpdateStrategy必須設定為新增值;移除現有值時必須停止運算叢集。
StorageType
(必填,String
)-
共用儲存裝置的類型。支援的值為
Ebs
Efs
、FsxLustre
、FsxOntap
、和FsxOpenZfs
。如需詳細資訊,請參閱FsxLustreSettings、FsxOntapSettings及FsxOpenZfsSettings。
注意
如果您使用 AWS Batch 作為排程器,則 FSx for Lustre 只能在叢集標頭節點上使用。
EbsSettings
(選擇性) Amazon EBS 磁碟區的設定。
EbsSettings: VolumeType:
string
Iops:integer
Size:integer
Encrypted:boolean
KmsKeyId:string
SnapshotId:string
VolumeId:string
Throughput:integer
DeletionPolicy:string
Raid: Type:string
NumberOfVolumes:integer
EbsSettings
屬性
當設定DeletionPolicy為時Delete
,如果刪除叢集或使用叢集更新移除磁碟區,則會刪除受管理磁碟區及其資料。
如需詳細資訊,請參閱使用共用儲存中的 AWS ParallelCluster。
VolumeType
(可選,String
)-
指定 Amazon EBS 磁碟區類型。支援的值為
gp2
gp3
、io1
、io2
、sc1
、st1
、和standard
。預設值為gp3
。如需詳細資訊,請參閱《Linux 執行個體的 Amazon EC2 使用者指南》中的 Amazon EBS 磁碟區類型。
Iops
(可選,Integer
)-
定義
io1
、io2
和gp3
類型磁碟區的 IOPS 數目。預設值、支援的值和總
volume_iops
成volume_size
比例會因VolumeType
和而異Size
。VolumeType
=io1
-
預設值
Iops
=支援的值
Iops
=最大
volume_iops
比volume_size
率 = 每個 GiB 的 50 IOPS。5000 IOPS 需要一volume_size
個至少 100 GiB。 VolumeType
=io2
-
預設值
Iops
=支援的值
Iops
= 100 至 64 萬 (對於io2
區塊快速磁碟區為 256000) †每
Iops
個 GiB 的最大Size
比例 = 500 IOPS。5000 IOPS 需要至少 10 GiB 博Size
的一個。 VolumeType
=gp3
-
預設
Iops
值支援的
Iops
值每
Iops
個 GiB 的最大Size
比例 = 500 IOPS。5000 IOPS 需要至少 10 GiB 博Size
的一個。
† 只有在已佈建超過 32,000 IOPS 的硝基系統上建置的執行個體上才能保證最大 IOPS。其他執行個體可保證高達 32,000 IOPS。除非您修改磁碟區,否則較早的
io1
磁碟區可能無法達到完整的效能。io2
區塊快速磁碟區在R5b
執行個體類型上支援高達 256000 的volume_iops
值。如需詳細資訊,請參閱 Amazon EC2 Linux 執行個體使用者指南中的區io2
塊快速磁碟區。 Size
(可選,Integer
)-
以吉位元組 (GiB) 為單位指定磁碟區大小。預設值為 35。
Encrypted
(可選,Boolean
)-
指定磁碟區是否已加密。預設值為
true
。 KmsKeyId
(可選,String
)-
指定用於加密的自訂 AWS KMS 金鑰。此設定需要將
Encrypted
設定設定為true
。 SnapshotId
(可選,String
)-
如果您使用快照做為磁碟區的來源,請指定 Amazon EBS 快照識別碼。
VolumeId
(可選,String
)-
指定 Amazon EBS 磁碟區識別碼。針對
EbsSettings
例證指定此參數時,也只能指定MountDir
參數。磁碟區必須建立在相同的可用區域中
HeadNode
。注意
在 AWS ParallelCluster 版本 3.4.0 中添加了多個可用區域。
Throughput
(可選,Integer
)-
佈建磁碟區的輸送量 (以 MIB/s 為單位),最大值為 1,000 Mb/s。
此設定只有在為時
VolumeType
才有效gp3
。支援的範圍是 125 到 1000,預設值為 125。 DeletionPolicy
(可選,String
)-
指定刪除叢集或移除磁碟區時,磁碟區是否應保留、刪除或快照。支援的值為
Delete
Retain
、和Snapshot
。預設值為Delete
。當DeletionPolicy設定為時
Delete
,如果刪除叢集或使用叢集更新移除磁碟區,則會刪除受管理磁碟區及其資料。如需詳細資訊,請參閱 共用儲存。
注意
DeletionPolicy
從 AWS ParallelCluster 版本 3.2.0 開始支援。
Raid
(選擇性) 定義 RAID 卷冊的組態。
Raid: Type:
string
NumberOfVolumes:integer
Raid
屬性
Type
(必填,String
)-
定義 RAID 陣列的類型。支援的值為「0」(條紋) 和「1」(鏡像)。
NumberOfVolumes
(可選,Integer
)-
定義用來建立 RAID 陣列的 Amazon EBS 磁碟區數量。支援的值範圍為 2-5。預設值 (定義
Raid
設定時) 為 2。
EfsSettings
(選擇性) Amazon EFS 檔案系統的設定。
EfsSettings: Encrypted:
boolean
KmsKeyId:string
EncryptionInTransit:boolean
IamAuthorization:boolean
PerformanceMode:string
ThroughputMode:string
ProvisionedThroughput:integer
FileSystemId:string
DeletionPolicy:string
EfsSettings
屬性
當DeletionPolicy設定為時Delete
,如果叢集遭刪除,或使用叢集更新移除檔案系統,則會刪除受管理的檔案系統及其資料。
如需詳細資訊,請參閱使用共用儲存中的 AWS ParallelCluster。
Encrypted
(可選,Boolean
)-
指定 Amazon EFS 檔案系統是否已加密。預設值為
false
。 KmsKeyId
(可選,String
)-
指定用於加密的自訂 AWS KMS 金鑰。此設定需要將
Encrypted
設定設定為true
。 EncryptionInTransit
(可選,Boolean
)-
如果設定為
true
,則會使用傳輸層安全性 (TLS) 掛接 Amazon EFS 檔案系統。依預設,此設定為false
。注意
如果 AWS Batch 用作排程器,則
EncryptionInTransit
不支援。注意
EncryptionInTransit
已從 AWS ParallelCluster 版本 3.4.0 開始新增。 IamAuthorization
(可選,Boolean
)-
如果設定為
true
,則會使用系統的 IAM 身分驗證 Amazon EFS。依預設,此設定為false
。注意
如果將
IamAuthorization
設定為true
,則EncryptionInTransit
也必須設定為true
。注意
如果 AWS Batch 用作排程器,則
IamAuthorization
不支援。注意
IamAuthorization
已從 AWS ParallelCluster 版本 3.4.0 開始新增。 PerformanceMode
(可選,String
)-
指定 Amazon EFS 檔案系統的效能模式。支援的值為
generalPurpose
和maxIO
。預設值為generalPurpose
。如需詳細資訊,請參閱《Amazon Elastic File System 使用者指南》中的效能模式。我們建議對大部分檔案系統使用
generalPurpose
效能模式。使用
maxIO
效能模式的檔案系統可擴展到更高階的彙總輸出量和每秒操作數。但是,對於大多數文件操作來說,延遲時間會稍高一些。 ThroughputMode
(可選,String
)-
指定 Amazon EFS 檔案系統的輸送量模式。支援的值為
bursting
和provisioned
。預設值為bursting
。使provisioned
用時,ProvisionedThroughput
必須指定。 ProvisionedThroughput
(當ThroughputMode
是時需要provisioned
,Integer
)-
定義 Amazon EFS 檔案系統的佈建輸送量 (單位為 MIB/s),以 MIB/s 為單位。這對應於 Amazon EFS API ProvisionedThroughputInMibps參考中的參數。
如果使用此參數,則必須將
ThroughputMode
設為provisioned
。支援的範圍為
1
-1024
。聯絡 AWS Support以請求增加限制。 FileSystemId
(可選,String
)-
定義現有檔案系統的 Amazon EFS 檔案系統識別碼。
如果叢集設定為跨越多個可用區域,您必須在叢集使用的每個可用區域中定義檔案系統掛載目標。
指定此值時,只
MountDir
能指定。無法指EfsSettings
定其他項目。如果您設定此選項,則您定義的檔案系統必須符合下列條件:
-
檔案系統在每個叢集的可用區域中都有一個現有的掛載目標,並允許來自和的輸入
HeadNode
和輸出 NFS 流量ComputeNodes
。在排程//網路 SlurmQueues/中設定多個可用區域SubnetIds。若要確定叢集與檔案系統之間允許流量,您可以執行下列其中一項作業:
-
設定掛載目標的安全群組,以允許進出叢集子網路 CIDR 或前置碼清單的流量。
注意
AWS ParallelCluster 驗證連接埠是否已開啟,以及是否已設定 CIDR 或前置詞清單。 AWS ParallelCluster 不驗證 CIDR 塊或前綴列表的內容。
-
使用//SecurityGroups和 SlurmQueuesNetworkingHeadNode/來設定叢集節點的自訂安全性群組SecurityGroups。Networking必須將自訂安全群組設定為允許叢集和檔案系統之間的流量。
注意
如果所有叢集節點都使用自訂安全群組,則 AWS ParallelCluster 僅驗證連接埠是否已開啟。 AWS ParallelCluster 不會驗證來源和目的地是否已正確設定。
-
警告
只 OneZone 有在所有運算節點和主節點都位於相同的可用區域時,才支援 EFS。EFS 只 OneZone 能有一個裝載目標。
注意
在 AWS ParallelCluster 版本 3.4.0 中添加了多個可用區域。
-
DeletionPolicy
(可選,String
)-
指定當檔案系統從叢集中移除或刪除叢集時,是否應保留或刪除檔案系統。支援的值為
Delete
和Retain
。預設值為Delete
。當設定DeletionPolicy為時
Delete
,如果刪除叢集,或使用叢集更新移除檔案系統,則會刪除受管理的檔案系統及其資料。如需詳細資訊,請參閱 共用儲存。
注意
DeletionPolicy
從 AWS ParallelCluster 版本 3.3.0 開始支援。
FsxLustreSettings
注意
您必須定義FsxLustre
是FsxLustreSettings
否為指定StorageType。
(選擇性) Lustre 檔案系統的 FSx 設定。
FsxLustreSettings: StorageCapacity:
integer
DeploymentType:string
ImportedFileChunkSize:integer
DataCompressionType:string
ExportPath:string
ImportPath:string
WeeklyMaintenanceStartTime:string
AutomaticBackupRetentionDays:integer
CopyTagsToBackups:boolean
DailyAutomaticBackupStartTime:string
PerUnitStorageThroughput:integer
BackupId:string
# BackupId cannot coexist with some of the fields KmsKeyId:string
FileSystemId:string
# FileSystemId cannot coexist with other fields AutoImportPolicy:string
DriveCacheType:string
StorageType:string
DeletionPolicy:string
注意
如果 AWS Batch 作為排程器使用,則 FSx for Lustre 只能在叢集標頭節點上使用。
FsxLustreSettings
屬性
當設定DeletionPolicy為時Delete
,如果刪除叢集,或使用叢集更新移除檔案系統,則會刪除受管理的檔案系統及其資料。
如需詳細資訊,請參閱 共用儲存。
StorageCapacity
(必填,Integer
)-
設定 Lustre 檔案系統的 FSx 儲存容量 (以 GiB 為單位)。
StorageCapacity
如果您要建立新的檔案系統,則為必要項目。StorageCapacity
如果FileSystemId
已指定BackupId
或,請勿包含。-
對於
SCRATCH_2
PERSISTENT_1
、和PERSISTENT_2
部署類型,有效值為 1200 GiB、2400 GiB 和 2400 GiB 的增量。 -
對於
SCRATCH_1
部署類型,有效值為 1200 GiB、2400 GiB,以及以 3600 GiB 遞增的倍數。
-
DeploymentType
(可選,String
)-
指定 Lustre 檔案系統之 FSx 的部署類型。支援的值為
SCRATCH_1
、SCRATCH_2
、PERSISTENT_1
和PERSISTENT_2
。預設值為SCRATCH_2
。當您需要臨時儲存
SCRATCH_1
和較短的資料處理時,選擇和SCRATCH_2
部署類型。部SCRATCH_2
署類型提供資料的傳輸加密,以及高於SCRATCH_1
.為長期儲存選擇
PERSISTENT_1
部署類型,以及不敏感延遲的輸送量集中工作負載。PERSISTENT_1
支持加密傳輸中的數據。它在所有 FSx 的光澤可用的 AWS 區域 地方都可用。為長期儲存以及需要最高等級 IOPS 和輸送量的延遲敏感工作負載選擇
PERSISTENT_2
部署類型。PERSISTENT_2
支持固態硬盤存儲,並提供更高的存儲PerUnitStorageThroughput
(高達 1000 MB/S /TIB)。PERSISTENT_2
提供的數量有限 AWS 區域。如需有關部署類型和可用 AWS 區域 位置PERSISTENT_2
清單的詳細資訊,請參閱 Amazon FSx for Lustre 使用者指南中的適用於 Lustre 的 FSx 檔案系統部署選項。當您從支援此功能的 Amazon EC2 執行個體存取
SCRATCH_2
或PERSISTENT_2
部署類型檔案系統時PERSISTENT_1
,傳輸中的資料加密會自動啟用。從支援的執行個體類型存取時
SCRATCH_2
PERSISTENT_1
,支援加密、和PERSISTENT_2
部署類型的傳輸中資料 AWS 區域。如需詳細資訊,請參閱 Amazon FSx for Lustre 使用者指南中的加密傳輸中的資料。注意
AWS ParallelCluster 版本 3.2.0 增加了對
PERSISTENT_2
部署類型的 Support。 ImportedFileChunkSize
(可選,Integer
)-
對於從資料儲存庫匯入的檔案,此值決定儲存在單一實體磁碟上的每個檔案 (以 MiB 為單位) 的資料分割計數和最大資料量。單一檔案可分割範圍的磁碟數上限會受組成檔案系統的磁碟總數所限。
預設區塊大小是 1,024 MiB (1 GiB),最大為 512,000 MiB (500 GiB)。Amazon S3 物件大小的上限為 5 TB。
注意
使用
PERSISTENT_2
部署類型的檔案系統不支援此參數。如需有關如何設定資料儲存庫關聯的指示,請參閱 Amazon FSx for Lustre 使用者指南中的將檔案系統連結至 S3 儲存貯體。 DataCompressionType
(可選,String
)-
為 Lustre 檔案系統設定 FSx 的資料壓縮組態。支援的值為
LZ4
。LZ4
指示已使用 LZ4 演算法開啟資料壓縮。DataCompressionType
如果未指定,則在建立檔案系統時會關閉資料壓縮。如需詳細資訊,請參閱 Lustre 資料壓縮。
ExportPath
(可選,String
)-
Amazon S3 中的路徑,其中匯出您的 FSx 的根目錄,供 Lustre 檔案系統使用。只有在指定
ImportPath
參數時才支援此設定。路徑必須使用與中指定相同的 Amazon S3 儲存貯體ImportPath
。您可以提供選擇性字首,以便從 FSx for Lustre 檔案系統匯出新資料與變更的資料。如果未提供ExportPath
值,則 FSx for Lustre 設定預設匯出路徑。s3://import-bucket/FSxLustre[creation-timestamp]
時間戳記使用 UTC 格式,例如s3://import-bucket/FSxLustre20181105T222312Z
。Amazon S3 匯出儲存貯體和
ImportPath
指定的匯入儲存貯體必須相同。如果您僅指定儲存貯體名稱 (例如)s3://import-bucket
,則會取得檔案系統物件到 Amazon S3 儲存貯體物件的 1:1 對應。此對應表示 Amazon S3 中的輸入資料會在匯出時遭到覆寫。如果您在匯出路徑中提供自訂前置詞,例如s3://import-bucket/[custom-optional-prefix]
FSx for Lustre 會將檔案系統的內容匯出到 Amazon S3 儲存貯體中的該匯出前綴。注意
使用
PERSISTENT_2
部署類型的檔案系統不支援此參數。按照 Amazon FSx for Lustre 使用者指南中的將檔案系統連結到 S3 儲存貯體中所述設定資料儲存庫關聯。 ImportPath
(可選,String
)-
您用來做為 Lustre 檔案系統 FSx 的資料儲存庫的 Amazon S3 儲存貯體路徑 (包括選用的前置詞)。FSx for Lustre 檔案系統的根目錄會映射到您選取的 Amazon S3 儲存貯體根目錄。例如,
s3://import-bucket/optional-prefix
。如果您在 Amazon S3 儲存貯體名稱後面指定前綴,檔案系統只會載入具有該前綴的物件索引鍵。注意
使用
PERSISTENT_2
部署類型的檔案系統不支援此參數。按照 Amazon FSx for Lustre 使用者指南中的將檔案系統連結到 S3 儲存貯體中所述設定資料儲存庫關聯。 WeeklyMaintenanceStartTime
(可選,String
)-
執行每週維護的首選開始時間。它的格
"d:HH:MM"
式為 UTC+0 時區。對於此格式,d
是從 1 到 7 的工作日數字,從星期一開始,以星期日結束。此欄位需要引號。 AutomaticBackupRetentionDays
(可選,Integer
)-
自動備份的保留天數。將此設定為 0 會停用自動備份。支持的範圍是 0-90。預設值為 0。此設定僅適用於
PERSISTENT_1
和PERSISTENT_2
部署類型。如需詳細資訊,請參閱 Amazon FSx for Lustre 使用者指南中的使用備份。 CopyTagsToBackups
(可選,Boolean
)-
如果是
true
,請將 Lustre 檔案系統 FSx 的標籤複製到備份中。此值預設為false
。如設為true
,則所有檔案系統標籤都會複製到使用者不指定標籤的所有自動和使用者啟動的備份。如果此值為true
,而您指定一或多個標籤,只有指定的標籤會複製到備份。如果您在建立使用者啟動的備份時指定一或多個標籤,則無論此值為何,都不會從檔案系統複製任何標籤。此設定僅適用於PERSISTENT_1
和PERSISTENT_2
部署類型。 DailyAutomaticBackupStartTime
(可選,String
)-
每日週期性時間,格
HH:MM
式為。HH
是一天中的零填充小時 (00-23)。MM
是小時中的零填充分鐘 (00-59)。例如,05:00
指定每天上午 5 點。此設定僅適用於PERSISTENT_1
和PERSISTENT_2
部署類型。 PerUnitStorageThroughput
(部署類型PERSISTENT_1
和PERSISTENT_2
部署類型是必要的Integer
)-
描述每個 1 TB 儲存體的讀取和寫入輸送量量,以 MB/S/TiB 為單位。檔案系統輸送量的計算方式是將網路系統儲存容量 (TiB) 乘以
PerUnitStorageThroughput
(MB/s/TiB)。對於 2.4 TiB 的檔案系統,佈建 50 MB/s/TiB 的PerUnitStorageThroughput
可產生 120 MB/s 的檔案系統輸送量。您需要支付佈建輸送量的費用。這對應於PerUnitStorageThroughput屬性。有效值:
-
永久性 _1 固態硬碟儲存裝置:50、100、200 MBTiB 秒。
-
永久性 _1 個硬碟儲存空間:12、40 MB /TIB。
-
持久性 _2 固態硬碟儲存裝置:125、250、500、1000 MBTiB 次。
-
BackupId
(可選,String
)-
指定用於從現有備份還原 Lustre 檔案系統 FSx 的備份識別碼。指定
BackupId
設定後AutoImportPolicy
DeploymentType
,不得指定ExportPath
KmsKeyId
ImportPath
、ImportedFileChunkSize
、StorageCapacity
、、、和PerUnitStorageThroughput
設定。這些設定會從備份中讀取。此外AutoImportPolicy
ExportPath
,不得指定ImportPath
、、和ImportedFileChunkSize
設定。這對應於BackupId屬性。 KmsKeyId
(可選,String
)-
用來為 Lustre 檔案系統的永久 FSx 資料加密 FSx for Lustre AWS Key Management Service (AWS KMS) 金鑰識別碼。如果未指定,則會使用 Lustre 管理金鑰的 FSx。Lustre 檔案系統的
SCRATCH_1
和SCRATCH_2
FSx 一律會使用 FSx for Lustre 管理的金鑰進行靜態加密。如需詳細資訊,請參閱 AWS Key Management Service API 參考中的加密。 FileSystemId
(可選,String
)-
指定 Lustre 檔案系統之現有 FSx 的識別碼。
如果指定此選項,則僅會使用中
FsxLustreSettings
的MountDir
和FileSystemId
設定。將忽略中的FsxLustreSettings
所有其他設定。注意
如果使用 AWS Batch 排程器,則 FSx for Lustre 只能在頭節點上使用。
注意
檔案系統必須與允許透過連接埠 988、1021、1022 和 1023 之輸入和輸出 TCP 流量的安全性群組相關聯。
請執行下列其中一項動作,確定叢集與檔案系統之間允許流量:
-
設定檔案系統的安全性群組,以允許進出叢集子網路 CIDR 或前置碼清單的流量。
注意
AWS ParallelCluster 驗證連接埠是否已開啟,以及是否已設定 CIDR 或前置詞清單。 AWS ParallelCluster 不驗證 CIDR 塊或前綴列表的內容。
-
使用//SecurityGroups和 SlurmQueuesNetworkingHeadNode/來設定叢集節點的自訂安全性群組SecurityGroups。Networking必須將自訂安全群組設定為允許叢集和檔案系統之間的流量。
注意
如果所有叢集節點都使用自訂安全群組,則 AWS ParallelCluster 僅驗證連接埠是否已開啟。 AWS ParallelCluster 不會驗證來源和目的地是否已正確設定。
-
AutoImportPolicy
(可選,String
)-
當您建立 FSx for Lustre 檔案系統時,您現有的 Amazon S3 物件會顯示為檔案和目錄清單。使用此屬性可選擇 FSx for Lustre 在連結的 Amazon S3 儲存貯體中新增或修改物件時,如何將檔案和目錄清單保持在最新狀態。
AutoImportPolicy
可以具有以下值:-
NEW
-自動匯入已開啟。FSx for Lustre 會自動匯入新增至連結 Amazon S3 儲存貯體的任何新物件的目錄清單,而這些物件目前不存在於 Lustre 檔案系統的 FSx 中。 -
NEW_CHANGED
-自動匯入已開啟。FSx for Lustre 會在您選擇此選項後,自動匯入新增至 Amazon S3 儲存貯體的任何新物件的檔案和目錄清單,以及 Amazon S3 儲存貯體中已變更的任何現有物件。 -
NEW_CHANGED_DELETED
-自動匯入已開啟。FSx for Lustre 會自動匯入新增至 Amazon S3 儲存貯體的任何新物件的檔案和目錄清單、Amazon S3 儲存貯體中已變更的任何現有物件,以及選擇此選項後,在 Amazon S3 儲存貯體中刪除的任何物件。注意
在 3.1.1 AWS ParallelCluster 版本中添加了 Support。
NEW_CHANGED_DELETED
如果
AutoImportPolicy
未指定,則會關閉自動匯入。FSx for Lustre 只會在建立檔案系統時,從連結的 Amazon S3 儲存貯體更新檔案和目錄清單。選擇此選項後,FSx for Lustre 不會更新任何新物件或變更物件的檔案和目錄清單。如需詳細資訊,請參閱 Amazon FSx for Lustre 使用者指南中的自動從 S3 儲存貯體匯入更新。
注意
使用
PERSISTENT_2
部署類型的檔案系統不支援此參數。如需有關如何設定資料儲存庫關聯的指示,請參閱 Amazon FSx for Lustre 使用者指南中的將檔案系統連結至 S3 儲存貯體。 -
DriveCacheType
(可選,String
)-
指定檔案系統具有 SSD 磁碟機快取。只有在設定設定為且
StorageType
設定為時HDD
,才能DeploymentType
設定此選項PERSISTENT_1
。這對應於DriveCacheType屬性。如需詳細資訊,請參閱《亞馬遜 FSx for Lustre 使用者指南》中的 FSx 部署選項。唯一有效的值為
READ
。若要停用 SSD 磁碟機快取,請勿指定DriveCacheType
設定。 StorageType
(可選,String
)-
為您建立的 Lustre 檔案系統設定 FSx 的儲存類型。有效值為
SSD
和HDD
。-
設為
SSD
以使用固態硬碟儲存體。 -
設定為
HDD
使用硬碟儲存空間。HDD
PERSISTENT
部署類型支援。
預設值為
SSD
。如需詳細資訊,請參閱視窗版 Amazon FSx 使用者指南中的儲存類型選項和 Amazon FSx 使用者指南中的多個儲存選項。 -
DeletionPolicy
(可選,String
)-
指定當檔案系統從叢集中移除或刪除叢集時,是否應保留或刪除檔案系統。支援的值為
Delete
和Retain
。預設值為Delete
。當設定DeletionPolicy為時
Delete
,如果刪除叢集,或使用叢集更新移除檔案系統,則會刪除受管理的檔案系統及其資料。如需詳細資訊,請參閱 共用儲存。
注意
DeletionPolicy
從 AWS ParallelCluster 版本 3.3.0 開始支援。 DataRepositoryAssociations
(可選,String
)-
DRA 清單 (每個檔案系統最多 8 個)
每個資料儲存庫關聯必須具有唯一的 Amazon FSx 檔案系統目錄,以及與其相關聯的唯一 S3 儲存貯體或字首。
您無法ImportPath在使用 DRA 的同時使用ExportPath和。 FsxLustreSettings
Name
(必填,String
)-
DRA 的名稱。您可以在更新設定時使用此名稱。
BatchImportMetaDataOnCreate
(可選,Boolean
)-
布林值標記,指出要匯入中繼資料的匯入資料儲存庫任務是否應在建立資料儲存庫關聯之後執行。如果此標記設定為
true
,任務便會執行。預設值:
false
DataRepositoryPath
(必填,String
)-
將連結至檔案系統之 Amazon S3 資料儲存庫的路徑。路徑可以是 S3 儲存貯體或字首,格式為
s3://myBucket/myPrefix/
。此路徑指定 S3 資料儲存庫檔案匯出或匯入的位置。不能與其他 DRA 重疊
模式:
^[^\u0000\u0085\u2028\u2029\r\n]{3,4357}$
下限:
3
上限:
4357
FileSystemPath
(必填,String
)-
Amazon FSx for Lustre 檔案系統上指向高階目錄 (如
/ns1/
) 或子目錄 (如/ns1/subdir/
) 的路徑,此路徑會透過DataRepositoryPath
完整映射。名稱需要以正斜線開頭。兩個資料儲存庫關聯的檔案系統路徑不可重疊。例如,如果某個資料儲存庫已經與檔案系統路徑/ns1/
建立關聯,則您無法將其他資料儲存庫連結到檔案系統路徑/ns1/ns2
。此路徑指定檔案系統匯出或匯入檔案的位置。此檔案系統目錄只能連結到一個 Amazon S3 儲存貯體,其他 S3 儲存貯體無法連結至該目錄。
不能與其他 DRA 重疊
注意
如果您僅指定一個正斜線 (
/
) 作為檔案系統路徑,則只能將一個資料儲存庫連結至檔案系統。您只能指定 "/
" 作為與檔案系統相關聯之第一個資料儲存庫的檔案系統路徑。模式:
^[^\u0000\u0085\u2028\u2029\r\n]{1,4096}$
下限:
1
上限:
4096
ImportedFileChunkSize
(可選,Integer
)-
如果是從資料儲存庫匯入資料,此值會規定單一實體磁碟上存放的每個檔案的分割計數和資料量上限 (MiB)。單一檔案分割分佈所在的磁碟數上限會受組成檔案系統或快取的磁碟總數所限。
預設區塊大小是 1,024 MiB (1 GiB),最大為 512,000 MiB (500 GiB)。Amazon S3 物件大小的上限為 5 TB。
下限:
1
上限:
4096
AutoExportPolicy
(可選,Array of strings
)-
清單可以包含下列一或多個值:
-
NEW
:將新檔案和目錄新增至檔案系統時,會將新檔案和目錄自動匯出至資料儲存庫。 -
CHANGED
:對檔案系統上檔案和目錄所做的變更會自動匯出至資料儲存庫。 -
DELETED
:在檔案系統上刪除檔案和目錄時,會自動刪除資料儲存庫中的檔案和目錄。
您可以為
AutoExportPolicy
定義任何事件類型組合。上限:
3
-
AutoImportPolicy
(可選,Array of strings
)-
清單可以包含下列一或多個值:
-
NEW
:Amazon FSx 會自動匯入任何新增至連結 S3 儲存貯體且目前不存在於 FSx 檔案系統中的檔案中繼資料。 -
CHANGED
:Amazon FSx 會在資料儲存庫中的檔案變更時,自動更新檔案中繼資料,並使檔案系統上的現有檔案內容失效。 -
DELETED
:Amazon FSx 會在檔案從資料儲存庫中刪除時自動刪除檔案系統上的對應檔案。
您可以為
AutoImportPolicy
定義任何事件類型組合。上限:
3
-
FsxOntapSettings
注意
您必須定義FsxOntap
是FsxOntapSettings
否為指定StorageType。
(選擇性) 適用於 ONTAP 檔案系統的 FSx 設定。
FsxOntapSettings: VolumeId:
string
FsxOntapSettings
屬性
VolumeId
(必填,String
)-
指定 ONTAP 系統之現有 FSx 的磁碟區識別碼。
注意
-
如果使用 AWS Batch 排程器,則僅在頭節點上可用於 ONTAP 的 FSx。
-
如果 ONTAP 部署類型的 FSx 是
Multi-AZ
,請確定頭節點子網路的路由表已正確設定。 -
在 3.2.0 AWS ParallelCluster 版中新增了對 FSx 的 Support 援。
-
檔案系統必須與允許透過連接埠 111、635、2049 和 4046 之輸入和輸出 TCP 和 UDP 流量的安全性群組相關聯。
請執行下列其中一個動作,確定叢集與檔案系統之間允許流量:
-
設定檔案系統的安全性群組,以允許進出叢集子網路 CIDR 或前置碼清單的流量。
注意
AWS ParallelCluster 驗證連接埠是否已開啟,以及是否已設定 CIDR 或前置詞清單。 AWS ParallelCluster 不驗證 CIDR 塊或前綴列表的內容。
-
使用//SecurityGroups和 SlurmQueuesNetworkingHeadNode/來設定叢集節點的自訂安全性群組SecurityGroups。Networking必須將自訂安全群組設定為允許叢集和檔案系統之間的流量。
注意
如果所有叢集節點都使用自訂安全群組,則 AWS ParallelCluster 僅驗證連接埠是否已開啟。 AWS ParallelCluster 不會驗證來源和目的地是否已正確設定。
FsxOpenZfsSettings
注意
您必須定義FsxOpenZfs
是FsxOpenZfsSettings
否為指定StorageType。
(選擇性) 適用於 OpenZFS 檔案系統之 FSx 的設定。
FsxOpenZfsSettings: VolumeId:
string
FsxOpenZfsSettings
屬性
VolumeId
(必填,String
)-
指定 OpenZFS 系統之現有 FSX 的磁碟區識別碼。
注意
-
如果使用 AWS Batch 排程器,OpenZF 的 FSx 只能在標頭節點上使用。
-
在 AWS ParallelCluster 3.2.0 版中新增了對 FSx 的 Support 援。
-
檔案系統必須與允許透過連接埠 111、2049、20001、20002 和 20003 的輸入和輸出 TCP 和 UDP 流量相關聯的安全性群組。
請執行下列其中一項動作,確定叢集與檔案系統之間允許流量:
-
設定檔案系統的安全性群組,以允許進出叢集子網路 CIDR 或前置碼清單的流量。
注意
AWS ParallelCluster 驗證連接埠是否已開啟,以及是否已設定 CIDR 或前置詞清單。 AWS ParallelCluster 不驗證 CIDR 塊或前綴列表的內容。
-
使用//SecurityGroups和 SlurmQueuesNetworkingHeadNode/來設定叢集節點的自訂安全性群組SecurityGroups。Networking必須將自訂安全群組設定為允許叢集和檔案系統之間的流量。
注意
如果所有叢集節點都使用自訂安全群組,則 AWS ParallelCluster 僅驗證連接埠是否已開啟。 AWS ParallelCluster 不會驗證來源和目的地是否已正確設定。
FileCacheSettings
注意
您必須定義FileCache
是FileCacheSettings
否為指定StorageType。
(選擇性)「檔案快取」的設定。
FileCacheSettings: FileCacheId:
string
FileCacheSettings
屬性
FileCacheId
(必填,String
)-
指定現有檔案快取的檔案快取 ID。
注意
-
檔案快取不支援 AWS Batch 排程器。
-
3.7.0 AWS ParallelCluster 版中增加了對文件緩存的 Support。
-
檔案系統必須與允許透過連接埠 988 輸入和輸出 TCP 流量的安全性群組相關聯。
請執行下列其中一項動作,確定叢集與檔案系統之間允許流量:
-
設定檔案快取的安全性群組,以允許進出叢集子網路 CIDR 或前置碼清單的流量。
注意
AWS ParallelCluster 驗證連接埠是否已開啟,以及是否已設定 CIDR 或前置詞清單。 AWS ParallelCluster 不驗證 CIDR 塊或前綴列表的內容。
-
使用//SecurityGroups和 SlurmQueuesNetworkingHeadNode/來設定叢集節點的自訂安全性群組SecurityGroups。Networking必須將自訂安全群組設定為允許叢集和檔案系統之間的流量。
注意
如果所有叢集節點都使用自訂安全群組,則 AWS ParallelCluster 僅驗證連接埠是否已開啟。 AWS ParallelCluster 不會驗證來源和目的地是否已正確設定。