SharedStorage 部分 - AWS ParallelCluster

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

SharedStorage 部分

(可选)集群的共享存储设置。

AWS ParallelCluster 支持将 Amazon EBS FSx 用于ONTAPFSx用于开放ZFS共享存储卷、Amazon EFSFSxLustre 共享存储文件系统或文件缓存。

SharedStorage 部分中,您可以定义外部存储或托管存储:

  • 外部存储是指您管理的现有卷或文件系统。 AWS ParallelCluster 不会创建或删除它。

  • AWS ParallelCluster 托管存储是指 AWS ParallelCluster 创建并可以删除的卷或文件系统。

有关共享存储配额以及有关配置共享存储的更多信息,请参阅使用 AWS ParallelCluster 中的共享存储

注意

如果 AWS Batch 用作调度程序,FSx则 Lustre 仅在群集头节点上可用。

SharedStorage: - MountDir: string Name: string StorageType: Ebs EbsSettings: VolumeType: string Iops: integer Size: integer Encrypted: boolean KmsKeyId: string SnapshotId: string Throughput: integer VolumeId: string DeletionPolicy: string Raid: Type: string NumberOfVolumes: integer - MountDir: string Name: string StorageType: Efs EfsSettings: Encrypted: boolean KmsKeyId: string EncryptionInTransit: boolean IamAuthorization: boolean PerformanceMode: string ThroughputMode: string ProvisionedThroughput: integer FileSystemId: string DeletionPolicy: string AccessPointId: string - MountDir: string Name: string StorageType: FsxLustre FsxLustreSettings: StorageCapacity: integer DeploymentType: string ImportedFileChunkSize: integer DataCompressionType: string ExportPath: string ImportPath: string WeeklyMaintenanceStartTime: string AutomaticBackupRetentionDays: integer CopyTagsToBackups: boolean DailyAutomaticBackupStartTime: string PerUnitStorageThroughput: integer BackupId: string KmsKeyId: string FileSystemId: string AutoImportPolicy: string DriveCacheType: string StorageType: string DeletionPolicy: string DataRepositoryAssociations: - Name: string BatchImportMetaDataOnCreate: boolean DataRepositoryPath: string FileSystemPath: string ImportedFileChunkSize: integer AutoExportPolicy: string AutoImportPolicy: string - MountDir: string Name: string StorageType: FsxOntap FsxOntapSettings: VolumeId: string - MountDir: string Name: string StorageType: FsxOpenZfs FsxOpenZfsSettings: VolumeId: string - MountDir: string Name: string StorageType: FileCache FileCacheSettings: FileCacheId: string

SharedStorage更新政策

SharedStorage 属性

MountDir必需String

共享存储的挂载路径。

更新策略:如果更改此设置,则不允许更新。

Name必需String

共享存储的名称。可以在更新设置时使用此名称。

警告

如果您指定了 AWS ParallelCluster 托管共享存储,并且更改了的值Name,则会删除现有的托管共享存储空间和数据,并创建新的托管共享存储。通过集群更新来更改 Name 的值等同于用新的托管共享存储替换现有的托管共享存储。如果您需要保留现有共享存储中的数据,请确保在更改 Name 之前备份数据。

更新策略:对于此列表值设置,必须停止计算实例集或必须设置 QueueUpdateStrategy 才能添加新值;删除现有值时必须停止计算实例集。

StorageType必需String

共享存储的类型。支持的值为 EbsEfsFsxLustreFsxOntapFsxOpenZfs

有关更多信息,请参阅 FsxLustreSettingsFsxOntapSettingsFsxOpenZfsSettings

注意

如果您 AWS Batch 用作调度程序,FSx则 Lustre 仅在群集头节点上可用。

更新策略:如果更改此设置,则不允许更新。

EbsSettings

(可选)Amazon EBS 卷的设置。

EbsSettings: VolumeType: string Iops: integer Size: integer Encrypted: boolean KmsKeyId: string SnapshotId: string VolumeId: string Throughput: integer DeletionPolicy: string Raid: Type: string NumberOfVolumes: integer

更新策略:如果更改此设置,则不允许更新。

EbsSettings 属性

当设置DeletionPolicy为时Delete,如果集群被删除或通过群集更新移除该卷,则该托管卷及其数据将被删除。

有关更多信息,请参阅使用 AWS ParallelCluster 中的共享存储

VolumeType可选String

指定 A mazon EBS 卷类型。支持的值为 gp2gp3io1io2sc1st1standard。默认值为 gp3

有关更多信息,请参阅《亚马逊EC2用户指南》中的 Amazon EBS 卷类型

更新策略:如果更改此设置,则不允许更新。

Iops可选Integer

定义io1io2和 t gp3 ype 卷的数量。IOPS

默认值、支持的值以及 volume_size/volume_iops 比率因 VolumeTypeSize 而异。

VolumeType = io1

默认值:Iops = 100

支持的值:Iops = 100–64000 †

每个 GiB 的最大volume_iopsIOPS与volume_size比 = 50。5000 IOPS 需要至少 100 GiB volume_size 的容量。

VolumeType = io2

默认值:Iops = 100

支持的值:Iops = 100–64000(io2 Block Express 卷为 256000)†

每个 GiB 的最大IopsSize比率 = 500 IOPS。5000 IOPS 需要至少 10 GiB 的。Size

VolumeType = gp3

默认值:Iops = 3000

支持的值:Iops = 3000–16000

每个 GiB 的最大IopsSize比率 = 500 IOPS。5000 IOPS 需要至少 10 GiB 的。Size

† 只有在配置超过 32,000 IOPS 的 Nitro 系统上构建的实例才能保证最大值。IOPS其他实例保证最高可达 32,000 个IOPS。除非您修改卷,否则较早的 io1 卷可能无法实现完全性能。io2Block Express 卷在 R5b 实例类型上支持高达 256000 的 volume_iops 值。有关更多信息,请参阅《亚马逊EC2用户指南》中的 “io2屏蔽 Express 卷”。

更新策略:可以在更新期间更改此设置。

Size可选Integer

指定卷大小,以吉字节 (GiB) 为单位。默认值为 35。

更新策略:如果更改此设置,则不允许更新。

Encrypted可选Boolean

指定是否对卷进行加密。默认值为 true

更新策略:如果更改此设置,则不允许更新。

KmsKeyId可选String

指定用于加密的自定义 AWS KMS 密钥。此设置要求将 Encrypted 设置设为 true

更新策略:如果更改此设置,则不允许更新。

SnapshotId可选String

如果您使用EBS快照作为卷的来源,请指定 Amazon 快照 ID。

更新策略:如果更改此设置,则不允许更新。

VolumeId可选String

指定亚马逊EBS卷号。为 EbsSettings 实例指定此参数后,还可以并且只能指定 MountDir 参数。

必须在 HeadNode 所在的同一可用区中创建卷。

注意

3.4.0 AWS ParallelCluster 版本中添加了多个可用区。

更新策略:如果更改此设置,则不允许更新。

Throughput可选Integer

为卷预置的吞吐量,以 MiB/s 为单位,最大值为 1000 MiB/s。

此设置仅在 VolumeTypegp3 时有效。支持的范围为 125 到 1000,默认值为 125。

更新策略:可以在更新期间更改此设置。

DeletionPolicy可选String

指定删除集群或删除卷时是保留卷、删除卷还是创建快照。支持的值为 DeleteRetainSnapshot。默认值为 Delete

DeletionPolicy设置为时Delete,如果集群被删除或通过群集更新移除该卷,则该托管卷及其数据将被删除。

有关更多信息,请参阅 共享存储

更新策略:可以在更新期间更改此设置。

注意

DeletionPolicy从 3.2.0 AWS ParallelCluster 版开始受支持。

Raid

(可选)定义RAID卷的配置。

Raid: Type: string NumberOfVolumes: integer

更新策略:如果更改此设置,则不允许更新。

Raid 属性

Type必需String

定义数RAID组的类型。支持的值为“0”(条带)和“1”(镜像)。

更新策略:如果更改此设置,则不允许更新。

NumberOfVolumes可选Integer

定义用于创建RAID阵列的 Amazon EBS 卷的数量。支持的值范围为 2-5。默认值(定义了 Raid 设置时)为 2。

更新策略:如果更改此设置,则不允许更新。

EfsSettings

(可选)Amazon EFS 文件系统的设置。

EfsSettings: Encrypted: boolean KmsKeyId: string EncryptionInTransit: boolean IamAuthorization: boolean PerformanceMode: string ThroughputMode: string ProvisionedThroughput: integer FileSystemId: string DeletionPolicy: string AccessPointId: string

更新策略:如果更改此设置,则不允许更新。

EfsSettings 属性

DeletionPolicy设置为时Delete,如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。

有关更多信息,请参阅使用 AWS ParallelCluster 中的共享存储

Encrypted可选Boolean

指定 Amazon EFS 文件系统是否已加密。默认值为 false

更新策略:如果更改此设置,则不允许更新。

KmsKeyId可选String

指定用于加密的自定义 AWS KMS 密钥。此设置要求将 Encrypted 设置设为 true

更新策略:如果更改此设置,则不允许更新。

EncryptionInTransit可选Boolean

如果设置为true,则使用传输层安全 (TLS) 挂载 Amazon EFS 文件系统。默认情况下,该选项设置为 false

注意

AWS Batch 如果用作调度程序,则EncryptionInTransit不支持。

注意

从 AWS ParallelCluster 版本 3.4.0 开始添加了 EncryptionInTransit

更新策略:如果更改此设置,则不允许更新。

IamAuthorization可选Boolean

IamAuthorization是从 3.4.0 AWS ParallelCluster 版本开始添加的。

如果设置为true,EFS则使用系统的身份对 Amazon 进行IAM身份验证。默认情况下,该选项设置为 false

注意

如果 IamAuthorization 被设置为 true,则 EncryptionInTransit 也必须被设置为 true

注意

AWS Batch 如果用作调度程序,则IamAuthorization不支持。

更新策略:如果更改此设置,则不允许更新。

PerformanceMode可选String

指定 Amazon EFS 文件系统的性能模式。支持的值为 generalPurposemaxIO。默认值为 generalPurpose。有关更多信息,请参阅 Amazon Elastic File System User Guide 中的 Performance modes

对于大多数文件系统,我们推荐使用 generalPurpose 性能模式。

使用 maxIO 性能模式的文件系统可以扩展到更高级别的聚合吞吐量和每秒操作数。但是,对于大多数文件操作来说,代价是稍高的延迟。

更新策略:如果更改此设置,则不允许更新。

ThroughputMode可选String

指定 Amazon EFS 文件系统的吞吐量模式。支持的值为 burstingprovisioned。默认值为 bursting。使用 provisioned 时,必须指定 ProvisionedThroughput

更新策略:可以在更新期间更改此设置。

ProvisionedThroughputThroughputModeprovisioned必需Integer

定义 Amazon EFS 文件系统的预配置吞吐量(以 MiB/s 为单位),以 MiB/s 为单位。这与 Amazon EFS API 参考中的ProvisionedThroughputInMibps参数相对应。

如果您使用了此参数,则必须将 ThroughputMode 设置为 provisioned

支持的范围是 1-1024。要请求提高限制,请联系 AWS Support。

更新策略:可以在更新期间更改此设置。

FileSystemId可选String

定义现有EFS文件系统的 Amazon 文件系统 ID。

如果集群配置为跨越多个可用区,则必须在集群使用的每个可用区中定义一个文件系统挂载目标。

指定了此参数时,只能指定 MountDir。不能指定其他 EfsSettings

如果设置此选项,则定义的文件系统必须符合以下要求:
  • 文件系统在集群的每个可用区中都有一个现有的挂载目标,允许来自和的入站和出站NFS流量ComputeNodesHeadNode计划//网络 SlurmQueues/中配置了多个可用区SubnetIds

    为确保允许集群和文件系统之间的流量,您可以执行以下操作之一:
    • 配置挂载目标的安全组以允许进出集群子网CIDR或前缀列表的流量。

      注意

      AWS ParallelCluster 验证端口是否已打开以及CIDR或前缀列表是否已配置。 AWS ParallelCluster 不验证CIDR区块列表或前缀列表的内容。

    • 通过使用 SlurmQueues/Networking/SecurityGroupsHeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。

      注意

      如果所有集群节点都使用自定义安全组,则 AWS ParallelCluster 仅验证端口是否已打开。 AWS ParallelCluster 无法验证源和目标的配置是否正确。

警告

EFS OneZone 仅当所有计算节点和头节点都在同一个可用区中时才支持。EFS OneZone 只能有一个坐骑目标。

注意

3.4.0 AWS ParallelCluster 版本中添加了多个可用区。

更新策略:如果更改此设置,则不允许更新。

DeletionPolicy可选String

指定从集群中删除文件系统或删除集群时,是应保留还是删除文件系统。支持的值是 DeleteRetain。默认值为 Delete

如果设置DeletionPolicyDelete,则如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。

有关更多信息,请参阅 共享存储

更新策略:可以在更新期间更改此设置。

注意

DeletionPolicy从 3.3.0 AWS ParallelCluster 版开始受支持。

AccessPointId可选String

如果指定了此选项,则access point ID将挂载由定义的文件系统入口点而不是文件系统根目录。

有关更多信息,请参阅 共享存储

更新策略:如果更改此设置,则不允许更新。

FsxLustreSettings

注意

如果为 StorageType 指定了 FsxLustre,则必须定义 FsxLustreSettings

(可选)适用FSx于 Lustre 文件系统的设置。

FsxLustreSettings: StorageCapacity: integer DeploymentType: string ImportedFileChunkSize: integer DataCompressionType: string ExportPath: string ImportPath: string WeeklyMaintenanceStartTime: string AutomaticBackupRetentionDays: integer CopyTagsToBackups: boolean DailyAutomaticBackupStartTime: string PerUnitStorageThroughput: integer BackupId: string # BackupId cannot coexist with some of the fields KmsKeyId: string FileSystemId: string # FileSystemId cannot coexist with other fields AutoImportPolicy: string DriveCacheType: string StorageType: string DeletionPolicy: string

更新策略:如果更改此设置,则不允许更新。

注意

如果 AWS Batch 用作调度程序,FSx则 Lustre 仅在群集头节点上可用。

FsxLustreSettings 属性

如果设置DeletionPolicyDelete,则如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。

有关更多信息,请参阅 共享存储

StorageCapacity必需Integer

设置 Lustre 文件系统的存储容量,以 GiB FSx 为单位。 StorageCapacity如果要创建新的文件系统,则为必填项。如果指定了 BackupIdFileSystemId,则不要包含 StorageCapacity

  • 对于 SCRATCH_2PERSISTENT_1PERSISTENT_2 部署类型,有效值为 1200 GiB、2400 GiB,并以 2400 GiB 为增量。

  • 对于 SCRATCH_1 部署类型,有效值为 1200 GiB、2400 GiB,并以 3600 GiB 为增量。

更新策略:如果更改此设置,则不允许更新。

DeploymentType可选String

指定 Lustre 文件系统的部署类型。FSx支持的值有 SCRATCH_1SCRATCH_2PERSISTENT_1PERSISTENT_2。默认值为 SCRATCH_2

当您需要临时存储和短期处理数据时,请选择 SCRATCH_1SCRATCH_2 部署类型。SCRATCH_2 部署类型提供了数据的传输中加密,以及比 SCRATCH_1 更高的突发吞吐能力。

对于长期存储以及侧重于吞吐量的延迟不敏感型工作负载,请选择 PERSISTENT_1 部署类型。PERSISTENT_1 支持传输中数据加密。它在所有可用 Lustr FSx e AWS 区域 的地方都可用。

为长期存储以及需要最高水平IOPS和吞吐量的延迟敏感型工作负载选择PERSISTENT_2部署类型。 PERSISTENT_2支持SSD存储空间并提供更高的存储空间PerUnitStorageThroughput(高达 1000 MB/s/TiB)。 PERSISTENT_2数量有限 AWS 区域。有关部署类型和可用 AWS 区域 位置PERSISTENT_2列表的更多信息,请参阅《Amazon FSx for Lustre 用户指南》中的 Lustre 文件系统部署选项。FSx

当您从支持此功能的 Amazon EC2 实例访问SCRATCH_2PERSISTENT_1、或PERSISTENT_2部署类型的文件系统时,会自动启用传输中数据的加密。

从受支持的 AWS 区域中受支持的实例类型进行访问时,支持 SCRATCH_2PERSISTENT_1PERSISTENT_2 部署类型的传输中数据加密。有关更多信息,请参阅 Amazon for Lustre 用户指南FSx中的加密传输中的数据

注意

从 AWS ParallelCluster 版本 3.2.0 开始添加了对 PERSISTENT_2 部署类型的支持。

更新策略:如果更改此设置,则不允许更新。

ImportedFileChunkSize可选Integer

对于从数据存储库导入的文件,此值决定单个物理磁盘上存储的每个文件的条带计数和最大数据量(以 MiB 为单位)。可以对单个文件进行条带化的最大磁盘数受构成文件系统的总磁盘数限制。

默认区块大小为 1024MiB(1GiB),最大值能够达到 512000MiB(500GiB)。Amazon S3 数据元的最大大小为 5 TB。

注意

使用 PERSISTENT_2 部署类型的文件系统不支持此参数。有关如何配置数据存储库关联的说明,请参阅 Amazon FSx for Lustre 用户指南中的将文件系统关联到 S3 存储桶

更新策略:如果更改此设置,则不允许更新。

DataCompressionType可选String

为 Lustre 文件系统设置数据压缩配置。FSx支持的值为LZ4LZ4表示该LZ4算法已开启数据压缩。如果未指定 DataCompressionType,则在创建文件系统时关闭数据压缩。

有关更多信息,请参阅 Lustre 数据压缩

更新策略:可以在更新期间更改此设置。

ExportPath可选String

Amazon S3 中导出您FSx的 for Lustre 文件系统根目录的路径。仅当指定了 ImportPath 参数时支持此设置。该路径必须使用在 ImportPath 中指定的相同 Amazon S3 存储桶。您可以提供一个可选的前缀,用于从 for Lustre 文件系统中导出新数据和更改数据。FSx如果未提供ExportPath值,则FSx为 Lustre 设置默认导出路s3://DOC-EXAMPLE-IMPORT-BUCKET/FSxLustre[creation-timestamp]径。例如s3://DOC-EXAMPLE-IMPORT-BUCKET/FSxLustre20181105T222312Z,时间戳UTC采用格式。

Amazon S3 导出桶必须与 ImportPath 指定的导入桶相同。如果仅指定存储桶名称(例如 s3://DOC-EXAMPLE-IMPORT-BUCKET),则会获得文件系统对象与 Amazon S3 存储桶对象的 1:1 映射。此映射意味着 Amazon S3 中的输入数据会在导出时被覆盖。如果您在导出路径中提供了自定义前缀(例如s3://DOC-EXAMPLE-IMPORT-BUCKET/[custom-optional-prefix]),则 Lustre 会将文件系统的内容导出到 Amazon S3 存储桶中的该导出前缀。FSx

注意

使用 PERSISTENT_2 部署类型的文件系统不支持此参数。按照《Amaz FSx on for Lustre 用户指南》中的将文件系统链接到 S3 存储桶中所述配置数据存储库关联。

更新策略:如果更改此设置,则不允许更新。

ImportPath可选String

您用作 for Lustre 文件系统数据存储库的 Amazon S3 存储桶的路径(包括可选前缀)。FSx您FSx的 for Lustre 文件系统的根目录将映射到您选择的 Amazon S3 存储桶的根目录。例如,s3://DOC-EXAMPLE-IMPORT-BUCKET/optional-prefix。如果您在 Amazon S3 名称后指定了前缀,则只将具有该前缀的对象键加载到文件系统。

注意

使用 PERSISTENT_2 部署类型的文件系统不支持此参数。按照《Amaz FSx on for Lustre 用户指南》中的将文件系统链接到 S3 存储桶中所述配置数据存储库关联。

更新策略:如果更改此设置,则不允许更新。

WeeklyMaintenanceStartTime可选String

执行每周维护的首选开始时间。它采用 UTC +0 时区的"d:HH:MM"格式。对于此格式,d 是从 1 到 7 的星期几数字,从星期一开始,以星期日结束。此字段必须使用引号。

更新策略:可以在更新期间更改此设置。

AutomaticBackupRetentionDays可选Integer

保留自动备份的天数。将此值设置为 0 将禁用自动备份。支持的范围是 0-90。默认值是 0。此设置仅在与 PERSISTENT_1PERSISTENT_2 部署类型一起使用时有效。有关更多信息,请参阅《Amazon FSx for Lustre 用户指南》中的使用备份

更新策略:可以在更新期间更改此设置。

CopyTagsToBackups可选Boolean

如果是true,请将 for Lustre 文件系统的标签复制到备份中。FSx此值默认为 false。如果设置为 true,则会将文件系统的所有标签复制到用户未指定标签的所有自动和用户启动的备份。如果此值为 true,并且指定了一个或多个标签,则仅将指定的标签复制到备份。如果您在创建用户启动的备份时指定了一个或多个标签,则不会从文件系统复制任何标签,无论此值如何。此设置仅在与 PERSISTENT_1PERSISTENT_2 部署类型一起使用时有效。

更新策略:如果更改此设置,则不允许更新。

DailyAutomaticBackupStartTime可选String

每天重复的时间,格式为 HH:MMHH 是一天中的零填充小时 (00-23)。MM 是小时中的零填充分钟 (00-59)。例如,05:00 指定每天上午 5 点。此设置仅在与 PERSISTENT_1PERSISTENT_2 部署类型一起使用时有效。

更新策略:可以在更新期间更改此设置。

PerUnitStorageThroughput(对 PERSISTENT_1PERSISTENT_2 部署类型为必需Integer

描述每 1 TiB 存储的读取和写入吞吐量(以 MB/s/TiB 为单位)。文件系统吞吐能力是将通过文件系统存储容量(TiB)乘以 PerUnitStorageThroughput(MB/s/TiB)计算得出的。对于 2.4 TiB 文件系统,预置 50 MB/s/TiB 的 PerUnitStorageThroughput 将得到 120 MB/s 的文件系统吞吐量。您需要为预置的吞吐量付费。这与该PerUnitStorageThroughput属性相对应。

有效值:

  • PERSISTENT_1 SSD 存储空间:50、100、200 MB/s/Tib。

  • PERSISTENT_1 HDD 存储空间:12、40 MB/s/TiB。

  • PERSISTENT_2 SSD 存储空间:125、250、500、1000 MB/s/Tib。

更新策略:如果更改此设置,则不允许更新。

BackupId可选String

指定用于从现有备份中恢复 for Lustre 文件系统的备份 ID。FSx指定了 BackupId 设置时,不得指定 AutoImportPolicyDeploymentTypeExportPathKmsKeyIdImportPathImportedFileChunkSizeStorageCapacityPerUnitStorageThroughput 设置。这些设置将从备份中读取。此外,不得指定 AutoImportPolicyExportPathImportPathImportedFileChunkSize 设置。这与该BackupId属性相对应。

更新策略:如果更改此设置,则不允许更新。

KmsKeyId可选String

AWS Key Management Service (AWS KMS) 密钥 ID 的 ID,用于加密 for Lustre 文件系统的数据,使静态的 Lustre 文件系统具有永久性FSx。FSx如果未指定,则使用 f FSx or Lustre 托管密钥。Lustre 文件系统的SCRATCH_1SCRATCH_2FSx始终使用 Lustre 托管密钥FSx进行静态加密。有关更多信息,请参阅AWS Key Management Service API参考中的加密

更新策略:如果更改此设置,则不允许更新。

FileSystemId可选String

指定 Lustre 现有FSx文件系统的 ID。

如果指定了此选项,则仅使用 FsxLustreSettings 中的 MountDirFileSystemId 设置。FsxLustreSettings 中的所有其他设置都将被忽略。

注意

如果使用 AWS Batch 调度器,则 fo FSx r Lustre 仅在头节点上可用。

注意

文件系统必须与允许入站和出站TCP流量通过端口 988、1021、1022 和 1023 的安全组相关联。

通过执行以下操作之一,确保允许集群和文件系统之间的流量:

  • 配置文件系统的安全组以允许进出集群子网CIDR或前缀列表的流量。

    注意

    AWS ParallelCluster 验证端口是否已打开以及CIDR或前缀列表是否已配置。 AWS ParallelCluster 不验证CIDR区块列表或前缀列表的内容。

  • 通过使用 SlurmQueues/Networking/SecurityGroupsHeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有集群节点都使用自定义安全组,则 AWS ParallelCluster 仅验证端口是否已打开。 AWS ParallelCluster 无法验证源和目标的配置是否正确。

更新策略:如果更改此设置,则不允许更新。

AutoImportPolicy可选String

当您创建 f FSx or Lustre 文件系统时,您的现有 Amazon S3 对象将显示为文件和目录列表。使用此属性选择 Lustre 在关联的 Amazon S3 存储桶中添加或修改对象时如何FSx使您的文件和目录列表保持最新。 AutoImportPolicy可以有以下值:

  • NEW:自动导入开启。FSxfor Lustre 会自动导入添加到链接的 Amazon S3 存储桶中且当前不存在于 for Lustre 文件系统中的任何新对象FSx的目录列表。

  • NEW_CHANGED:自动导入开启。FSxfor Lustre 会自动导入添加到 Amazon S3 存储桶中的任何新对象以及选择此选项后在 Amazon S3 存储桶中更改的任何现有对象的文件和目录列表。

  • NEW_CHANGED_DELETED:自动导入开启。FSxfor Lustre 会自动导入添加到 Amazon S3 存储桶中的任何新对象、在 Amazon S3 存储桶中更改的任何现有对象以及您选择此选项后在 Amazon S3 存储桶中删除的所有对象的文件和目录列表。

    注意

    在 AWS ParallelCluster 版本 3.1.1 中添加了对 NEW_CHANGED_DELETED 的支持。

如果未指定 AutoImportPolicy,则关闭自动导入。FSxfor Lustre 仅在创建文件系统时更新链接的 Amazon S3 存储桶中的文件和目录列表。FSx选择此选项后,for Lustre 不会更新任何新对象或已更改对象的文件和目录列表。

有关更多信息,请参阅 Amaz FSx on for Lustre 用户指南中的自动从 S3 存储桶导入更新

注意

使用 PERSISTENT_2 部署类型的文件系统不支持此参数。有关如何配置数据存储库关联的说明,请参阅 Amazon FSx for Lustre 用户指南中的将文件系统关联到 S3 存储桶

更新策略:如果更改此设置,则不允许更新。

DriveCacheType可选String

指定文件系统具有SSD驱动器缓存。只有将 StorageType 设置设为 HDD,且将 DeploymentType 设置设为 PERSISTENT_1,才能设置此选项。这与该DriveCacheType属性相对应。有关更多信息,FSx请参阅《Amazon FSx for Lustre 用户指南》中的 Lustre 部署选项

唯一有效值为 READ。要禁用SSD驱动器缓存,请不要指定DriveCacheType设置。

更新策略:如果更改此设置,则不允许更新。

StorageType可选String

为您正在创建的 for FSx Lustre 文件系统设置存储类型。有效值为 SSDHDD

  • 设置为 SSD 以使用固态驱动器存储。

  • 设置为 HDD 以使用硬盘驱动器存储。PERSISTENT 部署类型支持 HDD

默认值为 SSD。有关更多信息,请参阅亚马逊 Windows 版用户指南中的存储类型选项和亚马逊 FSx for Lustre 用户指南中的多个存储选项。FSx

更新策略:如果更改此设置,则不允许更新。

DeletionPolicy可选String

指定从集群中删除文件系统或删除集群时,是应保留还是删除文件系统。支持的值是 DeleteRetain。默认值为 Delete

如果设置DeletionPolicyDelete,则如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。

有关更多信息,请参阅 共享存储

更新策略:可以在更新期间更改此设置。

注意

DeletionPolicy从 3.3.0 AWS ParallelCluster 版开始受支持。

DataRepositoryAssociations可选String

列表DRAs(每个文件系统最多 8 个)

每个数据存储库关联都必须有一个唯一的 Amazon FSx 文件系统目录以及与之关联的唯一 S3 存储桶或前缀。

不能ImportPath在使用ExportPath和的 FsxLustreSettings 同时使用DRAs。

更新策略:可以在更新期间更改此设置。

Name必需String

的名字DRA。可以在更新设置时使用此名称。

更新策略:如果更改此设置,则不允许更新。

BatchImportMetaDataOnCreate可选Boolean

一种布尔标志,指示是否应在创建数据存储库关联后运行用于导入元数据的导入数据存储库任务。如果将此标志设置为 true,则该任务将运行。

默认值:false

更新策略:如果更改此设置,则不允许更新。

DataRepositoryPath必需String

要链接到文件系统的 Amazon S3 数据存储库的路径。该路径可以是 S3 存储桶或格式 s3://myBucket/myPrefix/ 的前缀。此路径指定 S3 数据存储库文件将从中导入或导出到的位置。

不能与其他重叠 DRAs

模式:^[^\u0000\u0085\u2028\u2029\r\n]{3,4357}$

最低:3

最高:4357

更新策略:如果更改此设置,则不允许更新。

FileSystemPath必需String

Amazon fo FSx r Lustre 文件系统上的路径,它指向将与 1-1 映射的高级目录(例如 /ns1//ns1/subdir/)或子目录(例如)。DataRepositoryPath名称中的前导正斜杠必填。两个数据存储库关联不能具有重叠的文件系统路径。例如,如果数据存储库与文件系统路径 /ns1/ 相关联,则您无法将另一个数据存储库与文件系统路径 /ns1/ns2 相关联。

此路径指定文件将在您的文件系统中的哪个位置导出或导入到哪个位置。只能将此文件系统目录链接到一个 Amazon S3 桶,而不能将其他 S3 桶链接到该目录。

不能与其他重叠 DRAs

注意

如果您仅指定正斜杠 (/) 作为文件系统路径,则只能将一个数据存储库链接到文件系统。您只能指定 “/” 作为与文件系统关联的第一个数据存储库的文件系统路径。

模式:^[^\u0000\u0085\u2028\u2029\r\n]{1,4096}$

最低:1

最高:4096

更新策略:如果更改此设置,则不允许更新。

ImportedFileChunkSize可选Integer

对于从数据存储库导入的文件,此值决定单个物理磁盘上存储的每个文件的条带计数和最大数据量(以 MiB 为单位)。可以对单个文件进行条带化的最大磁盘数受构成文件系统或缓存的总磁盘数限制。

默认区块大小为 1024MiB(1GiB),最大值能够达到 512000MiB(500GiB)。Amazon S3 数据元的最大大小为 5 TB。

最低:1

最高:4096

更新策略:可以在更新期间更改此设置。

AutoExportPolicy可选Array of strings

该列表可以包含以下一个或多个值:

  • NEW - 新文件和目录将在添加到文件系统时自动导出到数据存储库。

  • CHANGED - 对文件系统上的文件和目录所做的更改将自动导出到数据存储库。

  • DELETED - 在文件系统上删除文件和目录后,将在数据存储库中自动删除这些文件和目录。

您可以为您的 AutoExportPolicy 定义事件类型的任意组合。

最高:3

更新策略:可以在更新期间更改此设置。

AutoImportPolicy可选Array of strings

该列表可以包含以下一个或多个值:

  • NEW-Amazon FSx 会自动导入添加到链接的 S3 存储桶且FSx文件系统中当前不存在的文件的元数据。

  • CHANGED-当数据存储库中的文件更改时,Amazon FSx 会自动更新文件元数据并使文件系统中的现有文件内容失效。

  • DELETED-当相应文件在数据存储库中被删除时,Amazon 会FSx自动删除文件系统上的文件。

您可以为您的 AutoImportPolicy 定义事件类型的任意组合。

最高:3

更新策略:可以在更新期间更改此设置。

FsxOntapSettings

注意

如果为 StorageType 指定了 FsxOntap,则必须定义 FsxOntapSettings

(可选)ONTAP文件FSx系统的设置。

FsxOntapSettings: VolumeId: string

FsxOntapSettings 属性

VolumeId必需String

为ONTAP系统指定现有FSx卷 ID。

注意
  • 如果使用 AWS Batch 调度器,f ONTAP o FSx r 仅在头节点上可用。

  • 如果ONTAP部署类型为Multi-AZ,请确保头节点子网的路由表配置正确。FSx

  • 在 3.2.0 AWS ParallelCluster 版本中增加了FSx对ONTAP的支持。

  • 文件系统必须与允许通过端口 111、635、2049 和 4046 的入站TCP和出站UDP流量以及流量的安全组相关联。

通过执行以下操作之一,确保允许集群和文件系统之间的流量:

  • 配置文件系统的安全组以允许进出集群子网CIDR或前缀列表的流量。

    注意

    AWS ParallelCluster 验证端口是否已打开以及CIDR或前缀列表是否已配置。 AWS ParallelCluster 不验证CIDR区块列表或前缀列表的内容。

  • 通过使用 SlurmQueues/Networking/SecurityGroupsHeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有集群节点都使用自定义安全组,则 AWS ParallelCluster 仅验证端口是否已打开。 AWS ParallelCluster 无法验证源和目标的配置是否正确。

更新策略:如果更改此设置,则不允许更新。

FsxOpenZfsSettings

注意

如果为 StorageType 指定了 FsxOpenZfs,则必须定义 FsxOpenZfsSettings

(可选)“打开” ZFS 文件系统的设置。FSx

FsxOpenZfsSettings: VolumeId: string

更新策略:如果更改此设置,则不允许更新。

FsxOpenZfsSettings 属性

VolumeId必需String

为开放ZFS系统指定现有FSx卷 ID。

注意
  • 如果使用 AWS Batch 调度器,则 Op FSx ZFS en 仅在头节点上可用。

  • 3.2.0 AWS ParallelCluster 版本中增加了ZFS对 Open 的支持。FSx

  • 文件系统必须与允许入站和出站以及通过端口 111、2049、20001、20002 TCP 和 20003 进行UDP流量的安全组相关联。

通过执行以下操作之一,确保允许集群和文件系统之间的流量:

  • 配置文件系统的安全组以允许进出集群子网CIDR或前缀列表的流量。

    注意

    AWS ParallelCluster 验证端口是否已打开以及CIDR或前缀列表是否已配置。 AWS ParallelCluster 不验证CIDR区块列表或前缀列表的内容。

  • 通过使用 SlurmQueues/Networking/SecurityGroupsHeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有集群节点都使用自定义安全组,则 AWS ParallelCluster 仅验证端口是否已打开。 AWS ParallelCluster 无法验证源和目标的配置是否正确。

更新策略:如果更改此设置,则不允许更新。

FileCacheSettings

注意

如果为 StorageType 指定了 FileCache,则必须定义 FileCacheSettings

(可选)文件缓存的设置。

FileCacheSettings: FileCacheId: string

更新策略:如果更改此设置,则不允许更新。

FileCacheSettings 属性

FileCacheId必需String

指定现有文件缓存的文件缓存 ID。

注意
  • 文件缓存不支持 AWS Batch 调度程序。

  • 3.7.0 AWS ParallelCluster 版本中增加了对文件缓存的支持。

  • 文件系统必须与允许入站和出站TCP流量通过端口 988 的安全组相关联。

通过执行以下操作之一,确保允许集群和文件系统之间的流量:

  • 配置 File Cache 的安全组以允许进出集群子网CIDR或前缀列表的流量。

    注意

    AWS ParallelCluster 验证端口是否已打开以及CIDR或前缀列表是否已配置。 AWS ParallelCluster 不验证CIDR区块列表或前缀列表的内容。

  • 通过使用 SlurmQueues/Networking/SecurityGroupsHeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有集群节点都使用自定义安全组,则 AWS ParallelCluster 仅验证端口是否已打开。 AWS ParallelCluster 无法验证源和目标的配置是否正确。

更新策略:如果更改此设置,则不允许更新。