本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用较旧的部署类型
本节适用于部署类型为 Scratch 1 的文件系统,也适用于部署类型为 Scratch 2
或 Persistent 1
且不使用数据存储库关联的文件系统。
将文件系统链接到 Amazon S3 桶
在创建 Amazon f FSx or Lustre 文件系统时,可以将其链接到 Amazon S3 中的耐用数据存储库。在创建文件系统之前,请确保您已经创建了要链接的 Amazon S3 桶。在创建文件系统向导中,您可以在可选的数据存储库 Import/Export 面板中设置以下数据存储库配置属性。
-
创建文件系统后,当您在 S3 存储桶中添加或修改对象时,选择 Amazon 如何使您的文件和目录列表FSx保持最新状态。有关更多信息,请参阅 自动从 S3 桶导入更新。。
-
导入桶:输入用于链接存储库的 S3 桶的名称。
-
导入前缀:如果您只想将 S3 桶中的部分文件和目录数据列表导入文件系统,请输入一个可选的导入前缀。导入前缀用于定义从 S3 桶中导入数据的位置。
-
导出前缀:定义 Amazon 将您的文件系统内容导FSx出到链接的 S3 存储桶的位置。
您可以使用 1:1 映射,其中 Amazon 将您FSx的 for Lustre 文件系统中的数据FSx导出回 S3 存储桶上与导入数据相同的目录。要实现 1:1 映射,请在创建文件系统时指定 S3 桶的导出路径,且不带任何前缀。
使用此方法,您可以在指定导入路径时添加导入前缀,这不会影响导出的 1:1 映射。
创建链接到 S3 桶的文件系统
以下过程将引导您完成使用 AWS 管理控制台和 AWS
命令行界面(AWS CLI)创建链接到 S3 存储桶的 Amazon FSx 文件系统的过程。
- Console
-
-
打开 Amazon FSx 控制台,网址为https://console.aws.amazon.com/fsx/。
-
在控制面板中,选择创建文件系统。
-
对于文件系统类型,选择 FSxLustre,然后选择 “下一步”。
-
提供文件系统详细信息和网络和安全部分所需的信息。有关更多信息,请参阅 第 1 步:创建你的 f FSx or Lustre 文件系统。
-
您可以使用数据存储库 Import/Export 面板在 Amazon S3 中配置链接的数据存储库。选择从 S3 导入数据和向 S3 导出数据,以展开数据存储库 Import/Export 部分并配置数据存储库设置。
-
选择 Amazon 在您的 S3 存储桶中添加或修改对象时如何使您的文件和目录列表FSx保持最新状态。创建文件系统时,现有 S3 对象将显示为文件和目录列表。
-
将@@ 对象添加到我的 S3 存储桶时,更新我的文件和目录列表:(默认)Amazon FSx 会自动更新添加到链接 S3 存储桶且FSx文件系统中当前不存在的任何新对象的文件和目录列表。Amazon FSx 不会更新 S3 存储桶中已更改的对象的列表。Amazon FSx 不会删除已在 S3 存储桶中删除的对象的清单。
使用和从关联的 S3 存储桶导入数据的默认导入首选项设置API为NONE
。CLI使用控制台时,默认的导入首选项设置是更新 Lustre 当新对象被添加到 S3 存储桶时。
-
在@@ 我的 S3 存储桶中添加或更改对象时,更新我的文件和目录列表:选择此选项后,Amazon FSx 会自动更新添加到 S3 存储桶的任何新对象以及在 S3 存储桶中更改的任何现有对象的文件和目录列表。Amazon FSx 不会删除已在 S3 存储桶中删除的对象的清单。
-
在@@ 向我的 S3 存储桶中添加、更改或删除对象时,更新我的文件和目录列表:Amazon FSx 会自动更新添加到 S3 存储桶的任何新对象、在 S3 存储桶中更改的任何现有对象以及您选择此选项后在 S3 存储桶中删除的任何现有对象的文件和目录列表。
-
请勿更新我的文件,也不要直接列出何时向我的 S3 存储桶中添加、更改或删除对象-Amazon FSx 仅在创建文件系统时更新链接的 S3 存储桶中的文件和目录列表。 FSx选择此选项后,不会更新任何新的、已更改或已删除的对象的文件和目录列表。
-
如果您只想将 S3 桶中的部分文件和目录数据列表导入文件系统,请输入一个可选的导入前缀。导入前缀用于定义从 S3 桶中导入数据的位置。有关更多信息,请参阅 自动从 S3 桶导入更新。。
-
选择一个可用的导出前缀选项:
-
Amazon 在您的存储桶中FSx创建的唯一前缀:选择此选项可使用由 for Lustre 生成的前缀导出新的和更改过FSx的对象。前缀类似于以下内容:/FSxLustrefile-system-creation-
timestamp
。例如FSxLustre20181105T222312Z
,时间戳UTC采用格式。
-
与您导入的前缀相同(使用已更新对象替换现有对象):选择此选项可将现有对象替换为已更新的对象。
-
您指定的前缀:选择此选项可保留导入的数据,并使用您指定的前缀导出新对象和已更改对象。要在将数据导出到 S3 存储桶时实现 1:1 映射,请选择此选项并将前缀字段留空。 FSx会将数据导出到与导入时相同的目录。
-
(可选)设置维护首选项,或使用系统默认值。
-
选择下一步,然后查看设置。根据需要进行更改。
-
选择创建文件系统。
- AWS CLI
-
以下示例创建了一个链接到的 Amazon FSx 文件系统amzn-s3-demo-bucket
,其导入首选项可在创建文件系统后导入链接数据存储库中的任何新文件、更改文件和已删除文件。
使用CLI和从关联的 S3 存储桶导入数据的默认导入首选项设置API为NONE
,这与使用控制台时的默认行为不同。
要创建 fo FSx r Lustre 文件系统,请使用 Amazon FSx CLI 命令 create-file-system
,如下所示。对应的API操作是CreateFileSystem
。
$ aws fsx create-file-system \
--client-request-token CRT1234 \
--file-system-type LUSTRE \
--file-system-type-version 2.10 \
--lustre-configuration
AutoImportPolicy=NEW_CHANGED_DELETED,DeploymentType=SCRATCH_1,ImportPath=s
3://amzn-s3-demo-bucket/,ExportPath=s3://amzn-s3-demo-bucket/export,
PerUnitStorageThroughput=50 \
--storage-capacity 2400 \
--subnet-ids subnet-123456 \
--tags Key=Name,Value=Lustre-TEST-1 \
--region us-east-2
成功创建文件系统后,Amazon 会FSx返回文件系统描述JSON,如下例所示。
{
"FileSystems": [
{
"OwnerId": "owner-id-string",
"CreationTime": 1549310341.483,
"FileSystemId": "fs-0123456789abcdef0",
"FileSystemType": "LUSTRE",
"FileSystemTypeVersion": "2.10",
"Lifecycle": "CREATING",
"StorageCapacity": 2400,
"VpcId": "vpc-123456",
"SubnetIds": [
"subnet-123456"
],
"NetworkInterfaceIds": [
"eni-039fcf55123456789"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre-TEST-1"
}
],
"LustreConfiguration": {
"DeploymentType": "PERSISTENT_1",
"DataRepositoryConfiguration": {
"AutoImportPolicy": "NEW_CHANGED_DELETED",
"Lifecycle": "UPDATING",
"ImportPath": "s3://amzn-s3-demo-bucket/",
"ExportPath": "s3://amzn-s3-demo-bucket/export",
"ImportedFileChunkSize": 1024
},
"PerUnitStorageThroughput": 50
}
}
]
}
查看文件系统的导出路径
您可以使用 for Lustre 控制台 AWS CLI、和,查看文件系统的导出路径。FSx API
- Console
-
- CLI
-
要确定文件系统的导出路径,请使用describe-file-systems
AWS CLI命令。
aws fsx describe-file-systems
在响应中查找 LustreConfiguration
下的 ExportPath
属性。
{
"OwnerId": "111122223333",
"CreationTime": 1563382847.014,
"FileSystemId": "",
"FileSystemType": "LUSTRE",
"Lifecycle": "AVAILABLE",
"StorageCapacity": 2400,
"VpcId": "vpc-6296a00a",
"SubnetIds": [
"subnet-1111111"
],
"NetworkInterfaceIds": [
"eni-0c288d5b8cc06c82d",
"eni-0f38b702442c6918c"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:267731178466:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre System"
}
],
"LustreConfiguration": {
"DeploymentType": "SCRATCH_1",
"DataRepositoryConfiguration": {
"AutoImportPolicy": " NEW_CHANGED_DELETED",
"Lifecycle": "AVAILABLE",
"ImportPath": "s3://amzn-s3-demo-bucket/",
"ExportPath": "s3://amzn-s3-demo-bucket/FSxLustre20190717T164753Z"
,
"ImportedFileChunkSize": 1024
}
},
"PerUnitStorageThroughput": 50,
"WeeklyMaintenanceStartTime": "6:09:30"
}
数据存储库生命周期状态
数据存储库生命周期状态提供有关文件系统链接数据存储库的状态信息。数据存储库可以具有以下生命周期状态。
-
创建:Amazon FSx 正在文件系统和链接的数据存储库之间创建数据存储库配置。数据存储库不可用。
-
可用:数据存储库可供使用。
-
正在更新:数据存储库配置正在进行客户发起的更新,这可能会影响其可用性。
-
配置错误:在更正数据存储库配置之前,Amazon FSx 无法自动从 S3 存储桶导入更新。有关更多信息,请参阅 对配置错误的链接 S3 存储桶进行问题排查。
您可以使用 Amazon FSx 控制台、 AWS 命令行界面和 Amazon 查看文件系统的链接数据存储库生命周期状态FSxAPI。在 Amazon FSx 控制台中,您可以在文件系统的 “数据存储库” 选项卡的 “数据存储库集成” 窗格中访问数据存储库生命周期状态。该Lifecycle
属性位于describe-file-systems
CLI命令响应中的DataRepositoryConfiguration
对象中(等效的API操作是 DescribeFileSystems
)。
自动从 S3 桶导入更新。
默认情况下,当您创建新文件系统时,Amazon 会在创建文件系统时将对象的文件元数据(名称、所有权、时间戳和权限)FSx导入链接的 S3 存储桶。您可以将 for Lustre 文件系统配置FSx为在创建文件系统后自动导入在 S3 存储桶中添加、更改或删除的对象的元数据。 FSxfor Lustre 会在创建已更改对象后更新文件和目录列表,其方式与在创建文件系统时导入文件元数据的方式相同。当 Amazon FSx 更新已更改对象的文件和目录列表时,如果 S3 存储桶中已更改的对象不再包含其元数据,Amazon 将FSx保留该文件的当前元数据值,而不是使用默认权限。
导入设置适用FSx于 2020 年 7 月 23 日下午 EDT 3:00 之后创建的 Lustre 文件系统。
您可以在创建新文件系统时设置导入首选项,也可以使用FSx管理控制台 AWS CLI、和,更新现有文件系统的设置 AWS API。创建文件系统时,现有 S3 对象将显示为文件和目录列表。创建文件系统后,您希望在更新 S3 桶的内容时如何更新文件系统? 文件系统可能具有下列某个导入首选项:
f FSx or Lustre 文件系统及其关联的 S3 存储桶必须位于同一 AWS 区域才能自动导入更新。
-
将@@ 对象添加到我的 S3 存储桶时,更新我的文件和目录列表:(默认)Amazon FSx 会自动更新添加到链接 S3 存储桶且FSx文件系统中当前不存在的任何新对象的文件和目录列表。Amazon FSx 不会更新 S3 存储桶中已更改的对象的列表。Amazon FSx 不会删除已在 S3 存储桶中删除的对象的清单。
使用和从关联的 S3 存储桶导入数据的默认导入首选项设置API为NONE
。CLI使用控制台时,默认的导入首选项设置是更新 Lustre 当新对象被添加到 S3 存储桶时。
-
在@@ 我的 S3 存储桶中添加或更改对象时,更新我的文件和目录列表:选择此选项后,Amazon FSx 会自动更新添加到 S3 存储桶的任何新对象以及在 S3 存储桶中更改的任何现有对象的文件和目录列表。Amazon FSx 不会删除已在 S3 存储桶中删除的对象的清单。
-
在@@ 向我的 S3 存储桶中添加、更改或删除对象时,更新我的文件和目录列表:Amazon FSx 会自动更新添加到 S3 存储桶的任何新对象、在 S3 存储桶中更改的任何现有对象以及您选择此选项后在 S3 存储桶中删除的任何现有对象的文件和目录列表。
-
请勿更新我的文件,也不要直接列出何时向我的 S3 存储桶中添加、更改或删除对象-Amazon FSx 仅在创建文件系统时更新链接的 S3 存储桶中的文件和目录列表。 FSx选择此选项后,不会更新任何新的、已更改或已删除的对象的文件和目录列表。
当您将导入首选项设置为根据链接的 S3 存储桶中的更改更新文件系统文件和目录列表时,Amazon FSx 会在名为的链接的 S3 存储桶上创建事件通知配置FSx
。请勿修改或删除 S3 桶上的 FSx
事件通知配置,否则会阻止将新的或已更改的文件和目录列表自动导入到文件系统。
当 Amazon FSx 更新链接的 S3 存储桶上已更改的文件列表时,它会使用更新的版本覆盖本地文件,即使该文件已被写入锁定。同样,当 Amazon 在关联的 S3 存储桶上删除相应对象时FSx更新文件列表时,即使该文件已被写入锁定,也会删除本地文件。
Amazon FSx 会尽最大努力更新您的文件系统。在以下情况下,Amazon FSx 无法使用更改来更新文件系统:
这两种情况中的任何一种都会导致数据存储库生命周期状态变为配置错误。有关更多信息,请参阅 数据存储库生命周期状态。
先决条件
Amazon 需要满足以下条件FSx才能自动从链接的 S3 存储桶中导入新的、更改的或已删除的文件:
-
文件系统及其链接的 S3 桶必须位于同一 AWS
区域。
-
S3 桶没有配置错误的生命周期状态。有关更多信息,请参阅 数据存储库生命周期状态。
-
您的账户必须具有在链接的 S3 桶上配置和接收事件通知所需的权限。
支持的文件更改类型
Amazon FSx 支持导入链接的 S3 存储桶中发生的对文件和文件夹的以下更改:
-
更改文件内容
-
更改文件或文件夹元数据
-
更改符号链接目标或元数据
更新导入首选项
在创建新文件系统时,可以设置文件系统的导入首选项。有关更多信息,请参阅 将文件系统链接到 Amazon S3 存储桶。
在创建文件系统之后,您还可以使用 AWS
管理控制台 AWS CLI、和 Amazon 更新文件系统的导入首选项 FSxAPI,如以下过程所示。
- Console
-
-
打开 Amazon FSx 控制台,网址为https://console.aws.amazon.com/fsx/。
-
从控制面板中,选择文件系统。
-
选择要管理的文件系统,以显示文件系统的详细信息。
-
选择数据存储库,以查看数据存储库设置。如果生命周期状态为AVAILABLE或,则可以修改导入首选项MISCONFIGURED。有关更多信息,请参阅 数据存储库生命周期状态。
-
选择操作,然后选择更新导入首选项,以显示更新导入首选项对话框。
-
选择新设置,然后选择更新,进行更改。
- CLI
-
要更新导入首选项,请使用update-file-system
CLI命令。对应的API操作是UpdateFileSystem
。
成功更新文件系统后AutoImportPolicy
,Amazon 会FSx返回更新后的文件系统的描述JSON,如下所示:
{
"FileSystems": [
{
"OwnerId": "111122223333",
"CreationTime": 1549310341.483,
"FileSystemId": "fs-0123456789abcdef0",
"FileSystemType": "LUSTRE",
"Lifecycle": "UPDATING",
"StorageCapacity": 2400,
"VpcId": "vpc-123456",
"SubnetIds": [
"subnet-123456"
],
"NetworkInterfaceIds": [
"eni-039fcf55123456789"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre-TEST-1"
}
],
"LustreConfiguration": {
"DeploymentType": "SCRATCH_1",
"DataRepositoryConfiguration": {
"AutoImportPolicy": "NEW_CHANGED_DELETED",
"Lifecycle": "UPDATING",
"ImportPath": "s3://amzn-s3-demo-bucket/",
"ExportPath": "s3://amzn-s3-demo-bucket/export",
"ImportedFileChunkSize": 1024
}
"PerUnitStorageThroughput": 50,
"WeeklyMaintenanceStartTime": "2:04:30"
}
}
]
}