Options - AWS DataSync
内容另请参阅

Options

指明您的传输任务是如何配置的。这些选项包括 DataSync 在传输过程中如何处理文件、对象及其关联的元数据。您还可以指定如何验证数据完整性、为任务设置带宽限制等其他选项。

每个选项都有一个默认值。除非有必要，否则在调用 StartTaskExecution 之前不必配置任何选项。

您还可以在每次执行任务时覆盖任务选项。例如，您可能希望为单次执行调整 LogLevel。

内容

Atime

指定是否保留表示上次文件被读取或写入的时间的元数据。

注意

但是，Atime 的跨平台性能并不是完全标准的，因此 DataSync 只能在尽最大努力的基础上做到这一点。

  • BEST_EFFORT（默认）：DataSync 会尝试在所有源文件（即任务执行 PREPARING 步骤之前的版本）中保留原始 Atime 属性。建议使用该选项。

  • NONE：忽略 Atime。

注意

如果 Atime 被设置为 BEST_EFFORT，则 Mtime 必须被设置为 PRESERVE。

如果 Atime 设置为 NONE，则 Mtime 也必须为 NONE。

类型：字符串

有效值：NONE | BEST_EFFORT

必需：否

BytesPerSecond

限制 DataSync 任务使用的带宽。例如，如果您希望 DataSync 最多使用 1 MB，请将此值设置为 1048576 (=1024*1024)。

注意

不适用于增强模式任务。

类型：长整型

有效范围：最小值为 -1。

必需：否

Gid

指定文件拥有者的 POSIX 组 ID (GID)。

  • INT_VALUE（默认）：保留用户 ID（UID）和 GID 的整数值，建议使用。

  • NONE：忽略 UID 和 GID。

有关更多信息，请参阅了解 DataSync 如何处理文件和对象元数据。

类型：字符串

有效值：NONE | INT_VALUE | NAME | BOTH

必需：否

LogLevel

指定 DataSync 发布到 Amazon CloudWatch Logs 日志组的日志类型。若要指定日志组，请参阅 CloudWatchLogGroupArn。

  • BASIC：仅发布包含基本信息（如传输错误）的日志。

  • TRANSFER：发布 DataSync 任务传输和对其执行数据完整性检查的所有文件或对象的日志。

  • OFF：未发布任何日志。

类型：字符串

有效值：OFF | BASIC | TRANSFER

必需：否

Mtime

指定是否保留表示上次文件在任务执行的 PREPARING 步骤之前被读取或写入时的元数据。当您需要多次运行任务时，必须使用此选项。

  • PRESERVE（默认）：保留原始 Mtime，建议使用。

  • NONE：忽略 Mtime。

注意

如果 Mtime 被设置为 PRESERVE，则 Atime 必须被设置为 BEST_EFFORT。

如果 Mtime 被设置为 NONE，则 Atime 也必须被设置为 NONE。

类型：字符串

有效值：NONE | PRESERVE

必需：否

ObjectTags

指定在对象存储系统之间进行传输时，是否希望 DataSync PRESERVE 对象标记（默认行为）。如果您想让 DataSync 任务忽略对象标签，请指定 NONE 值。

类型：字符串

有效值：PRESERVE | NONE

必需：否

OverwriteMode

指定 DataSync 是否应修改或保留目标位置的数据。

  • ALWAYS（默认）：当源数据（包括元数据）发生更改时，DataSync 会修改目标位置中的数据。

    如果 DataSync 覆盖对象，您可能需要为某些 Amazon S3 存储类别（例如，检索或提前删除）支付额外费用。有关更多信息，请参阅 Amazon S3 传输的存储类别注意事项。

  • NEVER：即使源数据已更改，DataSync 也不会覆盖目标位置中的数据。您可以使用此选项防止覆盖对目标位置中文件或对象所做的更改。

类型：字符串

有效值：ALWAYS | NEVER

必需：否

PosixPermissions

用于确定哪些用户或组可以出于特定目的（例如读取、写入或执行文件）访问文件。

有关更多信息，请参阅了解 DataSync 如何处理文件和对象元数据。

  • PRESERVE（默认）：保留 POSIX 风格权限，建议使用。

  • NONE：忽略 POSIX 风格权限。

注意

DataSync 可以保留源位置的现有权限。

类型：字符串

有效值：NONE | PRESERVE

必需：否

PreserveDeletedFiles

指定是否应保留源中不存在的目标位置的文件。此选项可能会影响您的 Amazon S3 存储成本。如果您的任务删除对象，则您可能需要为某些存储类别支付最低存储期限费用。有关详细信息，请参阅 Considerations when working with Amazon S3 storage classes in DataSync（在 DataSync 中使用 Amazon S3 存储类别时的注意事项）。

  • PRESERVE（默认）：忽略此类目标文件，建议使用。

  • REMOVE：删除源中不存在的目标文件。

注意

如果您将此参数设置为 REMOVE，则无法将 TransferMode 设置为 ALL。当您传输所有数据时，DataSync 不会扫描您的目标位置，也不知道要删除什么。

类型：字符串

有效值：PRESERVE | REMOVE

必需：否

PreserveDevices

用于确定 DataSync 是否应在源位置中保留数据块设备和字符设备的元数据，并在目标位置上使用该设备名称和元数据重新创建文件。DataSync 只复制此类设备的名称和元数据。

注意

DataSync 无法复制此类设备的实际内容，因为它们是非终端设备，不返回 end-of-file（EOF）标记。

  • NONE（默认）：忽略特殊设备（推荐）。

  • PRESERVE：保留字符和块设备元数据。Amazon EFS 目前不支持此选项。

类型：字符串

有效值：NONE | PRESERVE

必需：否

SecurityDescriptorCopyFlags

确定将 SMB 安全描述符的哪些组件是从源复制到目标对象的。

此值仅用于 SMB 和 Amazon FSx for Windows File Server 位置之间的传输，或两个 Amazon FSx for Windows File Server 位置之间的传输。有关更多信息，请参阅了解 DataSync 如何处理文件和对象元数据。

  • OWNER_DACL（默认）：对于每个复制的对象，DataSync 会复制以下元数据：

    • 对象所有者。

    • NTFS 自由访问控制列表（DACL），用于确定是否向对象授予访问权限。

      DataSync 不会使用此选项复制 NTFS 系统访问控制列表（SACL）。

  • OWNER_DACL_SACL：对于每个复制的对象，DataSync 会复制以下元数据：

    • 对象所有者。

    • NTFS 自由访问控制列表（DACL），用于确定是否向对象授予访问权限。

    • SACL，管理员将用它记录对受保护对象的访问尝试。

      复制 SACL 需要向 DataSync 用来访问您的 SMB 位置的 Windows 用户授予其他权限。有关如何选择具有正确权限的用户，请参阅 SMB、FSx for Windows File Server 或FSx for ONTAP（取决于转移中的位置类型）所需的权限。

  • NONE：不会复制任何 SMB 安全描述符组件。目标对象由为访问目标位置而提供的用户所有。DACL 和 SACL 根据目标服务器的配置进行设置。

类型：字符串

有效值：NONE | OWNER_DACL | OWNER_DACL_SACL

必需：否

TaskQueueing

指定在运行多个任务的特定情形下，是否应该将传输任务放入一个队列。默认情况下，这是 ENABLED。

类型：字符串

有效值：ENABLED | DISABLED

必需：否

TransferMode

指定 DataSync 是仅传输初始复制后各位置存在差异的数据（包括元数据），还是在每次运行任务时传输所有数据。如果计划进行定期传输，则可能仅需要传输自上次执行任务以来发生更改的内容。

  • CHANGED（默认）：初始全量传输之后，DataSync 仅复制源位置和目标位置不同的数据和元数据。

  • ALL：DataSync 将源位置内的所有内容复制到目标位置，而不比较位置之间的差异。

类型：字符串

有效值：CHANGED | ALL

必需：否

Uid

指定文件拥有者的 POSIX 用户 ID (UID)。

  • INT_VALUE（默认）：保留 UID 和组 ID（GID）的整数值，推荐使用。

  • NONE：忽略 UID 和 GID。

有关更多信息，请参阅 DataSync 复制的元数据。

类型：字符串

有效值：NONE | INT_VALUE | NAME | BOTH

必需：否

VerifyMode

指定 DataSync 在传输结束后是否检查数据完整性，以及如何进行检查。

  • ONLY_FILES_TRANSFERRED（推荐）：DataSync 在源位置计算传输数据（包括元数据）的校验和。在传输结束时，DataSync 会比较此校验和与在目标位置计算的该数据的校验和。

    注意

    此为增强模式任务的默认选项。

    在传输到 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 存储类时，推荐使用此选项。有关更多信息，请参阅 Amazon S3 位置的存储类考虑因素。

  • POINT_IN_TIME_CONSISTENT：传输结束时，DataSync 会检查整个源和目标，以验证这两个位置是否完全同步。

    注意

    此为基本模式任务的默认选项，目前增强模式任务不支持该选项。

    如果您使用清单，DataSync 仅扫描和验证清单中列出的内容。

    在传输到 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 存储类时，不支持此选项。有关更多信息，请参阅 Amazon S3 位置的存储类考虑因素。

  • NONE：DataSync 仅在传输过程中执行数据完整性检查。与其他选项不同，在传输结束时没有额外验证。

类型：字符串

有效值：POINT_IN_TIME_CONSISTENT | ONLY_FILES_TRANSFERRED | NONE

必需：否

另请参阅

有关在特定语言的 AWS SDK 中使用此 API 的更多信息，请参阅以下内容：