Options - AWS DataSync

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Options

配置您的AWS DataSync任务设置。这些选项包括如何DataSync处理文件、对象及其关联的元数据。您还可以指定如何DataSync验证数据完整性、为任务设置带宽限制以及其他选项。

每个任务设置都有默认值。除非需要,否则Options在开始任务之前不必配置任何一项。

目录

Atime

指定是否保留表示上次读取或写入文件的元数据。如果您设置为 AtimeBEST_EFFORT,将DataSync尝试在所有源文件(即任务执行PREPARING阶段之前的版本)上保留原始Atime属性。

注意

各平台的行为Atime并不是完全标准的,因此DataSync只能在尽最大努力的基础上做到这一点。

默认值:BEST_EFFORT

BEST_EFFORT:尝试保留每个文件的 Atime 值(推荐)。

NONE:忽略 Atime

注意

如果 Atime 被设置为 BEST_EFFORT,则 Mtime 必须被设置为 PRESERVE

如果 Atime 设置为 NONE,则 Mtime 也必须为 NONE

类型:字符串

有效值:NONE | BEST_EFFORT

必需:否

BytesPerSecond

限制DataSync任务使用的带宽。例如,如果您DataSync想最多使用 1 MB,请将此值设置为 1048576 (=1024*1024)。

类型:长整型

有效范围:最小值为 -1。

必需:否

Gid

指定文件拥有者的 POSIX 组 ID (GID)。

有关更多信息,请参阅复制的元数据DataSync

默认值:INT_VALUE。这将保留 ID 的整数值。

INT_VALUE:保留用户 ID(UID)和 GID(GID)的整数值(推荐)。

NONE:忽略 UID 和 GID。

类型:字符串

有效值:NONE | INT_VALUE | NAME | BOTH

必需:否

LogLevel

指定DataSync发布到 Amazon Lo CloudWatch gs 日志组的日志类型。要指定日志组,请参阅CloudWatchLogGroupArn

如果将 LogLevel 设置为 OFF,则不会发布任何日志。BASIC 发布传输的单个文件的错误日志。TRANSFER 为传输并检查完整性的每个文件或对象发布日志。

类型:字符串

有效值:OFF | BASIC | TRANSFER

必需:否

Mtime

指定是否保留指明在任务执行PREPARING阶段之前最后一次写入文件的时间。当您需要多次运行 a 任务时,必须使用此选项。

默认值: PRESERVE

PRESERVE:保留原始 Mtime(推荐)

NONE:忽略 Mtime

注意

如果 Mtime 被设置为 PRESERVE,则 Atime 必须被设置为 BEST_EFFORT

如果 Mtime 被设置为 NONE,则 Atime 也必须被设置为 NONE

类型:字符串

有效值:NONE | PRESERVE

必需:否

ObjectTags

指定在对象存储系统之间传输时是否保留对象标签。如果您希望DataSync任务忽略对象NONE标签。

默认值: PRESERVE

类型:字符串

有效值:PRESERVE | NONE

必需:否

OverwriteMode

指定是否覆盖或保留目标位置的数据。例如,如果设置为 NEVER,则目标文件不会被源文件替换(即使目标文件与源文件不同)。如果修改目标位置的文件并同步文件,则可以使用此值来防止覆盖这些更改。

有些存储类别的特定行为会影响 Amazon S3 存储成本。有关详细信息,请参阅使用 Amazon S3 存储类别时的注意事项DataSync

类型:字符串

有效值:ALWAYS | NEVER

必需:否

PosixPermissions

指定哪些用户或组可以出于特定目的(例如读取、写入或执行文件)访问文件。

有关更多信息,请参阅复制的元数据DataSync

默认值:PRESERVE

PRESERVE:保留 POSIX 式权限(推荐)。

NONE:忽略权限。

注意

AWS DataSync 可以保留源位置的现有权限。

类型:字符串

有效值:NONE | PRESERVE

必需:否

PreserveDeletedFiles

指定是否应保留源位置中不存在的目标位置的文件。此选项可能会影响您的 Amazon S3 存储成本。如果您的任务删除对象,则您可能需要为某些存储类别支付最低存储期限费用。有关详细信息,请参阅使用 Amazon S3 存储类别时的注意事项DataSync

默认值:PRESERVE

PRESERVE:忽略此类目标文件。

REMOVE:移除源中不存在的目标文件。

注意

如果将此参数设置为REMOVE,则无法设置TransferModeALL。当你传输所有数据时,DataSync不会扫描你的目标位置,也不知道要删除什么。

类型:字符串

有效值:PRESERVE | REMOVE

必需:否

PreserveDevices

指定是否DataSync应在源位置保留数据块设备和字符设备的元数据,并在目标上使用该设备名称和元数据重新创建文件。DataSync仅复制此类设备的名称和元数据。

注意

DataSync无法复制这些设备的实际内容,因为它们是非终端设备,不返回 e nd-of-file (EOF) 标记。

默认值:NONE

NONE:忽略特殊设备(推荐)。

PRESERVE:保留字符和数据块设备元数据。Amazon EFS 目前不支持此选项。

类型:字符串

有效值:NONE | PRESERVE

必需:否

SecurityDescriptorCopyFlags

指定将 SMB 安全描述符的哪些组件从源对象复制到目标对象。

此值仅用于 SMB 和 Amazon FSx for Windows File Server 位置之间的传输,或两个 FSx for Windows File Server 位置之间的传输。有关更多信息,请参阅如何DataSync处理元数据

默认值:OWNER_DACL

OWNER_DACL:对于每个复制的对象,DataSync复制以下元数据:

  • 对象所有者。

  • NTFS 自由访问控制列表(DACL),用于确定是否向对象授予访问权限。

    DataSync不会使用此选项复制 NTFS 系统访问控制列表(SACL)。

OWNER_DACL_SACL:对于每个复制的对象,DataSync复制以下元数据:

  • 对象所有者。

  • NTFS 自由访问控制列表(DACL),用于确定是否向对象授予访问权限。

  • SACL,管理员将使用 SACL 记录对受保护对象的访问尝试。

    复制 SACL 需要向DataSync用于访问您的 SMB 位置的 Windows 用户授予其他权限。有关如何选择可确保对文件、文件夹和元数据具有足够权限的用户的信息,请参阅用户

NONE:不会复制任何 SMB 安全描述符组件。目标对象由为访问目标位置而提供的用户所有。DACL 和 SACL 根据目标服务器的配置进行设置。

类型:字符串

有效值:NONE | OWNER_DACL | OWNER_DACL_SACL

必需:否

TaskQueueing

指定在运行多个任务的某些情况下是否应将您的传输任务放入队列。这是ENABLED默认的。

类型:字符串

有效值:ENABLED | DISABLED

必需:否

TransferMode

确定仅DataSync传输源位置和目标位置之间不同的数据和元数据,,或源位置的所有内容(不与目标位置进行比较的内容)。

CHANGED:仅DataSync将新内容或不同内容的数据或元数据从源位置复制到目标位置。

ALL:DataSync将所有源位置内容复制到目标位置(不与目标中的内容进行比较)。

类型:字符串

有效值:CHANGED | ALL

必需:否

Uid

指定文件拥有者的 POSIX 用户 ID (UID)。

有关更多信息,请参阅复制的元数据DataSync

默认值:INT_VALUE。这将保留 ID 的整数值。

INT_VALUE:保留 UID 和组 ID(GID)的整数值(推荐)。

NONE:忽略 UID 和 GID。

类型:字符串

有效值:NONE | INT_VALUE | NAME | BOTH

必需:否

VerifyMode

指定在传输过程中如何和何时DataSync检查数据的完整性。

默认值:POINT_IN_TIME_CONSISTENT

ONLY_FILES_TRANSFERRED(推荐):DataSync计算源位置传输的文件和元数据的校验和。在传输结束时,将DataSync此校验和与在目标位置的这些文件上计算的校验和进行比较。

在传输到 S3 Glacier Deep Archive 存储类时,我们建议使用此选项。有关更多信息,请参阅 Amazon S3 位置的存储类别注意事项

POINT_IN_TIME_CONSISTENT:在传输结束时,DataSync扫描整个源位置和目标以验证两个位置是否完全同步。

在传输到 S3 Glacier Deep Archive 存储类时,您不能使用此选项。有关更多信息,请参阅 Amazon S3 位置的存储类别注意事项

NONE: 在传输结束时DataSync不进行额外验证。在传输过程中,仍将通过校验和验证来检查所有数据传输的完整性。

类型:字符串

有效值:POINT_IN_TIME_CONSISTENT | ONLY_FILES_TRANSFERRED | NONE

必需:否

另请参阅

有关在特定语言的 AWS 软件开发工具包中使用此 API 的更多信息,请参阅以下内容: