管理文件、对象和元数据的AWS DataSync传输方式 - AWS DataSync

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

管理文件、对象和元数据的AWS DataSync传输方式

您可以配置在不同位置之间复制时如何AWS DataSync处理文件、对象及其关联元数据。

例如,对于定期传输,您可能需要用源中的更改覆盖目标中的文件,以保持位置同步。您可以复制诸如文件和文件夹的 POSIX 权限、与对象关联的标签和访问控制列表 (ACL) 之类的属性。

开始之前:DataSync可以在传输中保留的元数据取决于所涉及的存储系统以及这些系统是否使用类似的元数据结构。在配置任务之前,请务必了解如何DataSync处理元数据和特殊文件

以下说明介绍了如何在创建任务时配置DataSync传输内容。您也可以在编辑或启动任务时对此进行配置。

  1. 通过 https://console.aws.amazon.com/datasync/ 打开AWS DataSync主机。

  2. 在左侧导航窗格中,展开 “数据传输”,然后选择 “任务”,然后选择 “创建任务”。

  3. 配置任务的源位置和目标位置。

    有关更多信息,请参阅我可以在哪里传输我的数据AWS DataSync?

  4. 对于传输模式,请选择下列选项之一:

    • 仅传输已更改的数据-仅DataSync复制源位置和目标位置之间不同的数据和元数据。

    • 传输所有数据-DataSync 将源中的所有内容复制到目标,而不比较位置之间的差异。

  5. 如果您DataSync要在目标位置维护源中不存在的文件或对象,请选择 “保留已删除的文件”。

    如果您不选择此选项,则您的任务删除您的 Amazon S3 桶中的对象,则您可能需要为某些存储类别支付最低存储期限费用。有关详细信息,请参阅Amazon S3 传输的存储类注意事项

    警告

    您无法取消选择此选项并启用 “传输所有数据”。当你传输所有数据时,DataSync不会扫描你的目标位置,也不知道要删除什么。

  6. 如果DataSync要在源数据或元数据发生变化时修改目标位置的数据,请选择 “覆盖文件”。

    如果您的任务覆盖对象,则您可能需要为某些存储类别支付额外费用(例如,用于检索或提前删除)。有关详细信息,请参阅Amazon S3 传输的存储类注意事项

    如果您不选择此选项,则即使源数据不同,目标数据也不会被覆盖。

  7. 数据传输配置下,选择DataSync要如何复制元数据。

    重要

    您在控制台中看到的设置取决于任务的源位置和目标位置。在某些情况下,您可能需要展开 “其他设置” 才能看到这些选项。

    在做出选择之前,请务必了解DataSync将如何处理您的场景的元数据和特殊文件

    设置 描述

    复制所有权

    DataSync复制 POSIX 文件和文件夹所有权,例如文件所有者的群组 ID 和文件所有者的用户 ID。

    复制权限

    DataSync将文件和文件夹的 POSIX 权限从源复制到目标。

    复制时间戳

    DataSync将时间戳元数据从源复制到目标。

    复制对象标签

    DataSync在对象存储系统之间传输时保留与您的对象相关的标签。

    复制所有权、DACL 和 SACL

    DataSync复制以下内容:

    • 对象所有者。

    • NTFS 自由访问列表(DACL),用于确定是否向对象授予访问权限。

    • NTFS 系统访问控制列表(SACL),管理员将使用这些列表记录对受保护对象的访问尝试。

      注意:如果您使用 SMB 版本 1.0,则不会复制 SACL。

      复制 DACL 和 SACL 需要向DataSync用于使用 SMB 访问您的位置的 Windows 用户授予特定权限。有关更多信息,请参阅为 SMB 创建位置、FS x for Windows File ServerONTAP 的 FsX(取决于传输中的位置类型)。

    复制所有权和 DACL

    DataSync复制以下内容:

    • 对象所有者。

    • DACL,用于确定是否向对象授予访问权限。

    DataSync选择此选项时不会复制 SACL。

    不要复制所有权或 ACL

    DataSync不复制任何所有权或权限数据。DataSync写入目标位置的对象归用户所有,该用户需要提供DataSync访问目标的凭证。目标对象权限是根据目标服务器上配置的权限确定的。

您可以通过使用Options参数进行以下任何操作来配置这些任务设置: