中繼資料複製者 AWS DataSync

傳輸期間如何AWS DataSync處理檔案或物件中繼資料，取決於您使用的儲存系統。

注意

DataSync不會複製系統層級設定。例如，複製物件時，DataSync不會複製儲存系統的加密設定。如果您要從 SMB 共用複製，則DataSync不會複製您在檔案系統層級設定的權限。

在具有相似元數據結構的系統之間複製

DataSync在具有類似中繼資料結構的儲存系統之間保留中繼資料。

NFS 傳輸

下表說明在使用網路檔案系統 (NFS) 的位置之間DataSync可以複製哪些中繼資料。

在這些位置之間複製時	DataSync可以複製
NFS Amazon EFS Amazon FSx for Lustre Amazon FSx for OpenZFS 適用於 NetApp ONTAP 的亞馬遜 FSx（使用 NFS）	檔案和資料夾修改時間戳記 檔案和資料夾存取時間戳記 (只DataSync能在盡可能執行此操作) 使用者 ID (UID) 和群組 ID (GID) POSIX 權限

轉移中小企

下表說明使用伺服器訊息區 (SMB) 的位置之間DataSync可以複製哪些中繼資料。

在這些位置之間複製時

DataSync可以複製

SMB Amazon FSx for Windows File Server 安裝專用 FSx (使用中小企業)

檔案時間戳記：存取時間、修改時間和建立時間 檔案擁有者安全性識別碼 (SID) 標準檔案屬性：唯讀 (R)、封存 (A)、系統 (S)、隱藏 (H)、壓縮 (C)、非內容索引 (I)、加密 (E)、暫存 (T)、離線 (O) 和稀疏 (P) DataSync嘗試複製歸檔、壓縮和稀疏屬性。如果這些屬性未套用至目的地，則會在工作驗證期間忽略這些屬性。 注意：適用於 ONTAP 的 FSx 不支援索引。當傳輸到這種類型的文件系統時，DataSync忽略未內容索引（I）屬性。 NTFS 判別存取清單 (DACL)，可決定是否要授與物件存取。 NTFS 系統存取控制清單 (SACL)，系統管理員用來記錄存取受保護物件的嘗試。 注意：如果您使用的是 SMB 1.0 版，則不會複製 SACL。 複製 DACL 和 SACL 需要向用來存取位置的 Windows DataSync 使用者授與特定許可。如需詳細資訊，請參閱為 SMB、FSx for Windows File Server 或 ONTAP 的 FSx 建立位置 (視傳輸中的位置類型而定)。

HDFS 轉移

下表描述了哪些中繼資料DataSync可以複製，當轉移涉及 Hadoop 分散式檔案系統 (HDFS) 位置。

從此位置複製時	到這些地點之一	DataSync可以複製
HDFS	Amazon EFS FSx for Lustre FSx for OpenZFS 安裝專用的 FSx (使用 NFS)	檔案和資料夾修改時間戳記 檔案和資料夾存取時間戳記 (只DataSync能在盡可能執行此操作) POSIX 權限 HDFS 使用字符串來存儲文件和文件夾的用戶和組的所有權，而不是數字標識符（如 UID 和 gID）。UID 和 GID 的預設值會套用至目標檔案系統。如需預設值的詳細資訊，請參閱瞭解DataSync套用預設 POSIX 中繼資料的時機及方式。

Amazon S3 Transfer

下表說明當傳輸涉及 Amazon S3 位置時，DataSync可複製哪些中繼資料。

主題

• 前往 Amazon S3
• HDFS 和 Amazon S3 之間
• 在物件儲存和 Amazon S3 之間

前往 Amazon S3

從這些位置之一進行複製時	到這個位置	DataSync可以複製
NFS Amazon EFS FSx for Lustre FSx for OpenZFS 安裝專用的 FSx (使用 NFS)	Amazon S3	以下是 Amazon S3 使用者中繼資料： 檔案和資料夾修改時間戳記 檔案和資料夾存取時間戳記 (只DataSync能在盡可能執行此操作) 使用者 ID 和群組 ID POSIX 權限 存放在 Amazon S3 使用者中繼資料中的檔案中繼資料可以使用與檔案閘道上的 NFS 共用AWS Storage Gateway互通。檔案閘道可讓您從現場部署網路以低延遲存取複製到 Amazon S3 的資料。DataSync此中繼資料也可與 FSx 相互操作，以進行 Lustre。 DataSync 將包含此中繼資料的物件複製回 NFS 伺服器時，系統會恢復此檔案中繼資料。還原中繼資料需要將提升的權限授與 NFS 伺服器。如需詳細資訊，請參閱設定 NFS 檔案伺服器的AWS DataSync傳輸。

HDFS 和 Amazon S3 之間

在這些位置之間複製時	DataSync可以複製
Hadoop 分散式檔案系統 (HDFS) Amazon S3	以下是 Amazon S3 使用者中繼資料： 檔案和資料夾修改時間戳記 檔案和資料夾存取時間戳記 (只DataSync能在盡可能執行此操作) 使用者 ID 和群組 ID POSIX 權限 HDFS 使用字符串來存儲文件和文件夾的用戶和組的所有權，而不是數字標識符，如 UID 和 GID。

在物件儲存和 Amazon S3 之間

在這些位置之間複製時	DataSync可以複製
物件儲存 Amazon S3	使用者定義的物件中繼資料 物件標籤 以下系統定義的物件中繼資料： Content-Disposition Content-Encoding Content-Language 內容類型 附註：在初始傳輸期間DataSync複製所有物件的系統中繼資料。如果您將工作設定為只傳輸已變更的資料，DataSync則除非物件的內容或使用者中繼資料也已修改，否則不會在後續傳輸中複製系統中繼資料。 DataSync不會複製其他物件中繼資料，例如物件存取控制清單 (ACL) 或先前的物件版本。 重要事項：如果您要從 GCP Storage 值區傳輸物件，複製物件標記可能會導致DataSync工作失敗。若要避免此情況發生，請在配置工作設定時取消選取「複製物件標籤」選項 如需詳細資訊，請參閱管理檔案、物件和中繼資料的AWS DataSync傳輸方式。

在具有不同元數據結構的系統之間複製

在沒有類似中繼資料結構的儲存系統之間進行複製時，請使用下列規則DataSync處理中繼資料。

從這些位置之一進行複製時	到這些地點之一	DataSync可以複製
SMB FSx for Windows File Server 安裝專用 FSx (使用中小企業)	Amazon EFS FSx for Lustre FSx for OpenZFS 安裝專用的 FSx (使用 NFS) Amazon S3 物件儲存 NFS	目標檔案系統上所有檔案和資料夾或目標 S3 儲存貯體中物件的預設 POSIX 中繼資料。這種方法包括使用預設的 POSIX 使用者 ID 和群組 ID 值。 不會保留以視窗為基礎的中繼資料 (例如 ACL)。
FSx for Windows File Server 安裝專用 FSx (使用中小企業)	HDFS	來源位置的檔案和資料夾時間戳記。文件或文件夾的所有者是基於 HDFS 用戶或 Kerberos 主體創建 HDFS 位置時指定的設置。Hadoop 叢集上的群組對應設定會決定群組。
Amazon EFS FSx for Lustre FSx for OpenZFS 安裝專用的 FSx (使用 NFS) Amazon S3 物件儲存 NFS HDFS	SMB FSx for Windows File Server 安裝專用 FSx (使用中小企業)	來源位置的檔案和資料夾時間戳記。擁有權是根據在中指定存取 Amazon FSx 或 SMB 共用的 Windows 使用者DataSync來設定。許可。

瞭解DataSync套用預設 POSIX 中繼資料的時機及方式

DataSync在以下情況下會套用預設 POSIX 中繼資料：

• 傳遞作業的來源和目的地位置沒有類似的中繼資料結構時

• 來源位置遺失中繼資料時

下表說明如何在這些傳輸類型期間DataSync套用預設 POSIX 中繼資料：

來源	目的地	檔案許可	資料夾權限	UID	GID
Amazon S3 物件儲存體 1	Amazon EFS FSx for Lustre FSx for OpenZFS 安裝專用的 FSx (使用 NFS) NFS	0755	0755	65534	65534
SMB	Amazon S3 物件儲存 Amazon EFS FSx for Lustre FSx for OpenZFS 安裝專用的 FSx (使用 NFS) NFS	0644	0755	0	0
HDFS	Amazon EFS FSx for Lustre FSx for OpenZFS 安裝專用的 FSx (使用 NFS) NFS	0644	0755	0	0

¹ 在物件沒有先前套用的中繼資料的情況下DataSync。

注意

HDFS 使用字符串，而不是數字標識符（如 UID 和 gID）存儲文件和文件夾的用戶和組所有權。當來源位置沒有對等的中繼資料時，會根據您在建立位置時指定的 HDFS 使用者或 Kerberos 主體來設定檔案和資料夾擁有權。DataSyncHadoop 叢集上的群組對應設定會決定群組。