DataSync 如何處理中繼資料和特殊檔案 - AWS DataSync

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

DataSync 如何處理中繼資料和特殊檔案

在檔案系統中,或從檔案系統中複製時,AWS DataSync 會儲存中繼資料和特殊檔案。下一節說明 DataSync 如何處理不同儲存系統的中繼資料和特殊檔案 (連結和目錄)。

注意

DataSync 只會複製儲存區內容,而不會複製儲存區本身的組態。例如,在 Amazon S3 儲存貯體之間複製物件時,DataSync 不會複製任何儲存貯體層級的設定或權限。同樣地,在伺服器訊息區塊 (SMB) 或網路檔案系統 (NFS) 共用間進行複製時,DataSync 不會複製任何檔案系統層級設定或許可。

DataSync 複製的中繼資料

DataSync 會在有類似中繼資料結構的儲存系統之間保留中繼資料。

在自我管理的網路檔案系統 (NFS)、Amazon FSx for Lustre 或 Amazon EFS,以及適用於光澤的 Amazon EFS 或 FSX 之間進行複製— 在此情況下,DataSync 可以複製下列中繼資料:

  • 檔案和資料夾修改時間戳記

  • 使用者 ID (UID) 和群組 ID (GID)

  • POSIX 權限

當 Hadoop 分散式檔案系統 (HDFS) 和 Amazon EFS 或 FSx for Lustre 之間複製時— 在此情況下,DataSync 可以複製下列中繼資料:

  • 檔案和資料夾修改時間戳記

  • POSIX 權限

注意

HDFS 使用字符串來存儲文件和文件夾用戶和組所有權,而不是數字標識符(如 UID 和 GID)。從 HDFS 複製到 Amazon EFS 或 FSx for Lustre 時,UID 和 GID 的預設值會套用到目標檔案系統上。如需預設值的詳細資訊,請參閱DataSync 所套用的預設 POSIX 中繼資料

在自我管理的伺服器訊息區 (SMB) 或適用於 Windows 檔案伺服器的 Amazon FSX 與適用於 Windows 檔案伺服器的 FSX 之間進行複製— 在此情況下,DataSync 可以複製下列中繼資料:

  • 檔案時間戳記:存取時間、修改時間和建立時間

  • 檔案擁有者安全性識別碼 (SID)

  • 標準檔案屬性:

    • 唯讀 (R)

    • 存檔 (A)

    • 系統 (S)

    • 隱藏 (H)

    • 已壓縮 (C)

    • 未編製內容索引 (N)

    • 已加密 (E)

    • 暫時 (T)

    • 離線 (O)

    注意

    DataSync 會嘗試複製 [封存] 和 [壓縮] 屬性。不過,這些屬性可能不會套用在目的地,因此在驗證階段會忽略這些屬性。

  • NTFS 判別存取清單 (DACL),決定是否要授與物件的存取權。

  • NTFS 系統存取控制清單 (SACL),系統管理員用來記錄存取受保護物件的嘗試。

在自我管理的 NFS、FSx for Lustre 或亞馬遜 EFS 和 Amazon S3 之間進行複製時— 在此情況下,以下中繼資料會儲存為 Amazon S3 使用者中繼資料:

  • 檔案和資料夾修改時間戳記

  • 使用者 ID 和群組 ID

  • POSIX 權限

存放在 Amazon S3 使用者中繼資料中的檔案中繼資料,可與AWS Storage Gateway。檔案閘道可讓您從現場部署網路到透過 DataSync 複製到 Amazon S3 的資料進行低延遲存取。此中繼資料也可與 Amazon FSx for Lustre 互通。

DataSync 會將包含此中繼資料的物件複製回 NFS 伺服器時,系統會恢復此檔案中繼資料。還原中繼資料需要授予提升權限給 NFS 伺服器。如需詳細資訊,請參閱 建立 NFS 的位置

在 HDFS 和 Amazon S3 之間進行複製時— 在此情況下,以下中繼資料會儲存為 Amazon S3 使用者中繼資料:

  • 檔案和資料夾修改時間戳記

  • 使用者名稱和群組名稱

  • POSIX 權限

注意

HDFS 使用字符串來存儲文件和文件夾用戶和組所有權,而不是數字標識符,如 UID 和 GID。當複製到 EFS 或自我管理的 NFS 時,DataSync 會忽略儲存在 Amazon S3 中的使用者和群組名稱中繼資料值。

在自我管理的物件儲存和 Amazon S3 之間或兩個 Amazon S3 儲存貯體之間進行複製時— 在此情況下,DataSync 會複製物件中繼資料和標籤。

注意

DataSync 不會複製其他物件資訊,例如物件存取控制清單 (ACL) 或先前的物件版本。

當您在沒有類似中繼資料結構的儲存系統之間複製時— 在此情況下,DataSync 會使用下列規則來設定中繼資料。

如果您以這種方式複製 這發生在元數據

從中小企業共享到亞馬遜 EFS、FSx for Lustre 或 Amazon S3

從 File Server 專用 FSx for Windows File Server 轉換為 NFS 共用或 HDFS

預設 POSIX 中繼資料是針對目標 NFS 伺服器上的所有檔案和資料夾、用於 Lustre 檔案系統的 FSx 或 Amazon EFS 檔案系統設定,或者儲存在 Amazon S3 物件的中繼資料中。這種方法包括使用預設的 POSIX 使用者 ID 和群組 ID 值。

在 HDFS 上,文件和文件夾時間戳從源應用。檔案或資料夾擁有者是根據 DataSync 中指定的使用者或 Kerberos 主體來設定。Hadoop 集群上的組映射配置確定該組。

從 NFS 共用或 HDFS 轉換為 Windows File Server

從亞馬遜 EFS、盧斯特爾的 FSX 或 Amazon S3 到中小企業的共用率

檔案和資料夾時間戳記是從來源套用。擁有權是根據在 DataSync 處理中指定用來存取 Amazon FSX 或 SMB 共用的 Windows 使用者來設定。權限是從父目錄繼承的。

DataSync 所套用的預設 POSIX 中繼資料

如果來源和目的地沒有類似的中繼資料結構,或者如果沒有來源中繼資料,DataSync 會套用預設的 POSIX 中繼資料。

特別是,DataSync 會在這些情況下套用此中繼資料:

  • 在 Amazon S3 物件沒有 DataSync POSIX 中繼資料的情況下,將檔案從 Amazon S3 或自管物件儲存位置傳輸到 Amazon EFS 時,用於路斯特、NFS 或 HDFS 位置的 FSX

  • 從 SMB 位置傳輸到 NFS、HDFS、Amazon S3、FSx for Lustre 或 Amazon EFS 位置時

下表顯示 DataSync 套用的預設 POSIX 中繼資料和權限。

許可 數值

UID

65534

GID

65534

資料夾許可

0755

檔案許可

0644

HDFS 會使用字串儲存檔案和資料夾使用者和群組擁有權,而不是數字識別碼 (例如 UID 和 GID)。當來源位置上沒有對等的中繼資料時,檔案及資料夾擁有權會根據您在 DataSync 中指定的使用者或 Kerberos 主體來設定。該組是由 Hadoop 集群上的組映射配置確定。

DataSync 複製的連結和目錄

下節說明 DataSync 如何處理複製的硬性連結、符號連結和不同儲存位置中的目錄。

硬性連結

在 NFS 伺服器之間進行複製時,FSx for Lustre 和亞馬遜 EFS,則會保留硬連結。

複製到 Amazon S3 時,每個硬性連結只會傳輸一次。系統會為每個副本建立單獨的 Amazon S3 物件。如果 Amazon S3 中的硬性連結未變更,就會在傳輸到 NFS 伺服器、FSx for Lustre 或 Amazon EFS 時正確還原。

當 SMB 檔案共用和 FSx 之間複製 Windows File Server,則不支援硬連結。如果 DataSync 在此類複本中遇到硬性連結,則會略過並登入 Amazon CloudWatch Logs。如需 DataSync 如何搭配使用 CloudWatch Logs 的詳細資訊,請參閱允許 DataSync 上傳日誌到 Amazon CloudWatch 日誌群組

複製到 HDFS 時,則不支援硬連結。複製到 HDFS 時,會略過來源上的硬式連結並記錄到 Amazon CloudWatch 日誌中。

符號連結

在 NFS 伺服器之間進行複製時,FSx for Lustre 和亞馬遜 EFS,則會保留符號連結。

複製到 Amazon S3 時,則連結目標路徑會儲存在 Amazon S3 物件中。傳輸到 NFS 伺服器、FSx for Lustre 或 Amazon EFS 時,連結即可正確還原。

當 SMB 檔案共用和 FSx 之間複製 Windows File Server,不支援符號連結。如果 DataSync 在此類複本中遇到符號連結,則會略過並登入 CloudWatch Logs ve。如需 DataSync 如何搭配使用 CloudWatch Logs 的詳細資訊,請參閱允許 DataSync 上傳日誌到 Amazon CloudWatch 日誌群組

複製到 HDFS 時,不支援符號連結。複製到 HDFS 時,會略過符號連結並記錄到 Amazon CloudWatch 日誌。

目錄

在 Amazon S3 儲存貯體之間複製時,目錄會以結尾為/