AWS DataSync 的運作方式 - AWS DataSync

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

AWS DataSync 的運作方式

獲取有關如何的視覺概述AWS DataSync運作並學習關鍵概念,協助您快速移動資料。

DataSync 建築

下圖顯示了如何以及在哪裡 DataSync 通常會傳輸儲存資料。

如需完整的清單 DataSync 支援的儲存系統與服務,請參閱使用AWS DataSync地點

在內部部署儲存體和AWS

下圖顯示示示示示的高層級概觀 DataSync 在自我管理的內部部署儲存系統和AWS 服務。


                    概觀 DataSync 資料從內部部署儲存系統傳輸至支援的案例AWS儲存資源 (例如 Amazon S3 儲存貯體或亞馬遜 EFS 檔案系統)。

此圖說明 DataSync 使用案例:

  • 一個 DataSync 代理程式從現場部署儲存系統複製資料。

  • 資料移入AWS透過 Transport Layer Security (TLS)。

  • DataSync 將資料複製到支援AWS儲存服務

在之間轉移AWS儲存服務

下圖提供的高層級概觀 DataSync 在之間傳輸檔案AWS 服務在同一AWS 帳戶。


                    概觀 DataSync 數據之間傳輸的情況AWS儲存資源 (例如 Amazon S3 儲存貯體或亞馬遜 EFS 檔案系統)。

此圖說明 DataSync 使用案例:

  • DataSync 從支援的複製資料AWS儲存服務

  • 資料移動AWS 區域透過 TLS。

  • DataSync 將資料複製到支援AWS儲存服務

在兩者之間轉移時AWS存儲服務(無論是否在相同AWS 區域或橫越AWS 區域),您的資料會保留在AWS網絡,不遍歷公共互聯網。

重要

您需要為之間傳輸的數據付費AWS 區域。這是以資料從來源區域傳出至目的地區域計費。如需詳細資訊,請參閱「」資料傳輸定價

在雲存儲系統之間進行轉移和AWS儲存服務

搭配 DataSync,您可以在雲存儲系統之間傳輸數據AWS 服務。在這種情況下,雲存儲系統可以包括:

  • 託管的自我管理儲存系統AWS(例如,在您的虛擬私有雲中的 NFS 共享AWS。

  • 由其他雲端供應商託管的儲存系統或服務。

如需詳細資訊,請參閱下列主題:

概念和術語

熟悉 DataSync 此功能。

客服人員

同時代理人是您擁有的虛擬機器 (VM),用於從儲存系統讀取或寫入資料的虛擬機器 (VM)。代理程式可部署在 VMware ESXi、Microsoft Hyper-V 管理員或 Microsoft Hyper-V 管理員部署在 Microsoft Hyper-V 管理員或 Microsoft Hyper-V 管理 Amazon EC2 上部署。您使用 DataSync 主控台,AWS CLI, 或 DataSync API 來設定和啟用代理程式。啟用程序會為您的代理程式 VM 與您的AWS 帳戶。如需代理程式的資訊,請參閱 使用AWS DataSync代理商

位置

一個地點識別您要從哪裡複製資料。EACH DataSync transfer (也稱為任務) 具有來源和目的地位置。如需詳細資訊,請參閱 使用AWS DataSync地點

任務

一個任務描述 DataSync transfer 它標識源和目標位置以及有關如何在這些位置之間複製數據的詳細信息。您也可以指定工作處理中繼資料、已刪除檔案和權限的方式。

任務執行

一個任務執行是個別執行 DataSync 任務。任務執行涉及幾個階段。如需詳細資訊,請參閱 任務執行狀態

操作說明 DataSync 傳輸文件和對象

當你開始傳輸 DataSync 檢查來源和目的地儲存系統,以決定要同步的內容。它通過遞歸掃描兩個系統的內容和元數據來確定兩者之間的差異來實現這一點。這可能只需要幾分鐘或幾個小時,具體取決於涉及的檔案或物件數量 (包括儲存系統的效能)。

DataSync 然後開始將數據(包括元數據)從源移動到目標您設定移轉的方式。例如: DataSync 一律會在傳輸期間執行資料完整性檢查。轉移完成後, DataSync 還可以驗證位置之間的整個數據集,或僅驗證您複製的數據。(在大多數情況下,我們建議只驗證傳輸的內容。) 也有用於過濾要傳輸的內容的選項。

操作說明 DataSync 驗證資料的完整性

DataSync 會於本機計算在來源和目的地儲存系統中每個檔案或物件的檢查總和並加以比較。此外, DataSync 會比較在來源和目的地中每個檔案或物件的中繼資料。如果在兩者中有任何差異,驗證就會失敗並顯示錯誤代碼,明確指出何處失敗。例如,您可能會看到等錯誤代碼Checksum failureMetadata failureFiles were addedFiles were removed,以此類推。

如需詳細資訊,請參閱 資料驗證選項

操作說明 DataSync 處理打開和鎖定的文件

嘗試傳輸正在使用或鎖定的檔案時,請記住下列事項:

  • 在一般情況下, DataSync 可在毫無限制的情況下傳輸開啟的檔案。

  • 如果檔案已開啟並在傳輸期間進行寫入 DataSync 可以在傳輸任務的驗證階段檢測到這種不一致性。欲取得檔案的最新版本,您必須再次執行任務。

  • 如果文件被鎖定並且服務器阻止 DataSync 從打開它, DataSync 在傳輸期間略過檔案,並記錄錯誤。

  • DataSync 無法鎖定或解除鎖定檔案。