設定任務設定 - AWS DataSync

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

設定任務設定

在您創建了一個AWS DataSync 代理程式並設定來源和目的地位置,您可以為新任務進行設定。任務有一組兩個位置 (來源和目的地) 以及一組選擇,您可用於控制任務的行為。

您可以在中建立新工作時配置工作設定AWS DataSyncconsole (台)。您也可以開啟來編輯任務設定AWS DataSync主控台https://console.aws.amazon.com/datasync/,選取您要編輯的任務,並選擇您要編輯的任務,然後選擇Edit (編輯)

在「」組態設定(已建立!) 頁面任務名稱-可選的,輸入任務的名稱。Task name (任務名稱)是選用的設定。

所以此選項區段包含執行工作的組態選項。下列各節提供這些選項的詳細資訊。

資料驗證選項

作為 DataSync 傳輸資料,它一律會在傳輸期間執行資料完整性檢查。您可以啟用其他驗證來比較傳輸結束時的來源和目的地。此額外檢查可以驗證整個資料集,或僅驗證作為工作執行一部分傳輸的檔案。對於大多數使用案例,我們建議您只驗證已傳輸的檔案。

工作資料驗證選項會指定如何驗證工作所傳輸的資料。

資料驗證選項如下所示:

  • 僅驗證傳輸的資料 (建議)— 此選項會計算來源上已傳輸檔案和中繼資料的檢查總和。然後,它會將此檢查總和與傳輸結束時對目的地檔案所計算的檢查總和進行比較。傳輸至 S3 Glacier Flexible Revive 或 S3 Glacier Deep Archive 儲存類別時,建議您使用此選項。如需詳細資訊,請參閱 Amazon S3 位置的儲存類別考量

  • 驗證目的地中的所有資料— 此選項會在整個來源和整個目的地結束傳輸時執行掃描,以確認來源和目的地是否完全同步化。傳輸至 S3 Glacier Flexible Reve 或 S3 Glacier Deep Archive 儲存類別時,您無法使用此選項。如需詳細資訊,請參閱 Amazon S3 位置的儲存類別考量

  • 在傳輸過程中檢查完整性— 此選項不會在傳輸結束時執行額外的驗證。在傳輸期間,所有資料傳輸仍會透過檢查總和驗證進行完整性檢查。

擁有權和權限相關選項

DataSync 會在有類似中繼資料結構的儲存系統之間保留中繼資料。根據儲存系統類型,會使用不同的選項來設定此類中繼資料保留。

在 Amazon S3 和網絡文件系統(NFS),Hadoop 分佈式文件系統(HDFS),亞馬遜 EFS,Amazon FSx for Lustre,亞馬遜 FSX 的 OpenZF 或亞馬遜 FSX 之間複製數據時 NetApp ONTAP (使用 NFS),選擇下列其中一項 (如果適用):

  • 選擇複製擁有權擁有 DataSync 複製 POSIX 檔案和資料夾所有權,例如檔案擁有者的群組 ID 和檔案擁有者的使用者 ID。

  • 選擇複製權限擁有 DataSync 將檔案和資料夾的 POSIX 許可從來源複製到目的地。

在 Windows 檔案伺服器的伺服器訊息區 (SMB) 與 FSx 或 ONTAP 專用的 FSx (使用 SMB) 之間、Windows 檔案伺服器檔案系統之間的 FSx 或使用 SMB 的 ONTAP 檔案系統之間進行複製時,請選擇下列其中一項 (如果適用):

  • 選擇複製擁有權、DACL 和 SACL擁有 DataSync 複製以下內容:

    • 物件擁有者。

    • NTFS 判別存取清單 (DACL),決定是否要授與物件存取權。

    • NTFS 系統存取控制清單 (SACL),系統管理員用來記錄存取受保護物件的嘗試。

  • 選擇複製所有權和 DACL為了 DataSync 複製以下內容:

    • 物件擁有者。

    • NTFS 判別存取清單 (DACL),決定是否要授與物件存取權。

    DataSync 選擇此選項時,不會複製 NTFS 系統存取控制清單 (SACL)。

  • 選擇不要複製所有權或 ACL如果你想 DataSync 不複製任何擁有權或權限資料。的物件 DataSync 對目的地位置的寫入由提供認證的使用者擁有 DataSync 訪問目標位置。目的地物件權限是根據目的地伺服器上設定的權限來決定。

如需有關保留 metadata 的詳細資訊 DataSync,請參閱的運作方 DataSync 處理元數據和特殊文件

檔案中繼資料和管理選項

您可以設定您想要的方式 DataSync 在傳輸過程中處理文件和對象的各個方面:

  • 選擇複製時間戳記擁有 DataSync 將時間戳記中繼資料從來源複製到目的地。

  • 選擇保留已刪除的檔案擁有 DataSync 將檔案保留在來源檔案系統中不存在的目的地中。

    如果您的任務會從 Amazon S3 儲存貯體刪除物件,您可能需要支付特定儲存方案的最低儲存持續期間費用。如需詳細資訊,請參閱 Amazon S3 位置的儲存類別考量

  • 選擇覆寫檔案如果您希望目的地中的文件在源數據或元數據不同時被來源文件覆蓋。

    如果您不選擇此選項,則目的地檔案不會遭來源檔案取代,即使目的地檔案與來源檔案不同。

    如果您的任務會覆寫物件,您可能需要支付特定儲存方案 (例如擷取或提前刪除)。如需詳細資訊,請參閱 Amazon S3 位置的儲存類別考量

  • 選擇複製物件標籤如果要在物件儲存系統之間傳輸時保留與物件相關聯的標籤。

頻寬選項

您可以設定頻寬限制 DataSync 任務。頻寬限制選項如下:

  • 選擇使用可用擁有 DataSync 使用所有可用於傳輸的網路頻寬。

  • 選擇設定頻寬限制 (MiB/s)限制您想要的最大帶寬 DataSync 用於此任務。

    您可以變更進行中工作執行的頻寬限制。如需詳細資訊,請參閱 調整工作執行的頻寬節流

篩選條件選項

當您將檔案從來源傳輸至目的地位置時,可以套用篩選條件,僅傳輸來源位置中的部分檔案。篩選的組態選項如下。

  • 在 中資料傳輸設定區段中,使用排除模式區段以指定要從您的傳輸中排除的檔案、資料夾和物件。若要將特定檔案、資料夾、和物件包含在您的傳輸中,請選擇特定檔案和資料夾然後使用包含模式區段。

  • 若要將額外的模式新增到篩選條件,請選擇新增模式。如需有關篩選條件和建立模式的語法等詳細資訊,請參閱 篩選依據傳輸的資料AWS DataSync

  • 您可以在編輯工作時修改篩選器陣列。您也可以在每次執行工作時指定不同的模式。

排程和佇列選項

您可以安排 DataSync 任務在特定時間運行。如果您使用單一代理程式來執行多項任務,則可以將這些任務佇列。設定排程選項如下:

  • 在 中時間表(可選)區段中,將您的任務設為依照您指定的排程執行 (最小間隔為 1 小時)。

  • Frequency (頻率) 中,設定您想要的任務執行頻率。如需頻率組態選項,請參閱 設定任務排程

如果您使用單一代理程式來執行多項任務,請選擇佇列中使任務序執行 (先進先出)。如需詳細資訊,請參閱 佇列工作執行

標籤和記錄選項

您可以新增一或多個標籤至 DataSync 任務。標籤是與任務關聯的索引鍵值對。您也可以選擇記錄選項 DataSync 將個別檔案或物件的記錄發佈至 CloudWatch 您指定的記錄群組。標籤和記錄選項如下:

  • 在 中標籤區段中,輸入索引鍵數值標記您的任務。標籤為索引鍵值組,可協助您管理、篩選和搜尋任務。建議您為任務建立名稱標籤。

  • 選擇任務日誌擁有 DataSync 將個別檔案或物件的記錄發佈至 CloudWatch 您指定的記錄群組。

    若要將記錄上傳到您的 CloudWatch 記錄群組, DataSync 需要資源政策以授予足夠的許可。如果您目前的地區中沒有策略,即會出現一個核取方塊,讓您自動建立所需的政策。如需此類政策的範例,請參閱 允許 DataSync 將日誌上傳到 Amazon CloudWatch 日誌群組

    如需使用日誌群組和串流的詳細資訊,請參閱使用日誌群組、日誌串流進行工作中的亞馬遜 CloudWatch 日誌使用者指南

    使用記錄層級選項以設定記錄至的詳細資訊層級 CloudWatch 記錄檔。日誌層級選項包括下列項目:

    • 選擇記錄傳輸錯誤等基本資訊僅發佈基本資訊 (例如傳輸錯誤) 至 CloudWatch。

    • 選擇記錄所有傳送的物件、檔案和資料夾將記錄檔記錄發佈至 CloudWatch 工作複製和完整性檢查的所有檔案或物件的記錄檔。

    • 選擇不將日誌傳送至 CloudWatch如果您不想 DataSync 要發佈到的記錄 CloudWatch。

選擇 Next (下一步) 開啟 Review (檢閱) 頁面。