設定任務設定 - AWS DataSync

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

設定任務設定

在您創建AWS DataSync 代理程式並配置來源和目的地位置,則可以為新任務配置設定。任務有一組兩個位置 (來源和目的地) 以及一組選擇,您可用於控制任務的行為。

在創建新任務時,可以配置任務設置AWS DataSync主控台。您也可以編輯任務設定,方法是打開AWS DataSync主控台https://console.aws.amazon.com/datasync/,選擇您要編輯的任務,然後選擇Edit (編輯)

組態設定(對於) 頁面任務名稱-可選的下,輸入任務的名稱。Task name (任務名稱)是選用的設定。

所以此選項部分包含用於運行任務的配置選項。以下章節提供這些選項的詳細資訊。

資料驗證選項

作為 DataSync 會在傳輸資料時,它始終會在傳輸期間執行資料完整性檢查。您可以啟用其他驗證來比較傳輸結束時的來源和目的地。此額外檢查可以驗證整個數據集或僅驗證作為任務執行一部分傳輸的文件。對於大多數使用案例,我們建議您只驗證已傳輸的檔案。

任務數據驗證選項指定如何驗證任務傳輸的數據。

DataSync 選項如下所示:

  • 僅驗證傳輸的數據(推薦)— 此選項會計算來源上已傳輸的檔案和中繼資料的校驗總和。然後,它會將此檢查總和與傳輸結束時對目的地檔案所計算的檢查總和進行比較。傳輸至 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 儲存類別時,建議使用此選項。如需詳細資訊,請參閱 在 DataSync 中使用 Amazon S3 儲存方案時的注意事項

  • 驗證目的地中的所有資料— 此選項會在整個來源和整個目的地結束傳輸時執行掃描,以驗證來源和目的地是否完全同步化。傳輸至 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 儲存類別時,您無法使用此選項。如需詳細資訊,請參閱 在 DataSync 中使用 Amazon S3 儲存方案時的注意事項

  • 在傳輸過程中檢查完整性— 此選項不會在傳輸結束時執行額外的驗證。在傳輸期間,所有資料傳輸仍會透過檢查總和驗證進行完整性檢查。

所有權和與許可有關的選擇

DataSync 會在具有相似資料結構的存儲系統之間保留中繼資料。根據存儲系統類型,可使用不同的選項來配置此類元數據保留。

在網絡文件系統 (NFS)、Hadoop 分佈式文件系統 (HDFS)、亞馬遜 EFS、亞馬遜 FSX 適用於光澤、適用於 OpenZFS 的亞馬遜 FSX 和 Amazon S3 之間複製數據時,請選擇以下選項之一(如果適用):

  • 選擇複製擁有權擁有 DataSync 複製 POSIX 檔案和檔案夾所有權,例如檔案擁有者的組 ID 和檔案擁有者的使用者 ID。

  • 選擇複製權限擁有 DataSync 將檔案和資料夾的 POSIX 許可從來源複製到目的地。

在 Windows 文件服務器的服務器消息塊 (SMB) 和 FSx 之間複製時,或者在兩個 FSx 之間複製 Windows 文件服務器位置時,請選擇以下選項之一(如果適用):

  • 選擇拷貝所有權、DACL 和 SACL擁有 DataSync 複製以下內容:

    • 物件擁有者。

    • NTFS 任意存取列表 (DACL),它決定是否要授予對物件的訪問權。

    • NTFS 系統訪問控制列表 (SACL),管理員使用這些列表來記錄訪問受保護物件的嘗試。

    複製 SACL 需要向 DataSync 用於訪問您的 SMB 位置。請參閱用戶,以詳細探討如何選擇用户名稱,以確保檔案、資料夾和中繼資料有足夠的許可。

  • 選擇複製所有權和 DACL擁有 DataSync 複製以下內容:

    • 物件擁有者。

    • NTFS 任意存取列表 (DACL),它決定是否要授予對物件的訪問權。

    當您選擇此選項時,DataSync 不會複製 NTFS 系統訪問控制列表 (SACL)。

  • 選擇請不要複製所有權或 ACL如果你想 DataSync 不複製任何所有權或權限數據。物件 DataSync 對目標位置的寫入操作由其提供憑據的用户所擁有 DataSync 訪問目標位置。根據在目標服務器上配置的權限確定目標對象權限。

如需使用 DataSync 保留中繼資料的詳細資訊,請參操作説明 DataSync 處理中繼資料和特殊檔案

文件元數據和管理選項

您可以設定您需要的 DataSync 在傳輸過程中處理文件和對象的各個方面:

  • 選擇複製時間戳記擁有 DataSync 將時間戳記中繼資料從來源複製到目的地。

  • 選擇保留刪除的檔案擁有 DataSync 會將檔案保留在目的地中不存在於來源檔案系統的檔案。

    如果您的任務會從您的 Amazon S3 儲存桶中刪除物件,您可能需要支付特定儲存方案的最低儲存持續期間費用。如需詳細資訊,請參閱 在 DataSync 中使用 Amazon S3 儲存方案時的注意事項

  • 選擇覆寫檔案如果您希望來源檔案或元數據不同時會被來源檔案覆寫。

    如果您不選擇此選項,則目的地檔案不會遭來源檔案取代,即使目的地檔案與來源檔案不同。

    如果您的任務會覆寫物件,您可能需要支付特定儲存方案的額外費用(例如檢索或提前刪除費用)。如需詳細資訊,請參閱 在 DataSync 中使用 Amazon S3 儲存方案時的注意事項

  • 選擇複製物件標籤如果您希望在對象存儲系統之間傳輸時保留與對象關聯的標記。

頻寬選項

您可以將帶寬限制配置為 DataSync 任務。帶寬限制選項如下:

  • 選擇使用可用擁有 DataSync 使用可用於傳輸的所有網絡帶寬。

  • 選擇設定帶寬限制 (MiB/s)來限制所需的最大帶寬 DataSync 若要用於此任務。

    您可以更改正在執行的任務的帶寬限制。如需詳細資訊,請參閱 調節任務執行的頻寬調節

篩選選項

當您將檔案從來源傳輸至目的地位置時,可以套用篩選條件,僅傳輸來源位置中的部分檔案。用於篩選的配置選項如下。

  • 在 中資料傳輸配置部分中,使用排除模式部分以指定要從您的傳輸中排除的檔案、資料夾和物件。若要將特定檔案、資料夾和物件包含在您的傳輸中,請選擇特定檔案和資料夾,然後使用包含模式區段。

  • 若要將其他模式新增到篩選條件,請選擇添加模式。如需有關篩選條件和建立模式的語法等詳細資訊,請參閱 篩選依據傳輸的資料AWS DataSync

  • 您可以在編輯任務時修改過濾器模式。您還可以在每次執行任務時指定不同的模式。

計劃和排隊選項

您可以安排 DataSync 任務在特定時間運行。如果您使用單一代理程式來執行多項任務,則可以將這些任務排隊。配置計劃選項如下所示:

  • 在 中計劃(可選)部分中,將您的任務配置為按照您指定的計劃執行,最小時間隔為 1 小時。

  • Frequency (頻率) 中,設定您想要的任務執行頻率。如需頻率組態選項,請參閱 設定任務排程

如果您使用單一代理程式來執行多項任務,請選擇正在排列來使任務依序執行 (先進先出)。如需詳細資訊,請參閱 對任務執行進行排列

標記和日誌記錄選項

您可以將一或多個標籤新增到 DataSync 任務。標籤是與任務關聯的金鑰值對。您也可以選擇日誌選項,以使 DataSync 將單個文件或對象的日誌發佈到 CloudWatch 日誌組。標籤和日誌記錄選項如下所示:

  • 在 中標籤部分中,輸入金鑰數值來標記您的任務。標籤為索引鍵值組,可協助您管理、篩選和搜尋任務。建議您為任務建立名稱標籤。

  • 選擇任務日誌記錄擁有 DataSync 將單個文件或對象的日誌發佈到 CloudWatch 日誌組。

    要將日誌上傳到 CloudWatch 日誌羣組、 DataSync 需要資源政策以授予足夠的許可。如果您在當前區域中沒有策略,會出現一個複選框,以便您可以自動建立必要的策略。如需此類政策的範例,請參閱 允許 DataSync 將日誌上傳至 Amazon CloudWatch Logs 組

    如需使用日誌組和流的詳細資訊,請參使用日誌群組、日誌串流進行工作中的亞馬遜 CloudWatch 日誌用户指南

    使用日誌層級選項來設定記錄至 CloudWatch 日誌。日誌層級選項包括下列項目:

    • 選擇記錄傳輸錯誤等基本信息只將基本信息(如傳輸錯誤)發佈到 CloudWatch。

    • 選擇記錄所有傳輸的對象、文件和文件夾將日誌記錄發佈到 CloudWatch 任務複製和完整性檢查的所有文件或對象的日誌。

    • 選擇不要將日誌傳送至 CloudWatch如果您不希望 DataSync 日誌以發佈到 CloudWatch。

選擇 Next (下一步) 開啟 Review (檢閱) 頁面。