AWS DataSync工作案例範例 - AWS DataSync
建立工作以在自我管理的儲存裝置和 AWS建立要在雲端位置之間傳輸的工作

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

AWS DataSync工作案例範例

下列章節將逐步引導您如何建立不同傳輸案例的AWS DataSync任務。

建立工作以在自我管理的儲存裝置和 AWS

如果您先前已建立任務，同時想要建立額外的任務，請使用以下程序。

建立任務

  1. 開啟主AWS DataSync控台，網址為 https://console.aws.amazon.com/datasync/。

  2. 在左側導覽窗格中，展開 [資料傳輸]，然後選擇 [工作]，然後選擇 [建立工作]。

  3. 如果您要使用新的位置做為來源，請在 Configure source location (設定來源位置) 頁面上，選擇 Create new location (建立新位置)，然後設定新的位置。提供組態設定，然後選擇 Next (下一步)。如需如何建立位置的詳細資訊，請參閱我可以在哪裡傳輸我的資料AWS DataSync？。

    如果您要使用先前建立的來源位置，請選擇 Choose existing location (選擇現有位置)，從清單中選擇您的來源位置，然後選擇 Next (下一步)。

    如需step-by-step指示，請參閱建立來源位置 AWS DataSync。

建立要在雲端位置之間傳輸的工作

依照下列說明示範如何在 Amazon EC2 執行個體上設定資料傳輸的DataSync代理程式。本節中的範例涵蓋以下使用案例：

建立從雲端 NFS 傳輸到雲端 NFS 或 Amazon S3 的任務

請遵循下列指示，將資料從雲端內 NFS 檔案系統傳輸至AWS。若要執行此傳輸，DataSync代理程式必須位於部署檔案系統AWS 帳戶的相同位置。AWS 區域這種類型的傳輸包括從 EFS 到 EFS 的傳輸、從自我管理的 NFS 傳輸到 Amazon EFS，以及傳輸到 Amazon S3。如需雲端內 NFS 到雲端 NFS 或 Amazon S3 如何運作的相關資訊，請參閱。將資料從雲端檔案系統傳輸到另一個雲端檔案系統或 Amazon S3

注意

將代理程式部署在AWS 區域來源 EFS 或自我管理 NFS 檔案系統所在的位AWS 帳戶置。

將您的DataSync代理程式部署為 Amazon EC2 執行個體，以便從雲端讀取檔案

將DataSync代理程式部署為 Amazon EC2 執行個體

  1. 從來源 EFS 所AWS 帳戶在的位置，使用 Amazon EC2 啟動精靈中的 Amazon 機器映像 (AMI) 啟動代理程式。請使用以下 URL 來啟動 AMI。

    https://console.aws.amazon.com/ec2/v2/home?region=source-efs-or-nfs-region#LaunchInstanceWizard:ami=ami-id

    在 URL 中，以自己的值取代 source-efs-or-nfs-region 和 ami-id。

    AMI 啟動後，選擇執行個體類型就會出現在 Amazon EC2 主控台上。如需 AMI 識別碼的清單AWS 區域，請參閱在 Amazon EC2 上部署您的代理程式。

  2. 為您的使用案例選擇建議的其中一個執行個體類型，然後選擇 Next: Configure Instance Details。如需建議執行個體類型的資訊，請參閱 Amazon EC2 執行個體要求。

  3. 在 Configure Instance Details (設定執行個體詳細資訊) 頁面上，執行下列操作：

    1. 對於 Network (網路)，選擇來源 EFS 或 NFS 所在的 VPC。

    2. 針對 Auto-assign Public IP (自動指派公有 IP) 選擇一個值。如果您希望可從公有網際網路存取您的執行個體，請將 Auto-assign Public IP (自動指派公有 IP) 設定為 Enable (啟用)。否則，請將 Auto-assign Public IP (自動指派公有 IP) 設定為 Disable (停用)。如果未指派公有 IP 地址，請使用代理程式的私有 IP 地址，在 VPC 中將其啟動。

      從雲端 NFS 傳輸檔案以提高效能時，建議您選擇 NFS 伺服器所在的 Placement Group (置放群組)。

  4. 選擇 Next: Add Storage (下一步：新增儲存體)。代理程式不需要額外的儲存體，因此您可以略過此步驟，然後選擇 Next: Add tags (下一步：新增標籤)。

  5. (選擇性) 在「新增標籤」頁面上，您可以將標籤新增至 Amazon EC2 執行個體。當您在頁面上完成時，請選擇 Next: Configure Security Group (下一步：設定安全群組)。

  6. 在 Configure Security Group (設定安全群組) 頁面上，執行下列作業：

    1. 請確定所選安全群組，允許在您計劃用來啟用代理程式的 Web 瀏覽器中，對 HTTP 連接埠 80 進行傳入存取。

    2. 請確定來源 EFS 或 NFS 的安全群組允許來自代理程式的傳入流量。此外，請確定代理程式允許對來源 EFS 或 NFS 的傳出流量。流量通過標準 NFS 連接埠 2049。

    如需 DataSync 的完整網路需求，請參閱AWS DataSync網路需求。

  7. 選擇 Review and Launch (檢閱和啟動) 以檢閱您的組態，然後選擇 Launch (啟動) 以啟動您的執行個體。請記得使用您可以存取的金鑰對。此時會出現確認頁面，並指出您的執行個體正在啟動。

  8. 選擇檢視執行個體以關閉確認頁面並返回 Amazon EC2 執行個體畫面。當您啟動執行個體時，其初始狀態為 pending (待定)。在執行個體啟動後，其狀態會變更為 running (執行中)。此時，它被分配了公共域名系統（DNS）名稱和 IP 地址，可以在「描述」選項卡中找到。

  9. 如果您將 Auto-assign Public IP (自動指派公有 IP) 設定為 Enable (啟用)，請選擇您的執行個體，並記下 Descriptions (說明) 標籤中的公有 IP 地。稍後您可以使用此 IP 地址來連接到您的同步代理程式。

    如果您將 Auto-assign Public IP (自動指派公有 IP) 設定為 Disable (停用)，請在您的 VPC 中啟動或使用現有的執行個體來啟用代理程式。在此情況下，您可以使用同步代理程式的私有 IP 地址，來啟用 VPC 中來自此執行個體的代理程式。

建立從 Amazon EFS 或自我管理儲存傳輸資料的任務

接著，建立任務來傳輸資料。

注意

在目的地 EFS 或 Amazon S3 儲存貯體所在的位AWS 帳戶置AWS 區域和位置建立任務。

建立任務

  1. 開DataSync啟目的地所AWS 區域在位置的主機。

    目的地 Amazon EFS 或 Amazon S3 儲存貯體必須在相同的中AWS 帳戶。

  2. 在左側導覽窗格中，選擇代理程式，然後選擇建立代理程式。

  3. 在 [建立代理程式精靈的啟用] 區段中，輸入 Amazon EC2 執行個體的 IP 位址做為代理程式地址，然後選擇 [取得金鑰]。此 IP 地址可以是私有或公有 IP 地址。如需詳細資訊，請參閱 將DataSync代理程式部署為 Amazon EC2 執行個體 的步驟 9。

    您的瀏覽器會連接到這個 IP 地址，以從您的代理程式取得唯一的啟用金鑰。此金鑰可安全地關聯您的代理程式與您的AWS 帳戶. 此 IP 地址不需要從網路外部存取，但必須要能從您的瀏覽器存取。

  4. 輸入您稍後可以輕鬆識別的代理程式名稱，並在完成時選擇 Create agent (建立代理程式)。您可以選擇性地將標籤新增到代理程式。

  5. 在左側導覽窗格中，展開 [資料傳輸]，然後選擇 [工作]。

  6. 選擇 [內部部署至]AWS，然後選擇 [下一步] 開啟 [來源設定] 頁面

  7. 在 [設定來源位置] 頁面上，選擇 [建立新位置]，然後選擇 [網路檔案系統 (NFS)] 或 [伺服器訊息區 (SMB)] 做為位置類型。請填寫以下選項：

    • 針對代理程式，從清單中選擇您新建立的代理程式。

    • 如果您是從 EFS 複製，請執行下列動作：

      • 對於 NFS Server (NFS 伺服器)，輸入來源 EFS 的 DNS name (DNS 名稱)。

      • 對於裝載路徑，請輸入 / (正斜線)，然後選擇下一步。

    • 如果您是從自我管理 NFS 或 SMB 複製，請執行下列動作：

      • 對於 NFS Server (NFS 伺服器)，輸入來源 NFS 的私有 DNS 或 IP 地址。

      • 在「掛載路徑」中，輸入 NFS 伺服器匯出的路徑，然後選擇「下一步」。

  8. 選擇 Create new location (建立新的位置)。這是進行資料傳輸的目的地位置。請填寫以下選項：

    • 如果您是複製到 EFS，請執行下列動作：

      • 對於 Location type (位置類型)，選擇 EFS。

      • 選擇目的地 EFS。

      • 對於「裝載路徑」，請輸入 / (正斜線)。

      • 對於 Subnet (子網路) 和 Security groups (安全群組)，使用預設設定，然後選擇 Next (下一步)。

    • 如果您要複製到 Amazon S3，請執行下列操作：

      • 針對位置類型，請選擇 Amazon S3 儲存貯體。

      • 針對 Amazon S3 儲存貯體，請選擇您的來源 Amazon S3 儲存貯體。

      • 對於 Folder (資料夾)，選擇用於傳輸的資料夾字首，或者您可以將其保留空白。

      • 選擇您的目的地 Amazon S3 儲存貯體和選用的資料夾。DataSync可以產生 AWS Identity and Access Management (IAM) 角色來存取儲存貯體，也可以自行建立。

  9. 選擇 Next (下一步)，並選擇性地命名任務和新增標籤。

  10. 在頁面底部選擇或建立 Amazon CloudWatch 日誌日誌群組，然後選擇「下一步」。如需使用CloudWatch記錄的詳細資訊，請參閱允許DataSync將記錄檔上傳至記CloudWatch錄群組。

  11. 檢閱下一頁上的設定，然後選擇 Create task (建立任務)。

  12. 選擇 Start (啟動)，以執行您剛才建立的任務以啟動傳輸資料。

建立從 Amazon S3 傳輸到雲端 NFS 的任務

使用下列指示將資料從 Amazon S3 傳輸到位於同一個雲端 NFS 檔案系統AWS 帳戶且部署代理程式的AWS 區域位置。這個方法包括從 Amazon S3 傳輸到 EFS，或從 Amazon S3 傳輸到自我管理的 NFS。下圖說明此類型的傳輸。如需 Amazon S3 至雲端 NFS 如何運作的詳細資訊，請參閱將資料從 Amazon S3 傳輸到AWS檔案系統。

在 Amazon EC2 執行個體上部署DataSync代理程式，以寫入目的地位置

首先，在目的地 EFS 檔案系統或自我管理 NFS 伺服器所在的 Amazon EC2 執行個體上部署DataSync代理程式。AWS 區域 AWS 帳戶

部署代理程式

  • 使用 Amazon EC2 啟動代理程式，從選取的 AMI 啟動代理程式。若要這樣做，請使用以下 URL。

    https://console.aws.amazon.com/ec2/v2/home?region=DESTINATION-EFS-or-NFS-REGION#LaunchInstanceWizard:ami=AMI-ID.

    在 URL 中，將AWS 區域和 AMI ID 替換為您自己的 ID。系統會將您重新導向到 Amazon EC2 主控台上的 Choose an Instance Type (選擇執行個體類型) 頁面。如需 AMI 識別碼的清單AWS 區域，請參閱在 Amazon EC2 上部署您的代理程式。

建立從 Amazon S3 傳輸資料的任務

接著，建立任務來傳輸資料。

注意

在來源 Amazon S3 儲存貯體所AWS 區域在的位置AWS 帳戶和位置建立任務。

若要建立將資料從 Amazon S3 傳輸到 EFS 或自我管理的 NFS 或中小型企業的任務

  1. 在您的來源 Amazon S3 儲存貯體所在的位AWS 區域置開啟DataSync主控台。

  2. 選擇 Create agent (建立代理程式)。

  3. 如果您將 Auto-assign Public IP (自動指派公有 IP) 設定為 Enable (啟用)，請選擇您的執行個體，並記下 Descriptions (說明) 標籤中的公有 IP 地。稍後您可以使用此 IP 地址來連接到您的同步代理程式。

    如果您將 Auto-assign Public IP (自動指派公有 IP) 設定為 Disable (停用)，請在您的 VPC 中啟動或使用現有的執行個體來啟用代理程式。在此情況下，您可以使用同步代理程式的私有 IP 地址，來啟用 VPC 中來自此執行個體的代理程式。

  4. 在 [建立代理程式] 精靈中，針對代理程式地址輸入 Amazon EC2 執行個體的 IP 位址 (私有或公用，如步驟 3 所述)，然後選擇 [取得金鑰]。

    您的瀏覽器會連接到這個 IP 地址，以從您的代理程式取得唯一的啟用金鑰。此金鑰可安全地關聯您的代理程式與您的AWS 帳戶. 此 IP 地址不需要從網路外部存取，但必須要能從您的瀏覽器存取。

  5. 選擇您稍後可以輕鬆識別的代理程式名稱。您可以選擇性地新增標籤。完成時，選擇 Create agent (建立代理程式)。

  6. 選擇AWS內部部署，然後選擇 [下一步]。

  7. 選擇 Create new location (建立新的位置)：

    • 針對位置類型，請選擇 Amazon S3 儲存貯體。

    • 針對 Amazon S3 儲存貯體，請選擇您的來源 Amazon S3 儲存貯體。

    • 對於 Folder (資料夾)，選擇資料夾字首進行傳輸，或您可以將其保留空白。

      DataSync可以產生 IAM 角色來存取儲存貯體，也可以自行建立。

  8. 選擇 下一步。選擇 Create new location (建立新的位置)、選擇 NFS or SMB (NFS 或 SMB) 作為 Location type (位置類型)，然後從清單中選擇您剛建立的代理程式。

    1. 如果您是複製到 EFS，請執行下列動作：

      • 對於 NFS Server (NFS 伺服器)，輸入來源 EFS 的 DNS name (DNS 名稱)。

      • 對於裝載路徑，請輸入 / (正斜線)，然後選擇下一步。

    2. 如果您是複製到雲端 NFS，請執行下列動作：

      • 對於 NFS Server (NFS 伺服器)，輸入來源 NFS 的私有 DNS 或 IP 地址。

      • 對於 Mount path (掛載路徑)，輸入 NFS 伺服器匯出的路徑。如需詳細資訊，請參閱建立 NFS 位置。

  10. 選擇 Next (下一步)，並選擇性地命名任務和新增標籤。

  11. 在頁面底端選擇或建立「CloudWatch記錄檔」日誌群組，然後選擇「下一步」。如需使用CloudWatch記錄的詳細資訊，請參閱允許DataSync將記錄檔上傳至記CloudWatch錄群組。

  12. 檢閱下一頁上的設定，然後選擇 Create task (建立任務)。

  13. 選擇 Start (啟動)，以執行您剛才建立的任務以傳輸資料，然後在 Start Task (啟動任務) 頁面上再次選擇 Start (啟動)。