在AWS大型移轉中移轉共用檔案系統 - AWS 方案指引
Summary先決條件和限制架構工具最佳實務史诗故障診斷相關資源附件

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

在AWS大型移轉中移轉共用檔案系統

創建者：阿米特·魯德拉茹 (AWS)、薩姆·阿帕 ()、畢姆斯瓦拉勞·巴拉 (AWS)、華利魯 () 和普拉卡薩姆桑傑夫 (AWS) AWS AWS

環境：生產

來源：內部部署共用檔案系統

目標：Amazon EFS 或 Amazon FSx

R 類型：重新平台

工作負載：所有其他工作

技術：移轉、儲存與備份

AWS服務:AWS DataSync; AmazonEFS; Amazon FSx 的 Windows 文件服務器; Amazon FSx NetApp ONTAP

Summary

遷移 300 台以上的伺服器被視為是一項大型遷移。大型移轉的目的是將工作負載從現有的內部部署資料中心遷移到AWS雲端，而這些專案通常著重於應用程式和資料庫工作負載。不過，共用檔案系統需要集中注意力和個別的移轉計劃。此模式描述了共用檔案系統的移轉程序，並提供最佳作法，以便在大型移轉專案中成功移轉這些檔案系統。

共用檔案系統 (SFS) 也稱為網路或叢集檔案系統，是掛載至多部伺服器的檔案共用。共用檔案系統可透過網路檔案系統 (NFS)、通用網際網路檔案系統 (CIFS) 或伺服器訊息區 (SMB) 等通訊協定來存取。

這些系統不會使用標準移轉工具 (例如AWS應用程式移轉服務) 進行移轉，因為它們既不專用於要移轉的主機，也不會以區塊裝置的形式呈現。雖然大多數主機相依性都是透通移轉的，但是必須個別處理相依檔案系統的協調和管理。

您可以在下列階段移轉共用檔案系統：探索、規劃、準備、切除和驗證。使用此模式和附加的工作簿，您可以將共享文件系統遷移到AWS存儲服務，例如 Amazon Elastic File System（AmazonEFS） NetApp ONTAP，Amazon FSx for 或 Windows 文件服務器的 Amazon FSx。要傳輸文件系統，您可以使用AWS DataSync 或第三方工具，例如 NetApp SnapMirror.

附註：此模式是有關大型移轉至AWS雲端的「AWS規範指引」系列的一部分。此模式包含整合SFSs至伺服器的 Wave 計劃的最佳做法和指示。如果您要在大型遷移專案之外遷移一或多個共用檔案系統，請參閱 Amazon EFS、適用於 Windows 檔案伺服器的 Amazon 和 Amazon FSx FSx 的AWS文件中的資料傳輸說明 NetApp ONTAP。

先決條件和限制

先決條件

必要條件可能會因來源和目標共用檔案系統以及您的使用案例而有所不同。以下是最常見的：

限制

  • 此模式旨在SFSs作為大型移轉專案的一部分進行移轉。其SFSs中包含整合至您的 Wave 計劃以移轉應用程式的最佳做法和指示。如果您要在大型遷移專案之外遷移一或多個共用檔案系統，請參閱 Amazon EFS、適用於 Windows 檔案伺服器的 Amazon 和 Amazon FSx FSx 的AWS文件中的資料傳輸說明 NetApp ONTAP。

  • 此模式是以常用的架構、服務和遷移模式為基礎。不過，大型移轉專案和策略可能會因組織而異。您可能需要根據您的需求自訂此解決方案或提供的工作簿。

架構

源, 技術, 堆棧

下列一或多項：

  • 文件NFS服務器

  • 視窗 (SMB) 檔案伺服器

  • NetApp 儲存陣列

  • 戴EMC爾儲存陣列

目標技術堆疊

下列一或多項：

  • Amazon Elastic File System

  • Amazon FSx NetApp ONTAP

  • Amazon FSx 文件服务器

目標架構

將內部部署共AWS DataSync 用檔案系統遷移至AWS.

該圖顯示了以下過程：

  1. 您可以使用諸如「AWS直 Connect 連線」或「AWS站台對站台VPN」等AWS服務，在內部部署資料中心與AWS雲端之間建立連線。

  2. 您可以在內部部署資料中心安裝 DataSync 代理程式。

  3. 根據您的 wave 計劃，您可 DataSync 以用來將資料從來源共用檔案系統複製到目標AWS檔案共用。

移轉階段

下圖展示了在大型移轉專案SFS中移轉的階段和高階步驟。

探索、規劃、準備、切斷和驗證將共用檔案系統移轉至AWS.

此模式的 Epics 部分包含有關如何完成遷移和使用附加工作簿的詳細說明。以下是此階段化方法中步驟的高階概觀。

Phase (階段)

步驟

探索

1. 您可以使用探索工具收集共用檔案系統的相關資料，包括伺服器、掛載點和 IP 位址。

2. 您可以使用 Configuration Management 資料庫 (CMDB) 或移轉工具來收集伺服器的詳細資料，包括移轉波、環境、應用程式擁有者、IT 服務管理 (ITSM) 服務名稱、組織單位和應用程式識別碼的相關資訊。

計畫

3. 使用收集的SFSs和伺服器的相關資訊，建立 SFS Wave 計劃。

4. 使用組建工作表中的資訊，為每個SFS選擇目標AWS服務和移轉工具。

準備

5. 在 AmazonEFS，Amazon 或 Amazon FSx FSx 為 NetApp ONTAP Windows 文件服務器設置目標基礎設施。

6. 設定資料傳輸服務，例如 DataSync，然後啟動初始資料同步。初始同步完成後，您可以將重複發生的同步設定為按排程執行，

7. 使用目標檔案共用的相關資訊 (例如 IP 位址或路徑) 來更新 SFS Wave 計劃。

切過

8. 停止主動存取來源的應用程式SFS。

9. 在資料傳輸服務中，執行最終資料同步。

10. 同步完成後，請檢閱記錄檔中的 CloudWatch 記錄資料，以驗證是否完全成功。

驗證

11. 在伺服器上，將掛載點變更為新SFS路徑。

12. 重新啟動並驗證應用程式。

工具

AWS服務

  • Amazon CloudWatch Logs 可協助您集中管理所有系統、應用程式和AWS服務的日誌，以便您可以監控和安全地存檔日誌。

  • AWS DataSync是一種線上資料傳輸與探索服務，可協助您在儲存服務之間移動檔案或物件資料，以及在AWS儲存服務之間移動。

  • Amazon Elastic File System (AmazonEFS) 可協助您在AWS雲端中建立和設定共用檔案系統。

  • Amazon FSx 提供支援業界標準連線協定的檔案系統，並提供跨AWS區域的高可用性和複寫功能。

其他工具

  • SnapMirror是一種 NetApp 資料複製工具，可將指定的來源磁碟區或 q 樹狀結構中的資料分別複製到目標磁碟區或 q 樹狀結構。您可以使用此工具將來 NetApp 源檔案系統遷移到 Amazon FSx ONTAP。

  • Robocopy，這是簡稱強大的文件複製，是一個命令行目錄和命令的 Windows 命令。您可以使用此工具將 Windows 來源檔案系統遷移到 Amazon（適用FSx於 Windows 檔案伺服器）。

最佳實務

波浪規劃方法

規劃大型移轉專案的浪潮時，請考慮延遲和應用程式效能。當SFS和相依應用程式在不同的位置 (例如雲端中一個，另一個位於內部部署資料中心) 運作時，這可能會增加延遲並影響應用程式效能。以下是建立波動計劃時的可用選項：

  1. 在同一波內遷移SFS和所有相依伺服器 — 此方法可防止效能問題並將重工減至最少，例如多次重新配置掛載點。建議在應用程式與應用程式之間需要極低的延遲時間時使用SFS。但是，波浪規劃很複雜，目標通常是從依賴組中刪除變量，而不是添加到它們中。此外，如果許多服務器訪問相同的服務器，則不建議使用此方法，SFS因為它會使波浪過大。

  2. 在移轉最SFS後一SFS個相依伺服器之後進行移轉 — 例如，如果多部伺服器存取，且這些伺服器已排定在第 4、6 和第 7 波進行移轉，請排定在SFS第 7 波中進行移轉。

    對於大型移轉而言，這種方法通常是最合乎邏輯的方法，建議用於對延遲敏感的應用程式。它降低了與數據傳輸相關的成本。它還可以最大限度地減少SFS和更高層（例如生產）應用程序之間的延遲時間，因為更高層的應用程序通常排程在開發和 QA 應用程序之後最後遷移。

    但是，這種方法仍然需要探索、規劃和敏捷性。您可能需要在較早SFS的波中遷移。確認應用程式在第一個相依波與包含SFS. 與應用程式擁有者進行探索工作階段，並在最延遲敏感的應用程式中，在同一波移轉應用程式。如果在移轉相依應用程式後發現效能問題，請準備好快速進行樞紐以SFS盡快移轉。

  3. 在大型移轉專案結束時移轉 — 如果延遲不是因素，例如當中的資料不常存取或對應用程式效能不重要時，建議使用此方法。SFS SFS此方法可簡化移轉作業，並簡化切換工作。

您可以根據應用程式的延遲敏感度來混合這些方法。例如，您可以使用方法 1 或 2 SFSs 來移轉延遲敏感性，然後使用方法 3 移轉其餘部SFSs分。

選擇AWS檔案系統服務

AWS為文件存儲提供了多種雲服務。每一種都提供不同的效能、規模、可存取性、整合、合規性和成本最佳化方面的優點和限制。有一些邏輯默認選項。例如，如果您目前的現場部署檔案系統正在操作 Windows 伺服器，那麼 Amazon FSx 的 Windows 檔案伺服器就是預設選擇。或者，如果現場部署檔案系統正在運作 NetApp ONTAP，則 Amazon FSx for NetApp ONTAP 是預設選擇。不過，您可以根據應用程式的需求來選擇目標服務，或實現其他雲端作業優勢。如需詳細資訊，請參閱為您的部署選擇正確的AWS檔案儲存服務 (AWSSummit 簡報)。

選擇移轉工具

Amazon EFS 和 Amazon FSx 支持使用AWS DataSync 將共享文件系統遷移到AWS雲中。如需有關支援的儲存系統與服務、優點和使用案例的詳細資訊，請參閱什麼是AWS DataSync。如AWS DataSync 需使用 DataSync 傳輸檔案的程序概觀，請參閱傳輸作業的運作方式。

還有幾種可用的第三方工具，包括以下內容：

  • 如果您選擇 Amazon FSx NetApp ONTAP，則可以使用 NetApp SnapMirror 將檔案從現場部署資料中心遷移到雲端。 SnapMirror 使用區塊層級複製，這可能比 DataSync 資料傳輸程序更快，也可以縮短資料傳輸程序的持續時間。如需詳細資訊，請參閱移轉至以FSx供ONTAP使用 NetApp SnapMirror。

  • 如果您選擇適用FSx於 Windows 檔案伺服器的 Amazon，您可以使用 Robocopy 將檔案遷移到雲端。如需詳細資訊，請參閱使用 Robocopy 將現有檔案移轉至 FSx Windows 檔案伺服器。

史诗

任務描述所需技能

準備SFS探索活頁簿。

  1. 在此模式的「附件」部分中下載工作簿。這包含兩個文件，SFS-Discovery-Workbook.xlsx 和 SFS-Wave-Plan-Workbook.xlsx。

  2. 在 Microsoft Excel 中打開 SFS-發現工作簿文件。

  3. 在 [儀表板] 工作表上，執行下列動作：

    • 在欄 A 中，更新環境名稱。

    • 在 B 欄中，更新環境的順序，使其按最低 (1) 優先順序排列到最高優先順序。

    • 在資料行 D-E 中，更新波浪排程。

    • 在欄 C 和 K 中，更新AWS帳戶名稱。

    • 在欄 L 中，更新 VPCIDs.

    • 在 M—O 欄中，更新子網路。IDs

  4. 檢閱活頁簿範本的其餘部分，並更新組織或使用案例所需的任何其他值。

  5. 保存工作簿。

移民工程師，移民負責人

收集有關來源的資訊SFS。

  1. 使用您偏好的探索工具，識別所有適用儲存裝置、Linux 伺服器和 Windows 伺服器上的所有SFS掛載。通常情況下，您需要收集以下信息：

    • 用戶端裝置

    • 用戶端 IP 位址

    • SFS細節

    • 掛載點

      注意：您可以將掛載點詳細資料新增至移轉 Runbook，以便在移轉SFS後重新掛載。

  2. 打開 SFS-發現-工作簿文件。

  3. 在「波浪表」工作表上，執行下列操作：

    • 在 [伺服器位置 (D)] 欄的公式中，確認內部部署來源的CIDR範圍格式適用於您的範圍。例如，如果您的CIDR範圍是10.0.0.0/8，請輸入10.*.*.*。

    • 在SFS位置 (E) 欄的公式中，確認目標CIDRVPC範圍的格式適用於您的範圍。例如，如果您的CIDR範圍是176.16.0.0/16，請輸入176.16.*.*。

  4. 在 SFS-Data 工作表上，執行下列動作：

    • 在伺服器名稱 (A) 欄中，輸入掛載的伺服器名稱。SFS

    • 在SFS路徑 (B) 欄中，輸入的名稱SFS。

    • 在 IP 位址 (C) 欄中，輸入伺服器的 IP 位址。

    • 新增您在探索期間收集的任何其他相關資訊，例如掛載點和SFS大小。您可以稍後使用此資料來修改波浪計劃計算。

  5. 保存工作簿。

移民工程師，移民負責人

收集有關服務器的信息。

  1. 使用您的CMDB或移轉工具中記錄的資料，識別有關具有SFS掛載之伺服器的下列所有資訊：

    • 伺服器名稱

    • IP 地址

    • 波

    • 組織單位 (OU)

    • 伺服器環境DEV，例如QA、或 PROD

    • 應用程式名稱

    • 應用程式擁有者和連絡人

  2. 打開 SFS-發現-工作簿文件。

  3. 在 [伺服器資料] 工作表的欄 A—H 中，輸入您收集的有關來源伺服器的資訊。注意下列事項：

    • 在 Wave # (C) 欄中，輸入波浪名稱 (例如Wave1)、 out-of-scope (OOS) 或Retire。

    • 如果應用程序所有者聯繫人（H）列，請驗證電子郵件地址是否正確。系統會根據您在「應用程式擁有者」(G) 欄中提供的名稱自動產生此電子郵件地址。如有必要，請手動更新值以反映正確的電子郵件地址。

    • 請勿修改包含公式的 I 至 J 欄。

  4. 保存工作簿。

移民工程師，移民負責人
任務描述所需技能

建立SFS波浪計劃。

  1. 打開 SFS-發現-工作簿文件。

  2. 驗證在探索階段收集的所有資訊都是準確且最新的。

  3. 在「波表」工作表上，篩選值上的SFS波 (K) 欄。1這是第一波SFSs所有列表。

    注意：此資料欄0中的值表示超出移轉範圍。SFS這可能SFS是因為已經裝載在上面，AWS或者存取共用的伺服器超出了移轉的範圍。

  4. 確認您要SFSs在此波中遷移這些。如需有關如何指派SFSs給波的詳細資訊，請參閱「最佳作法」一節中的 Wave 規劃方法。

  5. 選擇並複製包含過濾值的單元格。請勿複製包含欄標題的標頭列。

  6. 打開先前下載的 SFS-Wave 計劃-工作簿文件。

  7. 在「從搜尋匯出」工作表上，選取儲存格 A2。

  8. 粘貼複製的數據。

  9. 保存 SFS-發現工作簿和 SFS-波計劃-工作簿文件。

建立領導者，切換負責人，遷移工程師，遷移負責人

選擇目標AWS服務和遷移工具。

  1. 在 SFS-Wave 計劃-活頁簿檔案的 [從探索匯出] 工作表上，選取並複製 [舊路徑 (C)] 欄中的值。

  2. 在「建置波形」工作表上，選取儲存格 A2。

  3. 粘貼複製的數據。此工作表中的欄 B—M 會自動更新，以反映與此路徑相關聯的其他資料。

  4. 刪除列 A 中的所有重複值。 如需指示，請參閱移除重複的值 (Microsoft Support 網站)。

  5. 在「目標病毒碼或服務 (F)」欄中，檢閱建議的目標AWS服務，並視需要進行更新。如需詳細資訊，請參閱此模式的最佳作法一節中的選擇AWS檔案系統服務。

  6. 在移轉方法 (G) 欄中，檢閱建議的移轉工具，並視需要進行更新。如需詳細資訊，請參閱此模式的最佳作法一節中的選擇移轉工具。

  7. 保存 SFS-發現-工作簿文件。您已完成為這個浪潮的建立波浪計劃。

  8. 重複這些說明，為每個波準備一個波浪計劃。由於波浪計劃在移轉期間可能會有所變更，因此我們建議您事先規劃不超過 5 個波浪。

移民工程師，移民負責人
任務描述所需技能

設定目標檔案系統。

根據波形計劃中記錄的詳細資料，在目標AWS帳戶和子網路中設定目標檔案系統。VPC如需指示，請參閱下列AWS文件：

移轉工程師，移轉負責人，AWS管理員

設定移轉工具並傳輸資料。

  1. 如果您正在使用 AWS DataSync，請設定 DataSync 工作的記錄。如需指示，請參閱記錄您的AWS DataSync 任務活動。

  2. 設定移轉工具並根據所選工具的指示執行初始資料傳輸：

  3. 在初始傳輸期間或之後，SFS可能會變更來源。設定來源與目標檔案系統之間的週期性資料傳輸，以保持資料同步：

    • 如果您正在使用 DataSync，請參閱排程AWS DataSync 工作。 DataSync 只會傳輸來源中修改的檔案或新檔案SFS。

    • 如果您使用的是第三方工具，請參閱所選工具的文件。

AWS管理員、雲端管理員、移轉工程師、移轉負責人

更新波浪計劃。

  1. 打開當前波浪的 SFS-Wave 計劃-工作簿文件。

  2. 在 [建置-Wave] 工作表的 [新路徑 IP 位址 (N)] 欄中，輸入目標檔案系統的 IP 位址。執行下列其中一項動作來尋找 IP 位址：

    • 對FSx於 Windows 檔案伺服器，請在 Amazon FSx 主控台上選擇 [檔案系統]，選擇您的檔案系統，然後檢視 [網路與安全性] 區段。

    • 對FSx於ONTAP，請參閱〈掛接磁碟區〉。

    • 對於 AmazonEFS，請參閱使用 IP 地址進行掛接。

  3. 在新路徑 (O) 欄中，輸入新的裝載路徑。掛載路徑是檔案系統的DNS名稱。執行下列其中一項作業以找出裝載路徑：

    • 對FSx於 Windows 檔案伺服器，請在 Amazon FSx 主控台上選擇 [檔案系統]，選擇您的檔案系統，然後選擇 [附加]。

    • 如需FSx詳細資訊ONTAP，請參閱檔案系統詳細資訊頁面。如需指示，請參閱掛接磁碟區。

    • 對於 AmazonEFS，請參閱收集信息。

  4. 在 [重新掛載摘要] 工作表上，確認 [新路徑 (C)] 和 [新路徑 IP 位址 (D)] 欄會反映更新的值。

  5. 確認您的組織已準備好執行手冊，以便在切換後重新掛載 Linux 和 Windows 檔案系統。如需一般指示，請參閱下列內容：

  6. 如果此波形中未包含任何相依伺服器，請將它們記錄在 [應用程式小組- 通訊] 工作表上。通知相應的應用程序或服務器所有者，因為它們可能不包含在標準波形通信中。

  7. 如果SFSs在完成波浪計劃後從波浪中移除，請在「已遮蔽」工作表上追蹤這些項目。

移民工程師，移民負責人
任務描述所需技能

停止應用程式。

如果應用程式或用戶端正在主動在來源中執行讀取和寫入作業SFS，請在執行最終資料同步之前停止它們。如需指示，請參閱應用程式文件或停止讀取和寫入活動的內部程序。例如，請參閱啟動或停止網頁伺服器 (IIS8) (Microsoft 文件) 或使用 systemctl 管理系統服務 (Red Hat 文件)。

應用程式擁有者、應用程

執行最終資料傳輸。

  1. 在移轉工具中，手動執行最終的資料傳輸工作或工作，以將目標檔案系統與來源同步SFS。如需指示，請參閱啟動工 DataSync 作或參閱所選協力廠商移轉工具的說明文件。

  2. 等待資料傳輸任務完成。如需詳細資訊，請參閱使用 Amazon AWS 監控AWS DataSync 活動 CloudWatch和透過命令列監控您的 DataSync 任務。

移民工程師，移民負責人

驗證資料傳輸。

如果您正在使用 AWS DataSync，請執行以下操作以驗證成功完成的最終數據傳輸：

  1. 在主AWS DataSync 控台中，記下工作和執行 ID，例如task-0000-exec-1111。

  2. 導覽至工作的「工作記錄」區段。 DataSync

  3. 選擇記CloudWatch 錄群組連結。

  4. 在記錄檔中，搜尋工作和執行 ID。

  5. 記下任何傳輸錯誤。如需詳細資訊，請參閱 DataSync 文件中的常見錯誤。

  6. 驗證下列項目：

    • 比較來源和目標中的檔案清單，SFSs以確認所有資料都已傳輸

    • 比較來源與目標之間的檔案存取權限SFSs。

如果您使用的是第三方工具，請參閱所選移轉工具文件中的資料傳輸驗證指示。

移民工程師，移民負責人
任務描述所需技能

重新掛載檔案系統並驗證應用程式的功能和效能。

  1. 如果在此波形中移轉相依伺服器，請在 SFS-Wave-計劃-工作簿檔案的 [重新掛載摘要] 工作表上，在 [新伺服器 IP 位址 (F)] 欄中輸入伺服器的新 IP 位址。

  2. 在所有伺服器上，將檔案系統的掛載點從舊路徑更新到新路徑。使用您的組織的 runbook 重新裝載先前在準備階段討論。

  3. 檢查掛載並確認檔案是否存在，確認檔案系統已正確掛載並可存取。基礎結構小組通常會執行這些活動。

  4. 重新啟動應用程式，並讓應用程式擁有者或 QA 團隊視應用程式需要完成應用程式的功能和效能測試。

AWS系統管理員，應用程序所

故障診斷

問題解決方案

Microsoft Excel 中的單元格值不會更新。

拖曳填色控點，複製範例列中的公式。如需詳細資訊，請參閱 Windows 或 Mac 版的指示 (Microsoft Support 網站)。

相關資源

AWS文件

疑難排解

附件

若要存取與此文件相關聯的其他內容，請解壓縮下列檔案：attachment.zip