在AWS大型迁移中迁移共享文件系统 - AWS Prescriptive Guidance
摘要先决条件和限制架构工具最佳实践操作说明故障排除相关资源附件

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在AWS大型迁移中迁移共享文件系统

由 Amit Rudraraju (AWS)、Sam Apa ()、Bheemeswararao Balla (AWS)、Wally Lu () 和 Sanjeev Prakasam (AWS) 创作 AWS AWS

摘要

迁移 300 台或更多服务器时，就被视为大规模迁移。大规模迁移的目的是将工作负载从其现有的本地数据中心迁移到AWS云端，而这些项目通常侧重于应用程序和数据库工作负载。但是，共享文件系统需要集中精力，并制定单独的迁移计划。此模式描述了共享文件系统的迁移进程，并提供了在大规模迁移项目中成功迁移共享文件系统的最佳实践。

共享文件系统 (SFS)，也称为网络或群集文件系统，是装载到多台服务器上的文件共享。共享文件系统可通过网络文件系统 (NFS)、公用 Internet 文件系统 (CIFS) 或服务器消息块 (SMB) 等协议进行访问。

这些系统不会使用诸如AWS应用程序迁移服务之类的标准迁移工具进行迁移，因为它们既不是专用于要迁移的主机，也不是表示为块设备。尽管大多数主机依赖项都为透明迁移，但依赖文件系统的协调和管理必须分开处理。

您可通过下几个阶段迁移共享文件系统：发现、规划、准备、割接和验证。使用此模式和随附的工作簿，您可以将共享文件系统迁移到AWS存储服务，例如亚马逊弹性文件系统（亚马逊EFS）、亚马逊FSx版或亚马逊FSx版 Windows 文件服务器。 NetApp ONTAP要传输文件系统，您可以使用AWS DataSync 或第三方工具，例如 NetApp SnapMirror。

注意

这种模式是关于向云的大规模迁移的AWS规范性指南系列的一部分。AWS此模式包括最佳实践和说明，用于将服务器SFSs纳入波浪计划。如果您要在大型迁移项目之外迁移一个或多个共享文件系统，请参阅亚马逊EFS、亚马逊 Windows 文件服务器和亚马逊AWSFSx文档中的数据传输FSx说明 NetApp ONTAP。

先决条件和限制

先决条件

先决条件可能会不同，具体取决于您的源和目标共享文件系统以及您的用例。最常见的条件如下：

限制

  • 这种模式旨在SFSs作为大型迁移项目的一部分进行迁移。它包括最佳实践和说明，用于SFSs将其纳入迁移应用程序的浪潮计划。如果您要在大型迁移项目之外迁移一个或多个共享文件系统，请参阅亚马逊EFS、亚马逊 Windows 文件服务器和亚马逊AWSFSx文档中的数据传输FSx说明 NetApp ONTAP。

  • 这种模式基于常用的架构、服务与迁移模式。但是，大规模迁移项目和策略可能会因组织而异。您可能需要根据自己的要求自定义此解决方案或工作簿。

架构

源技术堆栈

下列一个或多个：

  • Linux (NFS) 文件服务器

  • Windows (SMB) 文件服务器

  • NetApp 存储阵列

  • 戴尔 EMC Isilon 存储阵列

目标技术堆栈

下列一个或多个：

  • Amazon Elastic File System

  • Amazon f FSx or NetApp ONTAP

  • FSx适用于 Windows 文件服务器的亚马逊

目标架构

使用将本地共享文件系统迁移AWS DataSync 到的架构图AWS。

此图显示以下流程：

  1. 您可以使用诸如 Di AWS rect Connect 或之类的AWS服务在本地数据中心和AWS云之间建立连接AWS Site-to-SiteVPN。

  2. 您在本地数据中心安装 DataSync 代理。

  3. 根据您的波浪计划，您可以使用 DataSync 将数据从源共享文件系统复制到目标AWS文件共享。

迁移阶段

下图显示了大型迁移项目SFS中迁移的阶段和高级步骤。

发现、规划、准备、切换和验证将共享文件系统迁移到的各个阶段AWS。

此模式的操作说明部分包含有关如何完成迁移以及使用所附工作簿的详细说明。以下是此分阶段方法步骤的高度概述。

阶段

步骤

发现

1. 使用发现工具，您可收集有关共享文件系统的数据，包含服务器、挂载点和 IP 地址。

2. 使用配置管理数据库 (CMDB) 或迁移工具，您可以收集有关服务器的详细信息，包括有关迁移浪潮、环境、应用程序所有者、IT 服务管理 (ITSM) 服务名称、组织单位和应用程序 ID 的信息。

规划

3. 使用收集到的有关SFSs和服务器的信息，创建SFS波浪计划。

4. 使用生成工作表中的信息，为每SFS项选择目标AWS服务和迁移工具。

准备

5. 在亚马逊EFS、亚马逊（适用于 Windows 文件服务器）或亚马逊（FSx适用FSx于 NetApp ONTAP Windows 文件服务器）中设置目标基础架构。

6. 设置数据传输服务，例如 DataSync，然后开始初始数据同步。初始同步完成后，您可将重复同步设置为按计划运行。

7. 使用有关目标文件共享的信息（例如 IP 地址或路径）更新SFS波浪计划。

割接

8. 停止主动访问源代码的应用程序SFS。

9. 在数据传输服务中，执行最终数据同步。

10. 同步完成后，通过查看日志中的 CloudWatch 日志数据来验证同步是否完全成功。

验证

11. 在服务器上，将装载点更改为新SFS路径。

12. 重新启动和验证应用程序。

工具

AWS 服务

  • Amazon CloudWatch Lo gs 可帮助您集中管理所有系统、应用程序和AWS服务的日志，以便您可以对其进行监控并安全地存档。

  • AWS DataSync是一项在线数据传输和发现服务，可帮助您在AWS存储服务之间移动文件或对象数据。

  • Amazon Elastic File System（亚马逊EFS）可帮助您在AWS云端创建和配置共享文件系统。

  • Amazon FSx 提供的文件系统支持行业标准的连接协议，并提供高可用性和跨AWS区域复制。

其他工具

  • SnapMirror是一种 NetApp 数据复制工具，可将数据从指定的源卷或 qtre e 分别复制到目标卷或 qtree。您可以使用此工具将 NetApp 源文件系统迁移到 Amazon FSx ONTAP。

  • Robocopy 是 Roboost File Copy 的缩写，是 Windows 的命令行目录和命令。您可以使用此工具将 Windows 源文件系统迁移到亚马逊 Window FSx s 文件服务器版。

最佳实践

波次规划方法

在为大规模迁移项目规划波次时，请考虑延迟和应用程序性能。当SFS和依赖的应用程序在不同的位置运行时，例如一个在云中，一个在本地数据中心，这可能会增加延迟并影响应用程序性能。创建波次计划时可用的选项如下：

  1. 在SFS同一个浪潮中迁移所有依赖服务器 — 这种方法可以防止性能问题并最大限度地减少返工，例如多次重新配置装载点。当应用程序与之间需要非常低的延迟时，建议使用此方法SFS。但是，波次规划很复杂，目标通常是从依赖项分组中移除变量，而不是将其添加到依赖项分组中。此外，如果许多服务器访问相同的服务器，则不建议使用这种方法，SFS因为这会使浪潮过大。

  2. 在最后一台依赖服务器迁移SFS之后迁移 — 例如，如果有多台服务器访问并且这些服务器计划在第 4、6 和第 7 波中迁移，则安排在第 7 波中SFS进行迁移。SFS

    对于大规模迁移，这种方法通常最合乎逻辑，推荐用于对延迟敏感的应用程序。它降低了数据传输的相关成本。它还可以最大限度地减少SFS与更高级别的应用程序（例如生产）之间的延迟时间，因为更高级别的应用程序通常计划在开发和质量保证应用程序之后最后迁移。

    但是，这种方法仍然需要发现、规划以及敏捷性。在较早的浪潮SFS中，您可能需要迁移。确认应用程序能够承受从第一个依赖波到包含该的波之间的时间段内的额外延迟SFS。与应用程序所有者进行发现会话，并在同一波次中迁移对延迟最敏感的应用程序。如果在迁移依赖应用程序后发现性能问题，请做好快速调整以尽快迁移的SFS准备。

  3. SFS在大型迁移项目结束时进行迁移 — 如果延迟不是一个因素，例如当中的数据不经常访问或对SFS应用程序性能不重要时，建议使用这种方法。这种方法简化了迁移并简化了割接任务。

您可根据应用程序的延迟敏感度来混合这些方法。例如，您可以使用方法 1 或 2 迁移延SFSs迟敏感型，然后使用方法 3 迁移其余部分。SFSs

选择AWS文件系统服务

AWS提供多种用于文件存储的云服务。每种方法在性能、规模、可访问性、集成、合规性和成本优化方面有不同的优势和限制。包含合乎逻辑的默认选项。例如，如果你当前的本地文件系统运行的是 Windows Server，那么亚马逊FSx版 Windows 文件服务器是默认选择。或者，如果本地文件系统正在运行 NetApp ONTAP，则默认选择 Amazon FSx for。 NetApp ONTAP但是，您可根据应用程序的要求或实现其他云运营优势来选择目标服务。有关更多信息，请参阅为您的部署选择合适AWS的文件存储服务（Sum AWS mit 演示文稿）。

选择迁移工具

Amazon EFS 和 Amazon FSx 支持使用将共享文件系统迁移AWS DataSync 到AWS云端。有关支持的存储系统和服务、优势和用例的更多信息，请参阅什么是AWS DataSync。有关使用 DataSync 传输文件的过程的概述，请参阅AWS DataSync 传输的工作原理。

还有几种第三方工具可用，包含：

操作说明

任务描述所需技能

准备SFS发现工作簿。

  1. 在此模式的附件部分下载工作簿。它包含两个文件，SFS-Discovery-Workbook.xlsx 和 SFS-Wave-Plan-Workbook.xlsx。

  2. 在微软 Excel 中打开 SFS-Discovery-Work book 文件。

  3. 在控制面板 上，执行以下操作：

    • 在 A 列，更新环境名称。

    • 在 B 列，更新环境的顺序，使其按从最低 (1) 优先级到最高优先级的顺序排列。

    • 在 D—E 列中，更新波次时间表。

    • 在 C 和 K 列中，更新AWS账户名。

    • 在 L 列中，更新VPCIDs。

    • 在 M—O 列中，更新子网。IDs

  4. 查看工作簿模板的其余部分，并更新组织或用例所需任何其他值。

  5. 保存工作簿。

迁移工程师，迁移主管

收集有关来源的信息SFS。

  1. 使用您首选的发现工具，识别所有适用的存储设备、Linux 服务器和 Windows 服务器上的所有SFS挂载。通常，您需要收集以下信息：

    • 客户端设备

    • 客户端 IP 地址

    • SFS 详细信息

    • 挂载点

      注意

      您可以将装载点详细信息添加到迁移运行手册中，以便在迁移SFS后重新装载。

  2. 打开 SFS-发现- 工作簿文件。

  3. 在 Wave-Sheet 工作表，执行以下操作：

    • 在服务器位置 (D) 列的公式中，确认本地来源的CIDR范围格式是否适用于您的范围。例如，如果您的CIDR范围是10.0.0.0/8，请输入10.*.*.*。

    • 在公式中的SFS位置 (E) 列中，确认目标CIDR范围的格式是否VPC适用于您的范围。例如，如果您的CIDR范围是176.16.0.0/16，请输入176.16.*.*。

  4. 在 SFS-Data 工作表上，执行以下操作：

    • 在服务器名称 (A) 列中，输入装载的服务器SFS的名称。

    • 在SFS路径 (B) 列中，输入名称SFS。

    • 在 IP 地址 (C) 列，输入服务器的 IP 地址。

    • 添加您在发现期间收集的任何其他相关信息，例如装载点和SFS大小。您可稍后使用这些数据来修改波次计划计算。

  5. 保存工作簿。

迁移工程师，迁移主管

收集有关服务器的信息。

  1. 使用您的CMDB或迁移工具中记录的数据，识别有关已SFS安装服务器的以下所有信息：

    • 服务器名称

    • IP 地址

    • 波次

    • 组织部门（OU）

    • 服务器环境，例如 DEV、QA 或 PROD

    • 应用程序名称

    • 应用程序所有者和联系信息

  2. 打开 SFS-发现- 工作簿文件。

  3. 在 Server-Data 工作表的 A—H 列，输入您收集的有关源服务器的信息。请注意以下几点：

    • 在 Wave # (C) 列中，输入波浪名称（例如Wave1）、 out-of-scope (OOS) 或Retire。

    • 如果应用程序所有者联系人 (H) 列，请验证电子邮件地址是否正确。此电子邮件地址是根据您在应用程序所有者 (G) 列提供的姓名自动生成的。如有必要，请手动更新该值，以反映正确的电子邮件地址。

    • 不要修改包含公式的 I—J 列。

  4. 保存工作簿。

迁移工程师，迁移主管
任务描述所需技能

制定SFS波浪计划。

  1. 打开 SFS-发现- 工作簿文件。

  2. 验证在发现阶段收集的所有信息是否准确和最新。

  3. 在 Wave-Shee t 工作表上，根据值筛选SFS波浪 (K) 列。1这是第一波SFSs中所有内容的清单。

    注意

    此列0中的值SFS为表示已超出迁移范围。这可能是因为已经托管在上，AWS或者因为访问共享的服务器超出了迁移范围。SFS

  4. 确认您要在此浪潮SFSs中迁移它们。有关如何分配SFSs给波浪的更多信息，请参阅 “最佳实践” 部分中的波浪规划方法。

  5. 选择和复制包含筛选值的单元格。切勿复制包含列标题的标题行。

  6. 打开您之前下载的 SFS-Wave-Plan-Workbook 文件。

  7. 在 Export-from-Discovery 工作表，选择单元格 A2。

  8. 粘贴复制的数据。

  9. 保存 SFS-Discovery-Workbook和-Wave-Plan-Workb ook文件。SFS

构建主管，割接主管，迁移工程师，迁移主管

选择目标AWS服务和迁移工具。

  1. 在SFS-Wave-Plan-Workbook 文件中的Exported-from-Discovery 工作表中，选择并复制旧路径 (C) 列中的值。

  2. 在 Build-Wave 工作表上，选择单元格 A2。

  3. 粘贴复制的数据。此工作表中的 B—M 列会自动更新，以反映与此路径关联的其他数据。

  4. 移除 A 列中的所有重复值。有关说明，请参阅移除重复值(Microsoft Support 网站)。

  5. 在目标模式或服务 (F) 列中，查看推荐的目标AWS服务并根据需要进行更新。有关更多信息，请参阅此模式的 “最佳实践” 部分中的选择AWS文件系统服务。

  6. 在迁移方法 (G) 列，查看推荐的迁移工具并根据需要进行更新。有关更多信息，请参阅此模式的最佳实践部分中的选择迁移工具。

  7. 保存 SFS-发现- 工作簿文件。您已经完成了为此波次创建的波次计划。

  8. 重复这些说明，为每个波次准备波次计划。由于迁移期间波次计划可能会发生变化，因此我们建议您提前计划不超过 5 个波次。

迁移工程师，迁移主管
任务描述所需技能

设置目标文件系统。

根据波浪计划中记录的详细信息，在目标AWS账户和子网中设置目标文件系统。VPC有关说明，请参阅以下AWS文档：

迁移工程师、迁移主管、AWS管理员

设置迁移工具和传输数据。

  1. 如果您使用的是 AWS DataSync，请为 DataSync 任务配置日志记录。有关说明，请参阅记录AWS DataSync 任务活动。

  2. 设置迁移工具，并根据所选工具说明执行初始数据传输：

  3. 在初始传输期间或之后，SFS可能会对源进行更改。设置源文件系统和目标文件系统间的重复数据传输，以保持数据同步：

    • 如果您正在使用 DataSync，请参阅安排AWS DataSync 任务。 DataSync 仅传输源文件中修改过的文件或新文件SFS。

    • 如果您使用第三方工具，请参阅所选工具的文档。

AWS管理员、云管理员、迁移工程师、迁移主管

更新波次计划。

  1. 打开当前波浪的 SFS-Wave-Plan-Workbook 文件。

  2. 在 Build—Wave 工作表，在新路径 IP 地址 (N) 列，输入目标文件系统的 IP 地址。执行以下任一操作，查找 IP 地址：

    • 对FSx于 Windows 文件服务器，在亚马逊FSx控制台上，选择文件系统，选择您的文件系统，然后查看 “网络和安全” 部分。

    • FSx有关的ONTAP，请参阅装入卷。

    • 对于亚马逊EFS，请参阅使用 IP 地址装载。

  3. 在新路径 (O) 列，输入新的挂载路径。挂载路径是文件系统的DNS名称。执行以下任一操作，以找到挂载路径：

    • 对FSx于 Windows 文件服务器，在亚马逊FSx控制台上选择文件系统，选择您的文件系统，然后选择附加。

    • FSx有关的ONTAP，请参阅文件系统详细信息页面。有关说明，请参阅挂载卷。

    • 对于亚马逊EFS，请参阅收集信息。

  4. 在 Remount-Summary 工作表，确认新路径 (C) 和新路径 IP 地址 (D) 列是否反映了更新的值。

  5. 确认您的组织已准备好在割接后重新挂载 Linux 和 Windows 文件系统运行手册。有关一般说明，请参阅以下：

  6. 如果此波次中未包含任何依赖服务器，请将其记录在 App-Team-Communication 工作表中。通知相应的应用程序或服务器拥有者，因为他们可能不包含在标准波次通信中。

  7. 如果SFSs在完成波浪计划后从波浪中移除，请在 Descop ed 工作表中对其进行跟踪。

迁移工程师，迁移主管
任务描述所需技能

停止应用程序。

如果应用程序或客户端正在源系统中主动执行读取和写入操作SFS，请在执行最终数据同步之前将其停止。有关说明，请参阅应用程序文档或停止读写活动的内部流程。例如，请参阅启动或停止 Web 服务器 (IIS8)（微软文档）或使用 systemctl 管理系统服务（红帽文档）。

应用程序所有者、应用程序开发人员

执行最后数据传输。

  1. 在迁移工具中，手动运行最终的数据传输任务或作业，以使目标文件系统与源文件系统同步SFS。有关说明，请参阅启动 DataSync 任务或查看所选第三方迁移工具的文档。

  2. 请等待数据传输任务完成。有关更多信息，请参阅使用 Amazon AWS 监控AWS DataSync 活动 CloudWatch和通过命令行监控您的 DataSync 任务。

迁移工程师，迁移主管

验证数据传输。

如果您使用的是 AWS DataSync，请执行以下操作以验证最终数据传输成功完成：

  1. 在AWS DataSync 控制台中，记下任务和执行 ID，例如task-0000-exec-1111。

  2. 导航到任务的 “任务记录” 部分。 DataSync

  3. 选择CloudWatch 日志组链接。

  4. 在日志中，搜索任务与执行 ID。

  5. 记录任何传输错误。有关更多信息，请参阅 DataSync 文档中的常见错误。

  6. 请验证以下内容：

    • 比较源端和目标端的文件列表SFSs，确认所有数据均已传输

    • 比较源和目标之间的文件访问权限SFSs。

如果您使用第三方工具，请参阅所选迁移工具文档中的数据传输验证说明。

迁移工程师，迁移主管
任务描述所需技能

重新安装文件系统，并验证应用程序的功能和性能。

  1. 如果在此波中迁移了依赖服务器，则在-Wave SFS-Plan-W orkbook文件的 “重新安装摘要” 工作表中，在新服务器 IP 地址 (F) 列中输入服务器的新 IP 地址。

  2. 在所有服务器，将文件系统的装载点从旧路径更新到新路径。使用组织的运行手册进行重新挂载，之前在准备阶段介绍过。

  3. 通过检查挂载和验证文件是否存在，确认文件系统已正确装载并且可以访问。基础设施团队通常会执行此活动。

  4. 根据应用程序需要，重新启动应用程序并与应用程序所有者或 QA 团队接触，以完成应用程序的功能和性能测试。

AWS系统管理员、应用程序所有者

故障排除

事务解决方案

Microsoft Excel 中的单元格值不会更新。

通过拖动填充手柄，复制示例行中的公式。有关更多信息，请参阅 Windows 或 Mac 的说明（Microsoft 支持网站）

相关资源

AWS 文档

故障排除

附件

要访问与此文档相关联的其他内容，请解压以下文件：attachment.zip