本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
大型机数据复制的战略方法
将数据从大型机复制到的 AWS 云 过程涉及将数据从本地大型机系统传输到云环境。
在整个过程中,相关利益相关者(例如大型机数据所有者、安全团队和云架构师)必须积极参与,以确保迁移成功且合规。此外,要获得指导和实施支持,可以考虑聘请具有大型机现代化AWS 专业知识的专业服务
本节介绍一种高级战略方法,您可以使用它来规划和实施大型机数据复制。它包括以下阶段:
评测
评估阶段是任何成功 mainframe-to-cloud的数据迁移策略的基石。在此初始阶段,您将对当前的大型机环境进行全面评估,仔细分析工作负载、数据特征和基础架构功能。这种系统的评估有助于确定哪些数据集适合云复制。通过此分析,您可以清楚地了解范围和潜在挑战。
在评估阶段执行以下操作:
-
评估您的大型机工作负载并确定应将哪些数据集复制到。 AWS 云
-
对数据敏感性、合规性要求和性能注意事项进行全面分析。
-
评估您现有的网络基础设施和数据复制的带宽可用性。
动员
在移动阶段,您将制定全面的复制策略,该策略涉及三个基本方面:大型机系统与之间集成的技术架构 AWS 服务、维护数据一致性和安全的操作框架,以及建立明确的成功指标。在设计实现强大安全控制的架构时,必须仔细考虑各种复制频率、同步方法和故障转移机制。
在动员阶段执行以下操作:
-
制定详细的数据复制策略,其中包括以下内容:
-
频率 — 根据您的业务需求、数据波动性和网络带宽可用性来确定数据复制的频率。频率选项包括以下内容:
-
实时复制是在数据创建后立即将其复制到云端的过程。此选项非常适合需要最小延迟的交易数据。
-
近乎实时的复制是在稍有延迟的情况下将数据复制到云端的过程。此选项适用于允许中等延迟的高优先级数据。
-
定时批量复制是在计划的时间将数据复制到云端的过程。此选项适用于定期更新足够 non-real-time的数据。
-
-
同步方法-选择适当的同步方法,以提高数据一致性并最大限度地减少复制开销。同步选项包括以下内容:
-
变更数据捕获 (CDC) 是跟踪数据源变更并记录有关变更的元数据的过程。使用这种方法,您只能捕获和复制更改的数据。此选项可以减少复制流量并提高效率。
-
快照复制是在某个时间点创建数据集副本,然后复制该副本的过程。您可以定期拍摄大型机数据的快照,然后将其复制到。 AWS 云此选项适用于动态性较低的数据集。
-
-
故障转移机制-实施可促进持续可用性和数据完整性的故障转移机制。故障转移机制的选项包括以下内容:
-
主动-被动故障切换是一种使用主资源和辅助资源的配置。仅当主资源出现故障时,辅助资源才会被激活。使用这种方法,您可以在中维护一个备用副本 AWS 云,如果大型机出现故障,它会自动激活。
-
主动-主动复制是一种数据复制方法,它允许多台服务器同时处理读取和写入操作。使用这种方法,您可以同时将大型机数据复制到云 AWS 区域 中的多个大型机数据。如果您需要高可用性和灾难恢复,则此方法非常适合。
-
-
-
设计用于将大型机系统与之集成的架构 AWS 服务,并设计数据一致性和安全性。您的架构应解决以下问题:
-
与集成 AWS 服务 — 我们建议您的设计考虑以下因素:
-
复制工具-使用 AWS Database Migration Service (AWS DMS),使用AWS Mainframe Modernization 数据复制 Precisely,或第三方复制工具。
-
存储 — 将复制的数据存储在亚马逊简单存储服务 (Amazon S3) Simp le Service 中,因为它具有可扩展性和耐久性。
-
数据仓库 — 使用 Amazon Redshift 进行数据仓库和分析。该服务可以帮助您从复制的大型机数据中提取见解。
-
计算 — 部署AWS Lambda函数或亚马逊弹性计算云 (Amazon EC2) 实例来处理复制的数据并执行数据转换。
-
-
数据一致性和安全性 — 我们建议您的设计考虑以下因素:
-
加密-使用 AWS Key Management Service (AWS KMS) 对传输中的数据和静态数据进行加密。
-
访问控制-实施 AWS Identity and Access Management (IAM) 角色和策略来控制对复制数据的访问。根据用户角色和职责限制权限。
-
数据验证 — 在复制期间执行检查,以验证大型机和云环境之间的数据一致性和完整性。
-
监控和审计 — 使用AWS CloudTrail和 Amazon CloudWatch 监控复制过程和审核对复制数据的访问权限。
-
-
-
建立明确的衡量标准,以衡量复制过程的成功及其对应用程序性能的影响。指标可以包括以下内容:
-
数据完整性-监控复制的数据与源数据相比的完整性,以便您可以检测任何缺失或不完整的记录。
-
应用程序性能-在实施数据复制之前和之后跟踪应用程序的响应时间和吞吐量,以便您可以识别任何性能影响。
-
成本效益-评估数据复制和 AWS 云 使用的成本效益,以便将其与本地基础设施的成本进行比较。
-
迁移与现代化
在迁移和现代化阶段,您需要将数据从大型机复制到云端,然后验证复制。这个关键阶段包括实施适当的复制方法、部署基本工具以及在大型机和云环境之间建立安全的数据路径。您必须仔细协调传统大型机系统与现代云服务的集成,同时在整个过渡过程中保持强大的安全措施并确保数据完整性。此阶段的成功需要在技术实施、安全合规性以及对复制过程的全面验证方面采取平衡的方法。
在迁移和现代化阶段执行以下操作:
-
选择复制方法。有多种方法可以将大型机数据复制到其中 AWS,包括 CDC 和定时批量复制。
-
部署数据复制工具并配置大型机和云之间的复制工作流程。你可以使用服务和工具,例如 Apache Kafka
、亚马逊 MQ、亚马逊 Red shift 或亚马逊关系数据库服务(亚马逊 RDS)。 -
实施必要的安全措施,例如加密和访问控制,以保护传输中或静态的数据。
-
彻底测试复制过程以验证数据的完整性和可靠性。
优化
优化阶段可帮助您微调复制过程以实现最佳效率。本阶段的重点是建立一个平衡的框架,确保最佳性能、成本效益和运营弹性,同时保持扩展的灵活性。
在优化阶段执行以下操作:
-
持续监控数据复制过程的性能,并根据需要调整配置参数。
-
优化您的 AWS 资源以最大限度地降低成本,同时满足性能要求。
-
实施强大的监控和警报机制,帮助您及时检测和解决任何问题。
-
规划可扩展性,以适应未来数据量或其他数据源的增长。
治理
治理阶段为维护数据管理运营中的控制、合规性和问责制建立了关键框架。此阶段实施基本的政策和程序,有助于保护数据资产,并帮助您遵守监管要求和行业标准。通过结构化监管机制,您可以创建一个安全且合规的环境,帮助保护敏感信息。
在治理阶段执行以下操作:
-
制定管理策略和程序,以管理数据复制过程和 AWS 云 使用情况。
-
验证是否符合监管要求和行业标准,例如《通用数据保护条例》(GDPR) 和《健康保险流通与责任法案》(HIPAA)。
-
定期进行审计和审查,以验证对治理和合规准则的遵守情况。