将大型机数据复制到 AWS Cloud

本节回顾了几个常见的用例，这些用例已成为将大型机数据复制到的主要候选用例。 AWS Cloud这些用例涵盖不同的行业和运营需求，每个用例都带来了独特的挑战和机遇。在这些场景中，数据复制可以在推动业务创新、敏捷性和弹性方面发挥关键作用。

用例 1：更改数据捕获

变更数据捕获 (CDC) 非常适合需要近乎实时的数据复制的场景。它仅捕获并复制从大型机到的更改数据。 AWS Cloud这样可以最大限度地减少复制开销和延迟。

选择标准

• 实时或接近实时的数据复制要求

• 高频数据更新，延迟容忍度低

• 需要高效利用网络带宽和资源

优点

• 减少了复制开销和网络带宽利用率

• 最大限度地减少了延迟，可以更快地获得更新的数据

• 由于有选择地复制更改的数据，因此可以高效利用资源

劣势

• 实施和管理 CDC 机制的复杂性

• 由于捕捉变化，有可能提高大型机系统的资源利用率

• 依赖于 CDC 工具和流程的可靠性和性能

策略

• 选择与大型机数据库兼容的 CDC 工具，然后 AWS 服务

• 将 CDC 工具配置为仅捕获和复制相关的数据更改

• 实施监控和验证机制以保持数据的一致性和可靠性

• 考虑实施可促进持续可用性和数据完整性的故障转移机制

用例 2：实时报告和仪表板

为了实现即时可视化和分析，实时报告和仪表板需要将数据从大型机系统持续复制到 AWS Cloud。这种用例在实时洞察对决策至关重要的行业中很常见，例如银行、保险、零售、医疗保健和制造业。

选择标准

• 需要立即访问更新的数据以进行分析和可视化

• 需要实时监控业务指标和关键绩效指标 (KPIs)

• 决策过程中对敏捷性和响应能力的要求很高

优点

• 提供对更新的数据的即时访问以进行实时分析和决策

• 支持主动监控业务绩效并及时采取干预措施

• 为利益相关者提供动态和交互式的数据可视化

劣势

• 为实现实时更新而进行数据复制和处理的复杂性增加

• 由于连续复制，资源消耗和基础架构成本更高

• 依赖强大的监控和警报机制来验证数据的新鲜度和可靠性

策略

• 实施 CDC 或消息传递协议以实现实时数据复制

• 使用 AWS 服务Amazon Kinesis Data Streams 等进行实时数据流和处理

• 在上设计和部署实时报告和仪表板解决方案， AWS Cloud 以便您可以立即访问更新的数据

• 实施监控和警报机制，及时检测和解决数据复制问题

用例 3：消息协议

消息协议和系统，例如 Apache Kafka 或 IBM MQ，便于大型机与之间的异步通信和数据传输。 AWS Cloud它们适用于需要解耦和可扩展的数据集成的场景。

选择标准

• 异步数据传输要求

• 需要可扩展和解耦的数据集成架构

• Support 支持低延迟的实时或近实时数据复制

优点

• 分离且可扩展的架构，可实现灵活的数据集成

• Support 支持低延迟的实时或近实时数据复制

• 内置可靠性、消息队列和容错功能

劣势

• 配置和管理邮件基础架构的复杂性

• 可能会增加资源消耗和运营开销

• 对消息平台可靠性和性能的依赖性

策略

• 选择一个消息系统，例如 Apache Kafka 或 IBM MQ，它既与主机兼容，又兼容 AWS Cloud

• 设计便于数据传输和复制的消息主题或队列

• 在大型机和云端部署消息生成者和使用者，以便交换数据

• 配置监控和警报机制以验证消息处理和复制的可靠性

用例 4：新通道和接口

大型机通道是一种将数据传入和传出大型机计算机的连接。信道是信道子系统的一部分。为了立即曝光和使用，新的渠道和接口需要将数据从大型机系统持续复制到云端。

选择标准

• 需要立即访问新渠道的更新数据

• 使用新接口访问大型机数据

• 对新渠道的需求很高

• 与不同的系统、平台或云环境集成

优点

• 通过启用新的渠道来使用大型机数据，从而解锁大型机数据的访问权限

• 促进与不同系统、平台或云环境的集成

• 实现跨不同基础架构更灵活、更高效的数据移动

劣势

• 引入新的数据复制接口或通道可能需要额外的安全措施来帮助保护数据并遵守法规

• 将新接口与现有系统和工作流程集成可能具有挑战性，尤其是在复杂或传统环境中

策略

• 实施 CDC 或消息传递协议以实现实时数据复制

• 使用 AWS 服务 Kinesis Data Streams 等进行实时数据流和处理

• 实施监控和警报机制，及时检测和解决数据复制问题

用例 5：监管合规和数据存档

监管合规和数据存档涉及将大型机数据复制到云端以进行长期保留。遵守数据保留政策和法规至关重要。这种用例在受监管的行业（例如银行、医疗保健和制药）中很普遍。

选择标准

• 需要长期保留历史数据以满足监管合规性或法律要求

• 对存档数据的安全且可扩展的存储解决方案的要求

• 遵守数据隐私法规和行业特定的数据保留和存档规定

优点

• 遵守监管要求和行业特定的数据保留规定

• 可扩展且经济实惠的存储解决方案，用于长期存档历史数据

• 出于审计或法律目的高效检索和访问存档数据

劣势

• 管理和组织存档数据以实现高效检索和访问的复杂性

• 长期保留大量数据可能会导致存储成本增加

• 依赖强大的数据加密和访问控制来保护存档数据免遭未经授权的访问

策略

• 实施数据生命周期策略以自动存档和保留历史数据

• 使用 AWS Amazon S3 Glacier 或 Amaz on S3 Glacier 存储类等存储产品实现经济实惠的长期存储

• 加密存档的静态数据并实施访问控制，以帮助防止未经授权的访问

• 建立审计跟踪和记录机制，以跟踪对存档数据的访问并遵守监管要求

用例 6：卸载处理和批量复制

卸载处理和批量复制涉及调度定期批处理作业，这些作业从大型机中提取数据并将其加载到。 AWS Cloud它适用于不需要实时复制且可以接受批处理的场景。

选择标准

• 不需要实时数据复制

• 可以对数据更新进行批处理

• 数据更新频率较低，延迟容忍度适中

优点

• 将计算密集型操作（例如数据转换、压缩或加密）从主大型机系统卸载，可以提高整体系统性能并减少瓶颈

• 资源利用率可预测，对大型机系统的影响较小

• 可根据业务需求灵活安排复制作业

劣势

• 与实时或接近实时的复制相比，数据可用性的延迟更高

• 由于定期更新，大型机和云端之间可能会出现数据不一致的情况

• 对需要及时访问更新数据的场景的适用性有限

策略

• 开发批量复制作业，将数据从大型机提取并加载到 AWS Cloud

• 根据您的业务需求和数据更新频率安排复制作业

• 实施检查以验证数据的一致性和完整性

• 考虑优化批量复制过程以减少延迟和资源消耗