自动化和访问控制

自动化

管道自动化是现代以数据为中心的架构设计的重要组成部分。为了成功运行您的生产系统，我们建议您使用一个数据管道，该管道具有启动触发器、连接步骤以及用于分离失败和通过阶段的机制。同样重要的是要记录故障，同时不要阻碍 ETL 流程的其余部分。

您可以使用 AWS Glue 工作流程来创建管道。该管道支持所有 AWS Glue 作业、Amazon EventBridge 触发器和爬虫。您也可以从头开始创建工作流程，也可以使用 AWS G lue 蓝图创建工作流程。蓝图提供了一个框架，可帮助您开始使用可重复使用的用例。例如，这可能是将数据从 Amazon S3 导入到 DynamoDB 表的工作流程。您甚至可以使用参数使蓝图可重复使用。

如果数据管道涉及 AWS Glue 之外的更多服务，那么我们建议您使用 AWS Step Fun ctions 作为协调器。Step Functions 可以创建自动工作流程，包括安全事件响应的手动批准步骤。您还可以使用 Step Functions 进行大规模的并行处理或顺序处理。

最后，我们建议使用EventBridge在日程安排、事件或按需插入触发器。您也可以使用 EventBridge 创建带过滤器的管道。

访问控制

我们建议您使用 AWS Identity and Access Management (IAM) 进行访问控制。IAM 允许您指定谁或什么人可以访问 AWS 中的服务和资源，并集中管理细粒度的权限。生命周期的每个阶段（从存储到自动化再到使用处理工具）都需要正确的访问权限。在处理以数据为中心的用例时，您可以使用 AWS Lake Formation 来简化为各种分析以及跨账户提供数据的流程。