数据收集

您可以从 AWS 中的各种来源收集数据，但为您的用例选择正确的数据收集工具非常重要。下图显示了数据收集阶段如何融入数据工程自动化和访问控制生命周期。

AWS 提供以下数据收集工具：

• 亚马逊 Kinesis 可帮助您收集流媒体数据。Kinesis 还提供无缝集成和处理功能。

• AWS Database Migration Service (AWS DMS) 可帮助您从关系数据库中提取数据。AWS DMS 具有配置选项以及本地和托管在 AWS 上的数据库服务（例如亚马逊简单存储服务 (Amazon S3) Amazon S3）之间的直接连接。

• AWS G lue 是一款提取、转换和加载 (ETL) 工具，可帮助您摄取非结构化数据。

使用 Amazon S3 进行存储收集非结构化或半结构化数据有多种用例。例如，制造工厂的数据收集用例可能需要将历史数据采集为 XML 文件，将事件数据采集为 JSON 文件，以及从关系数据库购买数据。此用例还可能要求必须连接所有三个数据源。

在开始数据摄取过程之前，我们建议您了解必须摄取哪些数据，然后选择正确的工具来收集这些数据。