Recopilación de datos

Puede recopilar datos de diversas fuentes en AWS, pero es importante elegir la herramienta de recopilación de datos adecuada para su caso de uso. El siguiente diagrama muestra cómo la etapa de recopilación de datos se inserta en el ciclo de vida de la ingeniería de datos, la automatización y el control de acceso.

AWS proporciona las siguientes herramientas de recopilación de datos:

• Amazon Kinesis le ayuda a recopilar datos de streaming. Kinesis también ofrece capacidades de integración y procesamiento perfectas.

• AWS Database Migration Service (AWS DMS) le ayuda a ingerir datos de bases de datos relacionales. AWS DMS tiene opciones de configuración y conexiones directas entre los servicios locales y de bases de datos, como Amazon Simple Storage Service (Amazon S3), que están alojados en AWS.

• AWS Glue es una herramienta de extracción, transformación y carga (ETL) que le ayuda a ingerir datos no estructurados.

Existen varios casos de uso para recopilar datos no estructurados o semiestructurados mediante Amazon S3 como almacenamiento. Por ejemplo, un caso práctico de recopilación de datos en una planta de fabricación podría requerir la incorporación de datos históricos como archivos XML, datos de eventos como archivos JSON y datos de compras de una base de datos relacional. Este caso de uso también podría requerir la unión de las tres fuentes de datos.

Antes de iniciar el proceso de ingesta de datos, le recomendamos que comprenda qué datos se deben ingerir y, a continuación, que elija la herramienta adecuada para recopilarlos.