Automatización y control de acceso

Automatización

La automatización de las canalizaciones es una parte crucial del diseño moderno de la arquitectura centrada en los datos. Para que su sistema de producción funcione correctamente, le recomendamos que cuente con una canalización de datos que tenga un disparador de inicio, pasos que conecten los pasos y un mecanismo para separar las etapas fallidas de las superadas. También es importante registrar los errores sin obstaculizar el resto del proceso de ETL.

Puede usar los flujos de trabajo de AWS Glue para crear una canalización. La canalización es compatible con todos los trabajos de AWS Glue, los EventBridge activadores de Amazon y los rastreadores. También puede crear flujos de trabajo desde cero o mediante planos de AWS Glue. Un plano proporciona un marco que le ayuda a empezar con los casos de uso reutilizables. Por ejemplo, podría ser un flujo de trabajo para importar datos de Amazon S3 a una tabla de DynamoDB. Incluso puede usar parámetros para hacer que el plano sea reutilizable.

Si la canalización de datos incluye más servicios ajenos a AWS Glue, le recomendamos que utilice AWS Step Functions como orquestador. Step Functions puede crear flujos de trabajo automatizados, incluidos los pasos de aprobación manual para la respuesta a incidentes de seguridad. También puede utilizar Step Functions para el procesamiento paralelo o secuencial a gran escala.

Por último, te recomendamos que lo EventBridgeutilices para insertar activadores en horarios, eventos o bajo demanda. También se puede utilizar EventBridge para crear canalizaciones con filtros.

Control de acceso

Le recomendamos que utilice AWS Identity and Access Management (IAM) para el control de acceso. La IAM le permite especificar quién o qué puede acceder a los servicios y recursos de AWS y administrar de forma centralizada los permisos detallados. Cada fase del ciclo de vida, desde el almacenamiento hasta la automatización y el uso de herramientas de procesamiento, requiere los permisos de acceso adecuados. Mientras trabaja con casos de uso centrados en los datos, puede utilizar AWS Lake Formation para simplificar el proceso de hacer que los datos estén disponibles para una amplia gama de análisis y también para todas las cuentas.