Automatisation et contrôle d'accès

 Automatisation

L'automatisation des pipelines est un élément crucial de la conception d'une architecture moderne centrée sur les données. Pour exécuter correctement votre système de production, nous vous recommandons de disposer d'un pipeline de données doté d'un déclencheur de démarrage, d'étapes de connexion et d'un mécanisme permettant de séparer les étapes échouées des étapes réussies. Il est également important de consigner les défaillances sans entraver le reste du processus ETL.

Vous pouvez utiliser les flux de travail AWS Glue pour créer un pipeline. Le pipeline prend en charge toutes les tâches AWS Glue, les EventBridge déclencheurs Amazon et les robots d'exploration. Vous pouvez également créer des flux de travail à partir de zéro ou à l'aide de plans AWS Glue. Un plan fournit un cadre qui vous aide à démarrer sur des cas d'utilisation réutilisables. Par exemple, il peut s'agir d'un flux de travail pour importer des données depuis Amazon S3 dans une table DynamoDB. Vous pouvez même utiliser des paramètres pour rendre le plan réutilisable.

Si le pipeline de données implique d'autres services en dehors d'AWS Glue, nous vous recommandons d'utiliser AWS Step Functions comme orchestrateur. Step Functions peut créer des flux de travail automatisés, y compris des étapes d'approbation manuelles pour la réponse aux incidents de sécurité. Vous pouvez également utiliser Step Functions pour un traitement parallèle ou séquentiel à grande échelle.

Enfin, nous vous recommandons d'EventBridgeinsérer des déclencheurs sur les plannings, les événements ou à la demande. Vous pouvez également l'utiliser EventBridge pour créer des pipelines avec des filtres.

Contrôle d’accès

Nous vous recommandons d'utiliser AWS Identity and Access Management (IAM) pour le contrôle d'accès. IAM vous permet de spécifier qui ou quoi peut accéder aux services et aux ressources dans AWS et de gérer de manière centralisée des autorisations précises. Chaque phase du cycle de vie, du stockage à l'automatisation en passant par l'utilisation d'outils de traitement, nécessite les autorisations d'accès appropriées. Tout en travaillant avec des cas d'utilisation centrés sur les données, vous pouvez utiliser AWS Lake Formation pour simplifier le processus de mise à disposition des données pour des analyses de grande envergure, ainsi que pour tous les comptes.