Automatisez l'application du chiffrement dans AWS Glue à l'aide d'un CloudFormation modèle AWS

Créée par Diogo Guedes (AWS)

Récapitulatif

Ce modèle explique comment configurer et automatiser l'application du chiffrement dans AWS Glue à l'aide d'un CloudFormation modèle AWS. Le modèle crée toutes les configurations et ressources requises pour appliquer le chiffrement. Ces ressources incluent une configuration initiale, un contrôle préventif créé par une EventBridge règle Amazon et une fonction AWS Lambda.

Conditions préalables et limitations

Prérequis

• Un compte AWS actif

• Autorisations pour déployer le CloudFormation modèle et ses ressources

Limites

Ce contrôle de sécurité est régional. Vous devez déployer le contrôle de sécurité dans chaque région AWS où vous souhaitez configurer l'application du chiffrement dans AWS Glue.

Architecture

Pile technologique cible

• Amazon CloudWatch Logs (depuis AWS Lambda)

• EventBridge Règle Amazon

• CloudFormation pile AWS

• AWS CloudTrail

• Rôle et politique gérés par AWS Identity and Access Management (IAM)

• AWS Key Management Service (AWS KMS)

• Alias AWS KMS

• Fonction AWS Lambda

• AWS Systems Manager Parameter Store

Architecture cible

Le schéma suivant montre comment automatiser l'application du chiffrement dans AWS Glue.

Le schéma suivant illustre le flux de travail suivant :

1. Un CloudFormation modèle crée toutes les ressources, y compris la configuration initiale et le contrôle de détection pour l'application du chiffrement dans AWS Glue.

2. Une EventBridge règle détecte un changement d'état dans la configuration de chiffrement.

3. Une fonction Lambda est invoquée à des fins d'évaluation et de journalisation via CloudWatch Logs. En cas de détection de non-conformité, le magasin de paramètres est restauré avec un Amazon Resource Name (ARN) pour une clé AWS KMS. L'état de conformité du service est rétabli lorsque le chiffrement est activé.

Automatisation et évolutivité

Si vous utilisez AWS Organizations, vous pouvez utiliser AWS CloudFormation StackSets pour déployer ce modèle sur plusieurs comptes où vous souhaitez activer l'application du chiffrement dans AWS Glue.

Outils

• Amazon vous CloudWatch aide à surveiller les indicateurs de vos ressources AWS et des applications que vous exécutez sur AWS en temps réel.

• Amazon EventBridge est un service de bus d'événements sans serveur qui vous permet de connecter vos applications à des données en temps réel provenant de diverses sources. Par exemple, les fonctions Lambda, les points de terminaison d'appel HTTP utilisant des destinations d'API ou les bus d'événements dans d'autres comptes AWS.

• AWS vous CloudFormation aide à configurer les ressources AWS, à les approvisionner rapidement et de manière cohérente, et à les gérer tout au long de leur cycle de vie sur l'ensemble des comptes et des régions AWS.

• AWS vous CloudTrail aide à activer l'audit opérationnel et des risques, la gouvernance et la conformité de votre compte AWS.

• AWS Glue est un service d'extraction, de transformation et de chargement (ETL) entièrement géré. Il vous aide à classer, nettoyer, enrichir et déplacer les données de manière fiable entre les magasins de données et les flux de données.

• AWS Key Management Service (AWS KMS) vous aide à créer et à contrôler des clés cryptographiques afin de protéger vos données.

• AWS Lambda est un service de calcul qui vous permet d'exécuter du code sans avoir à provisionner ou à gérer des serveurs. Il exécute votre code uniquement lorsque cela est nécessaire et évolue automatiquement, de sorte que vous ne payez que pour le temps de calcul que vous utilisez.

• AWS Systems Manager vous aide à gérer vos applications et votre infrastructure exécutées dans le cloud AWS. Il simplifie la gestion des applications et des ressources, réduit le délai de détection et de résolution des problèmes opérationnels et vous aide à gérer vos ressources AWS en toute sécurité à grande échelle.

Code

Le code de ce modèle est disponible dans le référentiel GitHub aws-custom-guardrail-event-driven.

Bonnes pratiques

AWS Glue prend en charge le chiffrement des données au repos pour créer des tâches dans AWS Glue et développer des scripts à l'aide de points de terminaison de développement.

Tenez compte des meilleures pratiques suivantes :

• Configurez les tâches ETL et les points de terminaison de développement pour utiliser les clés AWS KMS afin d'écrire des données chiffrées au repos.

• Chiffrez les métadonnées stockées dans le catalogue de données AWS Glue à l'aide de clés que vous gérez via AWS KMS.

• Utilisez les clés AWS KMS pour chiffrer les signets de tâches et les journaux générés par les robots d'exploration et les tâches ETL.

Épopées

Lancez le CloudFormation modèle

Tâche	Description	Compétences requises
Déployez le CloudFormation modèle.	Téléchargez le aws-custom-guardrail-event-driven.yaml modèle depuis le GitHub référentiel, puis déployez-le. L'CREATE_COMPLETEétat indique que votre modèle a été déployé avec succès. Note Le modèle ne nécessite aucun paramètre d'entrée.	Architecte du cloud

Vérifiez les paramètres de chiffrement dans AWS Glue

Tâche	Description	Compétences requises
Vérifiez les configurations clés d'AWS KMS.	Connectez-vous à l'AWS Management Console, puis ouvrez la console AWS Glue. Dans le volet de navigation, sous Catalogue de données, sélectionnez Paramètres du catalogue. Vérifiez que les paramètres de chiffrement des métadonnées et de chiffrement des mots de passe de connexion sont marqués et configurés pour être utilisés. KMSKeyGlue	Architecte du cloud

Testez l'application du chiffrement

Tâche	Description	Compétences requises
Identifiez le paramètre de chiffrement dans CloudFormation.	Connectez-vous à l'AWS Management Console, puis ouvrez la CloudFormation console. Dans le volet de navigation, choisissez Stacks, puis choisissez votre stack. Sélectionnez l'onglet Ressources. Dans le tableau Ressources, recherchez le paramètre de chiffrement par ID logique.	Architecte du cloud
Passez l'infrastructure provisionnée à un état non conforme.	Connectez-vous à l'AWS Management Console, puis ouvrez la console AWS Glue. Dans le volet de navigation, sous Catalogue de données, sélectionnez Paramètres du catalogue. Décochez la case Chiffrement des métadonnées. Décochez la case Chiffrer les mots de passe de connexion. Choisissez Save (Enregistrer). Actualisez la console AWS Glue. Le garde-corps détecte l'état non conforme dans AWS Glue une fois que vous avez décoché les cases à cocher, puis applique la conformité en corrigeant automatiquement la mauvaise configuration du chiffrement. Par conséquent, les cases de chiffrement doivent à nouveau être cochées après avoir actualisé la page.	Architecte du cloud

Ressources connexes

• Création d'une pile sur la CloudFormation console AWS ( CloudFormation documentation AWS)

• Création d'une règle d' CloudWatch événements qui se déclenche lors d'un appel d'API AWS à l'aide d'AWS CloudTrail ( CloudWatch documentation Amazon)

• Configuration du chiffrement dans AWS Glue (documentation AWS Glue)