Utilisation de groupes de sécurité gérés par Amazon EMR

Note

Amazon EMR essaie d'utiliser des alternatives inclusives pour les termes industriels potentiellement offensants ou non inclusifs tels que « maître » et « esclave ». Nous avons adopté une nouvelle terminologie pour favoriser une expérience plus inclusive et faciliter votre compréhension des composants de service.

Nous décrivons désormais les « nœuds » comme des instances, et les types d'instances Amazon EMR comme des instances primaires, de noyau et de tâches. Pendant la transition, il se peut que vous trouviez encore des références à des termes obsolètes, tels que ceux qui se rapportent aux groupes de sécurité pour Amazon EMR.

Les différents groupes de sécurité gérés sont associés à l'instance principale et aux instances principales et de tâche dans un cluster. Un groupe de sécurité géré supplémentaire pour l'accès au service est obligatoire lorsque vous créez un cluster dans un sous-réseau privé. Pour plus d'informations sur le rôle des groupes de sécurité gérés par rapport à votre configuration réseau, consultez Options d'Amazon VPC.

Lorsque vous spécifiez des groupes de sécurité gérés pour un cluster, vous devez utiliser le même type de groupe de sécurité par défaut ou personnalisé pour tous les groupes de sécurité gérés. Par exemple, vous ne pouvez pas spécifier un groupe de sécurité personnalisé pour l'instance principale, puis ne pas spécifier un groupe de sécurité personnalisé pour les instances principales et de tâches.

Si vous utilisez les groupes de sécurité gérés par défaut, vous n'avez pas besoin de les spécifier lorsque vous créez un cluster. Amazon EMR utilise automatiquement les valeurs par défaut. De plus, si les valeurs par défaut n'existent pas encore dans le VPC du cluster, Amazon EMR les crée. Amazon EMR les crée également si vous les spécifiez explicitement et qu'ils n'existent pas encore.

Vous pouvez modifier les règles dans les groupes de sécurité gérés après que les clusters soient créés. Lorsque vous créez un nouveau cluster, Amazon EMR vérifie les règles des groupes de sécurité gérés que vous spécifiez, puis crée toutes les règles entrantes manquantes dont le nouveau cluster a besoin, en plus des règles qui peuvent avoir été ajoutées précédemment. Sauf indication contraire, chaque règle pour les groupes de sécurité gérés par Amazon EMR par défaut est également ajoutée aux groupes de sécurité gérés par Amazon EMR personnalisés que vous spécifiez.

Les groupes de sécurité gérés par défaut sont les suivants :

• ElasticMapRéduire - primaire

  Pour les règles de ce groupe de sécurité, consultez Groupe de sécurité géré par Amazon EMR pour l'instance principale (sous-réseaux publics).

• ElasticMapRéduire le noyau

  Pour les règles de ce groupe de sécurité, consultez Groupe de sécurité géré par Amazon EMR pour l'instance principale et de tâches (sous-réseaux publics).

• ElasticMapRéduis-Primaire-Privé

  Pour les règles de ce groupe de sécurité, consultez Groupe de sécurité géré par Amazon EMR pour l'instance principale (sous-réseaux privés).

• ElasticMapReduce-Core-Private

  Pour les règles de ce groupe de sécurité, consultez Groupe de sécurité géré par Amazon EMR pour les instances principales et de tâches (sous-réseaux privés).

• ElasticMapRéduisez- ServiceAccess

  Pour les règles de ce groupe de sécurité, consultez Groupe de sécurité géré par Amazon EMR pour l'accès au service (sous-réseaux privés).

Groupe de sécurité géré par Amazon EMR pour l'instance principale (sous-réseaux publics)

Le groupe de sécurité géré par défaut pour l'instance principale dans les sous-réseaux publics porte le nom de groupe ElasticMap Reduce-primary. Il est régi par les règles suivantes. Si vous spécifiez un groupe de sécurité géré personnalisé, Amazon EMR ajoute les mêmes règles à votre groupe de sécurité personnalisé.

Type	Protocole	Plage de ports	Source	Détails
Règles entrantes
Tous les ICMP-IPv4	Tous	N/A	L'ID de groupe du groupe de sécurité géré pour l'instance principale. En d'autres termes, le même groupe de sécurité dans lequel la règle s'affiche.	Ces règles réflexives autorisent le trafic entrant à partir de toute instance associée au groupe de sécurité spécifié. L'utilisation de la valeur par défaut ElasticMapReduce-primary pour plusieurs clusters autorise les nœuds principaux et de tâches de ces clusters à communiquer entre eux sur ICMP ou sur n'importe quel port TCP ou UDP. Spécifiez les groupes de sécurité gérés personnalisés pour restreindre l'accès inter-cluster.
Tous les TCP	TCP	Tous
Tous les UDP	UDP	Tous
Tous les ICMP-IPV4	Tous	N/A	L'ID de groupe du groupe de sécurité géré spécifié pour les nœuds principaux et de tâches.	Ces règles autorisent tout le trafic ICMP entrant et le trafic sur n'importe quel port TCP ou UDP à partir de toutes les instances principales et de tâches qui sont associées au groupe de sécurité spécifié, même si les instances se trouvent dans des clusters différents.
Tous les TCP	TCP	Tous
Tous les UDP	UDP	Tous
Personnalisé	TCP	8443	Différentes plages d'adresses IP Amazon	Ces règles permettent au gestionnaire de cluster de communiquer avec le nœud primaire.

Pour accorder à des sources fiables un accès SSH au groupe de sécurité principal via la console

Pour modifier vos groupes de sécurité, vous devez avoir l'autorisation de gérer les groupes de sécurité pour le VPC dans lequel se trouve le cluster. Pour plus d'informations, consultez Modification des autorisations d'un utilisateur et l'exemple de politique permettant de gérer les groupes de sécurité EC2 dans le Guide de l'utilisateur IAM.

1. Connectez-vous à la AWS Management Console console Amazon EMR et ouvrez-la à l'adresse https://console.aws.amazon.com/emr.

2. Choisissez Clusters. Choisissez l'ID du cluster que vous souhaitez modifier.

3. Dans le volet Réseau et sécurité, développez la liste déroulante des groupes de sécurité EC2 (pare-feu).

4. Sous Nœud principal, choisissez votre groupe de sécurité.

5. Choisissez Modifier les règles entrantes.

6. Vérifiez s'il existe une règle entrante qui autorise l'accès public avec les paramètres suivants. Si elle existe, choisissez Supprimer pour la supprimer.

   • Type

     SSH

   • Port

     22

   • Source

     Personnalisé 0.0.0.0/0

   Avertissement

   Avant décembre 2020, une règle préconfigurée autorisait le trafic entrant sur le port 22 en provenance de toutes les sources. Cette règle a été créée pour simplifier les connexions SSH initiales au nœud primaire. Nous vous recommandons vivement de supprimer cette règle d'entrée et de limiter le trafic aux sources fiables.

7. Faites défiler la liste des règles jusqu'en bas et sélectionnez Ajouter une règle.

8. Dans le champ Type, sélectionnez SSH.

   En sélectionnant SSH, vous saisissez automatiquement TCP pour le protocole et 22 pour la plage de ports.

9. Pour source, sélectionnez Mon adresse IP pour ajouter automatiquement votre adresse IP en tant qu'adresse source. Vous pouvez également ajouter une plage d'adresses IP de clients fiables personnalisées ou créer des règles supplémentaires pour d'autres clients. De nombreux environnements réseau allouent des adresses IP de manière dynamique. Il se peut donc que vous deviez mettre à jour vos adresses IP pour les clients fiables à l'avenir.

10. Choisissez Enregistrer.

11. Choisissez éventuellement l'autre groupe de sécurité sous Nœuds principaux et de tâches dans le volet Réseau et sécurité et répétez les étapes ci-dessus pour autoriser l'accès du client SSH aux nœuds principaux et aux nœuds de tâches.

Groupe de sécurité géré par Amazon EMR pour l'instance principale et de tâches (sous-réseaux publics)

Le groupe de sécurité géré par défaut pour les instances principales et de tâches dans les sous-réseaux publics porte le nom de groupe ElasticMap Reduce-core. Le groupe de sécurité géré par défaut comporte les règles suivantes et Amazon EMR ajoute les mêmes règles si vous spécifiez un groupe de sécurité géré personnalisé.

Type	Protocole	Plage de ports	Source	Détails
Règles entrantes
Tous les ICMP-IPV4	Tous	N/A	L'ID de groupe du groupe de sécurité géré spécifié pour les instances principales et de tâches. En d'autres termes, le même groupe de sécurité dans lequel la règle s'affiche.	Ces règles réflexives autorisent le trafic entrant à partir de toute instance associée au groupe de sécurité spécifié. Utilisation de la valeur par défaut ElasticMapReduce-core pour plusieurs clusters autorise les instances principales et de tâches de ces clusters à communiquer entre elles sur ICMP ou sur n'importe quel port TCP ou UDP. Spécifiez les groupes de sécurité gérés personnalisés pour restreindre l'accès inter-cluster.
Tous les TCP	TCP	Tous
Tous les UDP	UDP	Tous
Tous les ICMP-IPV4	Tous	N/A	L'ID de groupe du groupe de sécurité géré pour l'instance principale.	Ces règles autorisent tout le trafic ICMP entrant et le trafic sur n'importe quel port TCP ou UDP à partir de toutes les instances principales qui sont associées au groupe de sécurité spécifié, même si les instances se trouvent dans des clusters différents.
Tous les TCP	TCP	Tous
Tous les UDP	UDP	Tous

Groupe de sécurité géré par Amazon EMR pour l'instance principale (sous-réseaux privés)

Le groupe de sécurité géré par défaut pour l'instance principale dans les sous-réseaux privés porte le nom de groupe ElasticMap Reduce-Primary-Private. Le groupe de sécurité géré par défaut comporte les règles suivantes et Amazon EMR ajoute les mêmes règles si vous spécifiez un groupe de sécurité géré personnalisé.

Type	Protocole	Plage de ports	Source	Détails
Règles entrantes
Tous les ICMP-IPv4	Tous	N/A	L'ID de groupe du groupe de sécurité géré pour l'instance principale. En d'autres termes, le même groupe de sécurité dans lequel la règle s'affiche.	Ces règles réflexives autorisent le trafic entrant à partir de toute instance associée au groupe de sécurité spécifié et atteignable à partir du sous-réseau privé. L'utilisation de la valeur par défaut ElasticMapReduce-Primary-Private pour plusieurs clusters autorise les nœuds principaux et de tâches de ces clusters à communiquer entre eux sur ICMP ou sur n'importe quel port TCP ou UDP. Spécifiez les groupes de sécurité gérés personnalisés pour restreindre l'accès inter-cluster.
Tous les TCP	TCP	Tous
Tous les UDP	UDP	Tous
Tous les ICMP-IPV4	Tous	N/A	L'ID de groupe du groupe de sécurité géré spécifié pour les nœuds principaux et de tâches.	Ces règles autorisent tout le trafic ICMP entrant et le trafic sur n'importe quel port TCP ou UDP à partir de toutes les instances principales et de tâches qui sont associées au groupe de sécurité spécifié et atteignables à partir du sous-réseau privé, même si les instances se trouvent dans des clusters différents.
Tous les TCP	TCP	Tous
Tous les UDP	UDP	Tous
HTTPS (8443)	TCP	8443	L'ID de groupe du groupe de sécurité géré pour l'accès au service dans un sous-réseau privé.	Cette règle permet au gestionnaire de cluster de communiquer avec le nœud primaire.
Règles sortantes
Tout le trafic	Tous	Tous	0.0.0.0/0	Fournit un accès sortant à Internet.
TCP personnalisé	TCP	9443	L'ID de groupe du groupe de sécurité géré pour l'accès au service dans un sous-réseau privé.	Si la règle sortante par défaut « Tout le trafic » ci-dessus est supprimée, cette règle constitue une exigence minimale pour Amazon EMR 5.30.0 et versions ultérieures. Note Amazon EMR n'ajoute pas cette règle lorsque vous utilisez un groupe de sécurité géré personnalisé.
TCP personnalisé	TCP	80 (http) ou 443 (https)	L'ID de groupe du groupe de sécurité géré pour l'accès au service dans un sous-réseau privé.	Si la règle de sortie par défaut "All traffic" (tout le trafic) ci-dessus est supprimée, cette règle est une exigence minimale pour Amazon EMR 5.30.0 et les versions ultérieures afin de se connecter à Amazon S3 via https. Note Amazon EMR n'ajoute pas cette règle lorsque vous utilisez un groupe de sécurité géré personnalisé.

Groupe de sécurité géré par Amazon EMR pour les instances principales et de tâches (sous-réseaux privés)

Le groupe de sécurité géré par défaut pour les instances principales et de tâches dans les sous-réseaux privés porte le nom de groupe ElasticMap Reduce-Core-Private. Le groupe de sécurité géré par défaut comporte les règles suivantes et Amazon EMR ajoute les mêmes règles si vous spécifiez un groupe de sécurité géré personnalisé.

Type	Protocole	Plage de ports	Source	Détails
Règles entrantes
Tous les ICMP-IPV4	Tous	N/A	L'ID de groupe du groupe de sécurité géré spécifié pour les instances principales et de tâches. En d'autres termes, le même groupe de sécurité dans lequel la règle s'affiche.	Ces règles réflexives autorisent le trafic entrant à partir de toute instance associée au groupe de sécurité spécifié. Utilisation de la valeur par défaut ElasticMapReduce-core pour plusieurs clusters autorise les instances principales et de tâches de ces clusters à communiquer entre elles sur ICMP ou sur n'importe quel port TCP ou UDP. Spécifiez les groupes de sécurité gérés personnalisés pour restreindre l'accès inter-cluster.
Tous les TCP	TCP	Tous
Tous les UDP	UDP	Tous
Tous les ICMP-IPV4	Tous	N/A	L'ID de groupe du groupe de sécurité géré pour l'instance principale.	Ces règles autorisent tout le trafic ICMP entrant et le trafic sur n'importe quel port TCP ou UDP à partir de toutes les instances principales qui sont associées au groupe de sécurité spécifié, même si les instances se trouvent dans des clusters différents.
Tous les TCP	TCP	Tous
Tous les UDP	UDP	Tous
HTTPS (8443)	TCP	8443	L'ID de groupe du groupe de sécurité géré pour l'accès au service dans un sous-réseau privé.	Cette règle permet au gestionnaire de cluster de communiquer avec les nœuds principaux et de tâches.
Règles sortantes
Tout le trafic	Tous	Tous	0.0.0.0/0	Reportez-vous à Modification des règles de sortie ci-dessous.
TCP personnalisé	TCP	80 (http) ou 443 (https)	L'ID de groupe du groupe de sécurité géré pour l'accès au service dans un sous-réseau privé.	Si la règle de sortie par défaut "All traffic" (tout le trafic) ci-dessus est supprimée, cette règle est une exigence minimale pour Amazon EMR 5.30.0 et les versions ultérieures afin de se connecter à Amazon S3 via https. Note Amazon EMR n'ajoute pas cette règle lorsque vous utilisez un groupe de sécurité géré personnalisé.

Modification des règles de sortie

Par défaut, Amazon EMR crée ce groupe de sécurité avec des règles de trafic sortant qui autorisent tout le trafic sortant sur tous les protocoles et ports. L'option Autoriser tout le trafic sortant est sélectionnée car les différentes applications Amazon EMR et clients pouvant s'exécuter sur des clusters Amazon EMR peuvent nécessiter des règles de sortie différentes. Amazon EMR n'est pas en mesure d'anticiper ces paramètres spécifiques lors de la création de groupes de sécurité par défaut. Vous pouvez délimiter la sortie dans vos groupes de sécurité afin d'inclure uniquement les règles adaptées à vos cas d'utilisation et à vos politiques de sécurité. Ce groupe de sécurité requiert au minimum les règles sortantes suivantes, mais certaines applications peuvent avoir besoin d'une sortie supplémentaire.

Type	Protocole	Plage de ports	Destination	Détails
Tous les TCP	TCP	Tous	pl-xxxxxxxx	Liste de préfixes Amazon S3 gérée com.amazonaws.MyRegion.s3.
Tout le trafic	Tous	Tous	sg-xxxxxxxxxxxxxxxxx	ID du groupe de sécurité ElasticMapReduce-Core-Private.
Tout le trafic	Tous	Tous	sg-xxxxxxxxxxxxxxxxx	ID du groupe de sécurité ElasticMapReduce-Primary-Private.
TCP personnalisé	TCP	9443	sg-xxxxxxxxxxxxxxxxx	ID du groupe de sécurité ElasticMapReduce-ServiceAccess.

Groupe de sécurité géré par Amazon EMR pour l'accès au service (sous-réseaux privés)

Le groupe de sécurité géré par défaut pour l'accès aux services dans les sous-réseaux privés porte le nom de groupe ElasticMap Reduce- ServiceAccess. Il a des règles entrantes et des règles sortantes qui autorisent le trafic par HTTPS (port 8443, port 9443) aux autres groupes de sécurité gérés dans des sous-réseaux privés. Ces règles permettent au gestionnaire de cluster de communiquer avec le nœud primaire, ainsi qu'avec les nœuds de base et de tâche. Les mêmes règles sont nécessaires si vous utilisez des groupes de sécurité personnalisés.

Type	Protocole	Plage de ports	Source	Détails
Règles entrantes Requises pour les clusters Amazon EMR avec Amazon EMR version 5.30.0 et ultérieures.
TCP personnalisé	TCP	9443	L'ID de groupe du groupe de sécurité géré pour l'instance principale.	Cette règle permet la communication entre le groupe de sécurité de l'instance principale et le groupe de sécurité d'accès au service.
Règles sortantes Requises pour tous les clusters Amazon EMR
TCP personnalisé	TCP	8443	L'ID de groupe du groupe de sécurité géré pour l'instance principale.	Ces règles permettent au gestionnaire de cluster de communiquer avec le nœud primaire, ainsi qu'avec les nœuds de base et de tâche.
TCP personnalisé	TCP	8443	L'ID de groupe du groupe de sécurité géré spécifié pour les instances principales et de tâches.	Ces règles permettent au gestionnaire de cluster de communiquer avec le nœud primaire, ainsi qu'avec les nœuds de base et de tâche.