Exemples de configuration - Amazon EMR

Exemples de configuration

Les exemples suivants montrent les configurations de sécurité et les configurations de cluster pour des scénarios courants. Les commandes AWS CLI sont affichées par souci de concision.

KDC local

Les commandes suivantes créent un cluster avec un KDC dédié au cluster qui s'exécute sur le nœud primaire. Une configuration supplémentaire du cluster est requise. Pour de plus amples informations, veuillez consulter Configuration d'un cluster pour les utilisateurs HDFS et les connexions SSH authentifiés par Kerberos.

Créer une configuration de sécurité

aws emr create-security-configuration --name LocalKDCSecurityConfig \ --security-configuration '{"AuthenticationConfiguration": \ {"KerberosConfiguration": {"Provider": "ClusterDedicatedKdc",\ "ClusterDedicatedKdcConfiguration": {"TicketLifetimeInHours": 24 }}}}'

Créer un cluster

aws emr create-cluster --release-label emr-5.36.1 \ --instance-count 3 --instance-type m5.xlarge \ --applications Name=Hadoop Name=Hive --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole,KeyName=MyEC2Key \ --service-role EMR_DefaultRole \ --security-configuration LocalKDCSecurityConfig \ --kerberos-attributes Realm=EC2.INTERNAL,KdcAdminPassword=MyPassword

KDC dédié au cluster avec approbation inter-domaines Active Directory

Les commandes suivantes créent un cluster avec un KDC dédié au cluster qui s'exécute sur le nœud primaire avec une approbation inter-domaines à un domaine Active Directory. Une configuration supplémentaire sur le cluster et dans Active Directory est requise. Pour de plus amples informations, veuillez consulter Didacticiel : configuration d'une approbation inter-domaines avec un domaine Active Directory.

Créer une configuration de sécurité

aws emr create-security-configuration --name LocalKDCWithADTrustSecurityConfig \ --security-configuration '{"AuthenticationConfiguration": \ {"KerberosConfiguration": {"Provider": "ClusterDedicatedKdc", \ "ClusterDedicatedKdcConfiguration": {"TicketLifetimeInHours": 24, \ "CrossRealmTrustConfiguration": {"Realm":"AD.DOMAIN.COM", \ "Domain":"ad.domain.com", "AdminServer":"ad.domain.com", \ "KdcServer":"ad.domain.com"}}}}}'

Créer un cluster

aws emr create-cluster --release-label emr-5.36.1 \ --instance-count 3 --instance-type m5.xlarge --applications Name=Hadoop Name=Hive \ --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole,KeyName=MyEC2Key \ --service-role EMR_DefaultRole --security-configuration KDCWithADTrustSecurityConfig \ --kerberos-attributes Realm=EC2.INTERNAL,KdcAdminPassword=MyClusterKDCAdminPassword,\ ADDomainJoinUser=ADUserLogonName,ADDomainJoinPassword=ADUserPassword,\ CrossRealmTrustPrincipalPassword=MatchADTrustPassword

KDC externe sur un cluster différent

Les commandes suivantes créent un cluster qui fait référence à un KDC dédié au cluster sur le nœud primaire d'un cluster différent pour authentifier les mandataires. Une configuration supplémentaire du cluster est requise. Pour de plus amples informations, veuillez consulter Configuration d'un cluster pour les utilisateurs HDFS et les connexions SSH authentifiés par Kerberos.

Créer une configuration de sécurité

aws emr create-security-configuration --name ExtKDCOnDifferentCluster \ --security-configuration '{"AuthenticationConfiguration": \ {"KerberosConfiguration": {"Provider": "ExternalKdc", \ "ExternalKdcConfiguration": {"KdcServerType": "Single", \ "AdminServer": "MasterDNSOfKDCMaster:749", \ "KdcServer": "MasterDNSOfKDCMaster:88"}}}}'

Créer un cluster

aws emr create-cluster --release-label emr-5.36.1 \ --instance-count 3 --instance-type m5.xlarge \ --applications Name=Hadoop Name=Hive \ --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole,KeyName=MyEC2Key \ --service-role EMR_DefaultRole --security-configuration ExtKDCOnDifferentCluster \ --kerberos-attributes Realm=EC2.INTERNAL,KdcAdminPassword=KDCOnMasterPassword

KDC de cluster externe avec approbation inter-domaines Active Directory

Les commandes suivantes créent un cluster sans KDC. Le cluster fait référence à un KDC dédié au cluster s'exécutant sur le nœud primaire d'un cluster différent pour authentifier les mandataires. Ce KDC dispose d'une approbation inter-domaines avec un contrôleur de domaine Active Directory. Une configuration supplémentaire est requise sur le nœud primaire avec le KDC. Pour de plus amples informations, veuillez consulter Didacticiel : configuration d'une approbation inter-domaines avec un domaine Active Directory.

Créer une configuration de sécurité

aws emr create-security-configuration --name ExtKDCWithADIntegration \ --security-configuration '{"AuthenticationConfiguration": \ {"KerberosConfiguration": {"Provider": "ExternalKdc", \ "ExternalKdcConfiguration": {"KdcServerType": "Single", \ "AdminServer": "MasterDNSofClusterKDC:749", \ "KdcServer": "MasterDNSofClusterKDC.com:88", \ "AdIntegrationConfiguration": {"AdRealm":"AD.DOMAIN.COM", \ "AdDomain":"ad.domain.com", \ "AdServer":"ad.domain.com"}}}}}'

Créer un cluster

aws emr create-cluster --release-label emr-5.36.1 \ --instance-count 3 --instance-type m5.xlarge --applications Name=Hadoop Name=Hive \ --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole,KeyName=MyEC2Key \ --service-role EMR_DefaultRole --security-configuration ExtKDCWithADIntegration \ --kerberos-attributes Realm=EC2.INTERNAL,KdcAdminPassword=KDCOnMasterPassword,\ ADDomainJoinUser=MyPrivilegedADUserName,ADDomainJoinPassword=PasswordForADDomainJoinUser