VPCOpzioni di Amazon all'avvio di un cluster

Quando avvii un EMR cluster Amazon all'interno di unVPC, puoi avviarlo all'interno di una sottorete pubblica, privata o condivisa. A seconda del tipo di sottorete scelta per un cluster, esistono leggere ma significative differenze di configurazione.

Sottoreti pubbliche

EMRi cluster in una sottorete pubblica richiedono un gateway Internet connesso. Questo perché EMR i cluster Amazon devono accedere ai AWS servizi e ad AmazonEMR. Se un servizio, come Amazon S3, offre la possibilità di creare un VPC endpoint, puoi accedere a tali servizi utilizzando l'endpoint anziché accedere a un endpoint pubblico tramite un gateway Internet. Inoltre, Amazon EMR non può comunicare con i cluster in sottoreti pubbliche tramite un dispositivo di traduzione degli indirizzi di rete ()NAT. A tale scopo è necessario un gateway Internet, ma è comunque possibile utilizzare un'NATistanza o un gateway per altro traffico in scenari più complessi.

Tutte le istanze di un cluster si connettono ad Amazon S3 tramite VPC un endpoint o un gateway Internet. Altri AWS servizi che attualmente non supportano gli VPC endpoint utilizzano solo un gateway Internet.

Se disponi di AWS risorse aggiuntive che non desideri collegare al gateway Internet, puoi avviare tali componenti in una sottorete privata creata all'interno del tuo. VPC

I cluster in esecuzione in una sottorete pubblica utilizzano due gruppi di sicurezza: uno per il nodo primario e l'altro per i nodi core e attività. Per ulteriori informazioni, consulta Controlla il traffico di rete con gruppi di sicurezza per il tuo EMR cluster Amazon.

Il diagramma seguente mostra come viene eseguito un EMR cluster Amazon in una sottorete pubblica che VPC utilizza una sottorete pubblica. Il cluster è in grado di connettersi ad altre AWS risorse, come i bucket Amazon S3, tramite il gateway Internet.

Il diagramma seguente mostra come configurare un file in VPC modo che un cluster del gruppo VPC possa accedere alle risorse della propria rete, ad esempio un database Oracle.

Sottoreti private

Una sottorete privata consente di avviare AWS risorse senza che alla sottorete sia collegato un gateway Internet. Amazon EMR supporta il lancio di cluster in sottoreti private con versioni 4.2.0 o successive.

Nota

Quando configuri un EMR cluster Amazon in una sottorete privata, ti consigliamo di configurare anche gli VPCendpoint per Amazon S3. Se il tuo EMR cluster si trova in una sottorete privata senza VPC endpoint per Amazon S3, dovrai sostenere costi gateway NAT aggiuntivi associati al traffico S3 perché il traffico tra il cluster e S3 non rimarrà all'interno del EMR tuo. VPC

Le sottoreti private differiscono dalle sottoreti pubbliche nei modi seguenti:

• Per accedere ai AWS servizi che non forniscono un VPC endpoint, devi comunque utilizzare un'istanza o un gateway Internet. NAT

• Come minimo, devi fornire un percorso verso il bucket di log dei EMR servizi Amazon e il repository Amazon Linux in Amazon S3. Per ulteriori informazioni, consulta Politiche di esempio per sottoreti private che accedono ad Amazon S3

• Se utilizzi EMRFS le funzionalità, devi disporre di un VPC endpoint Amazon S3 e di un percorso dalla sottorete privata a DynamoDB.

• Il debug funziona solo se fornisci un percorso dalla tua sottorete privata a un endpoint Amazon pubblico. SQS

• La creazione di una configurazione di sottorete privata con un'NATistanza o un gateway in una sottorete pubblica è supportata solo utilizzando. AWS Management Console Il modo più semplice per aggiungere e configurare NAT istanze ed endpoint Amazon VPC S3 per i cluster EMR Amazon consiste nell'VPCutilizzare la pagina Elenco delle sottoreti nella console Amazon. EMR Per configurare i NAT gateway, consulta NATGateways nella Amazon VPC User Guide.

• Non è possibile modificare una sottorete con un EMR cluster Amazon esistente da pubblica a privata o viceversa. Per individuare un EMR cluster Amazon all'interno di una sottorete privata, il cluster deve essere avviato in quella sottorete privata.

Amazon EMR crea e utilizza diversi gruppi di sicurezza predefiniti per i cluster in una sottorete privata: ElasticMapReduce-Master-Private, ElasticMapReduce -Slave-Private e -. ElasticMapReduce ServiceAccess Per ulteriori informazioni, consulta Controlla il traffico di rete con gruppi di sicurezza per il tuo EMR cluster Amazon.

Per un elenco completo NACLs del tuo cluster, scegli Gruppi di sicurezza per Primary e Gruppi di sicurezza per Core & Task nella pagina Dettagli del cluster della EMR console Amazon.

L'immagine seguente mostra come un EMR cluster Amazon è configurato all'interno di una sottorete privata. L'unica comunicazione al di fuori della sottorete è verso AmazonEMR.

L'immagine seguente mostra una configurazione di esempio per un EMR cluster Amazon all'interno di una sottorete privata connessa a un'NATistanza che risiede in una sottorete pubblica.

Sottoreti condivise

VPCla condivisione consente ai clienti di condividere sottoreti con altri AWS account all'interno della stessa organizzazione. AWS Puoi avviare EMR i cluster Amazon in sottoreti condivise pubbliche e private, con le seguenti avvertenze.

Il proprietario della sottorete deve condividere una sottorete con te prima di poter avviare un EMR cluster Amazon al suo interno. Tuttavia, le sottoreti condivise possono essere successivamente non condivise. Per ulteriori informazioni, consulta Working with Shared. VPCs Quando un cluster viene avviato in una sottorete condivisa e tale sottorete condivisa non viene quindi condivisa, puoi osservare comportamenti specifici in base allo stato del EMR cluster Amazon quando la sottorete non è condivisa.

• La sottorete non viene condivisa prima dell'avvio corretto del cluster: se il proprietario interrompe la condivisione di Amazon VPC o della sottorete mentre il partecipante sta avviando un cluster, il cluster potrebbe non avviarsi o essere inizializzato parzialmente senza effettuare il provisioning di tutte le istanze richieste.

• La sottorete non viene condivisa dopo l'avvio corretto del cluster: quando il proprietario smette di condividere una sottorete o Amazon VPC con il partecipante, i cluster del partecipante non saranno in grado di ridimensionarsi per aggiungere nuove istanze o sostituire istanze non integre.

Quando avvii un EMR cluster Amazon, vengono creati più gruppi di sicurezza. In una sottorete condivisa, il partecipante controlla questi gruppi di sicurezza. Il proprietario della sottorete può visualizzare i gruppi di sicurezza, ma non è in grado di eseguire azioni. Se il proprietario della sottorete desidera rimuovere o modificare il gruppo di sicurezza, il partecipante che ha creato il gruppo di sicurezza deve eseguire l'azione.

Controlla le VPC autorizzazioni con IAM

Per impostazione predefinita, tutti gli utenti possono vedere tutte le sottoreti per l'account e qualsiasi utente può avviare un cluster in qualsiasi sottorete.

Quando avvii un cluster in unVPC, puoi usare AWS Identity and Access Management (IAM) per controllare l'accesso ai cluster e limitare le azioni utilizzando le policy, proprio come faresti con i cluster lanciati in Amazon EC2 Classic. Per ulteriori informazioni suIAM, consulta la Guida per IAMl'utente.

È inoltre possibile utilizzare IAM per controllare chi può creare e amministrare sottoreti. Ad esempio, puoi creare un IAM ruolo per amministrare le sottoreti e un secondo ruolo che può avviare i cluster ma non può modificare le impostazioni di Amazon. VPC Per ulteriori informazioni sull'amministrazione delle politiche e delle azioni in Amazon EC2 e AmazonVPC, consulta IAMPolicies for Amazon EC2 nella Amazon EC2 User Guide.