Opzioni di Amazon VPC

Quando avvii un cluster Amazon EMR all'interno di un VPC, è possibile avviarlo all'interno di una sottorete pubblica, privata o condivisa. A seconda del tipo di sottorete scelta per un cluster, esistono leggere ma significative differenze di configurazione.

Sottoreti pubbliche

I cluster EMR in una sottorete pubblica richiedono un gateway Internet connesso. Questo perché i cluster Amazon EMR devono accedere ai servizi AWS e ad Amazon EMR. Se un servizio, ad esempio Amazon S3, offre la possibilità di creare un endpoint VPC, puoi accedere a tali servizi utilizzando l'endpoint anziché accedere a un endpoint pubblico tramite un gateway Internet. Inoltre, Amazon EMR non è in grado di comunicare con i cluster in sottoreti pubbliche tramite un dispositivo NAT (Network Address Translation). A questo scopo è richiesto un gateway Internet, ma puoi continuare a utilizzare un'istanza NAT o gateway per altro traffico in scenari più complessi.

Tutte le istanze in un cluster si connettono ad Amazon S3 tramite un endpoint VPC o un gateway Internet. Altri AWS servizi che attualmente non supportano gli endpoint VPC utilizzano solo un gateway Internet.

Se disponi di AWS risorse aggiuntive che non desideri collegare al gateway Internet, puoi avviare tali componenti in una sottorete privata creata all'interno del tuo VPC.

I cluster in esecuzione in una sottorete pubblica utilizzano due gruppi di sicurezza: uno per il nodo primario e l'altro per i nodi core e attività. Per ulteriori informazioni, consulta Controllo del traffico di rete con gruppi di sicurezza.

Nel seguente diagramma viene mostrato in che modo un cluster Amazon EMR viene eseguito in un VPC utilizzando una sottorete pubblica. Il cluster è in grado di connettersi ad altre AWS risorse, come i bucket Amazon S3, tramite il gateway Internet.

Nel seguente diagramma viene mostrato come configurare un VPC per consentire a un cluster nel VPC di accedere a risorse nella propria rete, ad esempio un database Oracle.

Sottoreti private

Una sottorete privata consente di avviare AWS risorse senza che alla sottorete sia collegato un gateway Internet. Amazon EMR supporta l'avvio di cluster in sottoreti private con versioni 4.2.0 o successive.

Nota

Quando si configura un cluster Amazon EMR in una sottorete privata, si consiglia di configurare anche gli endpoint VPC per Simple Storage Service (Amazon S3). Se il cluster EMR si trova in una sottorete privata senza endpoint VPC per Simple Storage Service (Amazon S3), verranno addebitati costi aggiuntivi del gateway NAT associati al traffico S3 perché il traffico tra il cluster EMR e S3 non rimarrà all'interno del VPC.

Le sottoreti private differiscono dalle sottoreti pubbliche nei modi seguenti:

• Per accedere ai AWS servizi che non forniscono un endpoint VPC, devi comunque utilizzare un'istanza NAT o un gateway Internet.

• Ti consigliamo di fornire almeno un percorso ai bucket di log del servizio Amazon EMR e al repository Amazon Linux in Amazon S3. Per ulteriori informazioni, consulta Policy Amazon S3 minima per sottorete privata

• Se utilizzi caratteristiche EMRFS, devi disporre di un endpoint VPC Amazon S3 e un percorso dalla sottorete privata a DynamoDB.

• Il debug funziona solo se fornisci un percorso dalla sottorete privata a un endpoint Amazon SQS pubblico.

• La creazione di una configurazione della sottorete privata con un'istanza NAT o un gateway in una sottorete pubblica è supportata solo utilizzando AWS Management Console. Il modo più semplice per aggiungere e configurare istanze NAT ed endpoint VPC Amazon S3 per cluster Amazon EMR è utilizzare la pagina VPC Subnets List (Elenco di sottoreti VPC) nella console Amazon EMR. Per configurare gateway NAT, consulta Gateway NAT nella Guida per l'utente di Amazon VPC.

• Non puoi modificare una sottorete con un cluster Amazon EMR esistente da pubblica a privata o viceversa. Per individuare un cluster Amazon EMR all'interno di una sottorete privata, il cluster deve essere avviato in tale sottorete privata.

Amazon EMR crea e utilizza diversi gruppi di sicurezza predefiniti per i cluster in una sottorete privata: ElasticMapReduce -Master-Private, -Slave-Private e -. ElasticMapReduce ElasticMapReduce ServiceAccess Per ulteriori informazioni, consulta Controllo del traffico di rete con gruppi di sicurezza.

Per un elenco completo di NACL del tuo cluster, scegli Security groups for Primary (Gruppi di sicurezza per primario) e Security groups for Core & Task(Gruppi di sicurezza per principale e attività) nella pagina Cluster Details (Dettagli del cluster) della console di Amazon EMR.

Nella seguente immagine viene mostrato in che modo un cluster Amazon EMR viene configurato all'interno di una sottorete privata. La sola comunicazione all'esterno della sottorete è verso Amazon EMR.

Nell'immagine seguente viene mostrata una configurazione di esempio per un cluster Amazon EMR all'interno di una sottorete privata connessa a un'istanza NAT che si trova in una sottorete pubblica.

Sottoreti condivise

La condivisione VPC consente ai clienti di condividere sottoreti con altri AWS account all'interno della stessa organizzazione. AWS Puoi avviare i cluster Amazon EMR in sottoreti condivise pubbliche e private, con le seguenti avvertenze.

Il proprietario della sottorete deve condividere una sottorete prima di poter avviare un cluster Amazon EMR. Tuttavia, le sottoreti condivise possono essere successivamente non condivise. Per ulteriori informazioni, consulta Utilizzo dei VPC condivisi. Quando un cluster viene avviato in una sottorete condivisa e tale sottorete condivisa viene quindi non condivisa, è possibile osservare comportamenti specifici basati sullo stato del cluster Amazon EMR quando la sottorete non è condivisa.

• La condivisione della sottorete viene annullata prima che il cluster venga avviato: se il proprietario interrompe la condivisione dell'Amazon VPC o della sottorete mentre il partecipante avvia un cluster, il cluster potrebbe non avviarsi o essere parzialmente inizializzato senza eseguire il provisioning di tutte le istanze richieste.

• La condivisione della sottorete viene annullata dopo il cluster è stato lanciato: quando il proprietario interrompe la condivisione di una sottorete o dell'Amazon VPC con il partecipante, i cluster del partecipante non saranno in grado di eseguire il dimensionamento per aggiungere nuove istanze o sostituire istanze non integre.

Quando avvii un cluster Amazon EMR, vengono creati più i gruppi di sicurezza. In una sottorete condivisa, il partecipante controlla questi gruppi di sicurezza. Il proprietario della sottorete può visualizzare i gruppi di sicurezza, ma non è in grado di eseguire azioni. Se il proprietario della sottorete desidera rimuovere o modificare il gruppo di sicurezza, il partecipante che ha creato il gruppo di sicurezza deve eseguire l'azione.

Controllo delle autorizzazioni VPC con IAM

Per impostazione predefinita, tutti gli utenti possono visualizzare la totalità di sottoreti per l'account e qualsiasi utente può avviare un cluster in qualsiasi sottorete.

Quando avvii un cluster in un VPC, puoi utilizzare AWS Identity and Access Management (IAM) per controllare l'accesso ai cluster e limitare le azioni utilizzando le policy, proprio come faresti con i cluster lanciati in Amazon EC2 Classic. Per ulteriori informazioni su IAM, consulta la Guida per l'utente IAM.

Puoi anche utilizzare IAM per controllare chi può creare e amministrare le sottoreti. Ad esempio, puoi creare un account per amministrare sottoreti e un secondo account che può avviare cluster, ma non può modificare le impostazioni di Amazon VPC. Per ulteriori informazioni sull'amministrazione delle politiche e delle azioni in Amazon EC2 e Amazon VPC, consulta IAM Policies for Amazon EC2 nella Amazon EC2 User Guide.