Lancia i cluster in un ambiente VPC con Amazon EMR

Dopo aver configurato una sottorete per ospitare EMR cluster Amazon, avviate il cluster in quella sottorete specificando l'identificatore di sottorete associato durante la creazione del cluster.

Nota

Amazon EMR supporta le sottoreti private nelle versioni 4.2 e successive.

All'avvio del cluster, Amazon EMR aggiunge gruppi di sicurezza in base al fatto che il cluster venga lanciato in VPC sottoreti private o pubbliche. Tutti i gruppi di sicurezza consentono l'ingresso alla porta 8443 per comunicare con il EMR servizio Amazon, ma gli intervalli di indirizzi IP variano per le sottoreti pubbliche e private. Amazon EMR gestisce tutti questi gruppi di sicurezza e nel tempo potrebbe dover aggiungere ulteriori indirizzi IP all' AWS intervallo. Per ulteriori informazioni, consulta Controlla il traffico di rete con gruppi di sicurezza per il tuo EMR cluster Amazon.

Per gestire il cluster su unVPC, Amazon EMR collega un dispositivo di rete al nodo primario e lo gestisce tramite questo dispositivo. Puoi visualizzare questo dispositivo utilizzando l'EC2APIazione Amazon DescribeInstances. Se modifichi questo dispositivo in qualsiasi modo, il cluster potrebbe non riuscire.

Console

Per avviare un cluster in un VPC con la console

1. Accedi a e apri AWS Management Console la EMR console Amazon all'indirizzo https://console.aws.amazon.com/emr.

2. EC2Nel riquadro di navigazione a sinistra, scegli Cluster, quindi scegli Crea cluster. EMR

3. In Rete, vai al campo Virtual private cloud (VPC). Inserisci il nome del tuo VPC o scegli Sfoglia per selezionare il tuoVPC. In alternativa, scegli Crea VPC per crearne uno VPC da usare per il tuo cluster.

4. Scegli qualsiasi altra opzione applicabile al cluster.

5. Per avviare il cluster, scegli Create cluster (Crea cluster).

AWS CLI

Per avviare un cluster VPC in un AWS CLI

Nota

AWS CLI non fornisce un modo per creare automaticamente un'NATistanza e connetterla alla sottorete privata. Tuttavia, per creare un endpoint S3 nella tua sottorete, puoi utilizzare i comandi Amazon. VPC CLI Usa la console per creare NAT istanze e avviare cluster in una sottorete privata.

Dopo aver VPC configurato il tuo, puoi avviare EMR i cluster Amazon al suo interno utilizzando il create-cluster sottocomando con il --ec2-attributes parametro. Usa il --ec2-attributes parametro per specificare la VPC sottorete per il tuo cluster.

• Per creare un cluster in una sottorete specifica, digitate il seguente comando, replace myKey con il nome della tua coppia di EC2 chiavi Amazon e sostituisci 77XXXX03 con il tuo ID di sottorete.

  aws emr create-cluster --name "Test cluster" --release-label emr-4.2.0 --applications Name=Hadoop Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey,SubnetId=subnet-77XXXX03 --instance-type m5.xlarge --instance-count 3

  Quando si specifica il numero di istanze senza utilizzare il parametro --instance-groups, viene avviato un singolo nodo primario e le istanze rimanenti vengono avviate come nodi core. Tutti i nodi utilizzano il tipo di istanza specificato nel comando.

  Nota

  Se in precedenza non hai creato il ruolo di EMR servizio e il profilo di EC2 istanza di Amazon predefiniti, digita aws emr create-default-roles per crearli prima di digitare il create-cluster sottocomando.

Garantire la disponibilità degli indirizzi IP per un cluster su EMR EC2

Per garantire che una sottorete con un numero sufficiente di indirizzi IP liberi sia disponibile al momento dell'avvio, la selezione della EC2 sottorete verifica la disponibilità degli IP. Se il processo di creazione utilizza una sottorete con il numero necessario di indirizzi IP per avviare i nodi principali, primari e task come richiesto, anche se al momento della creazione iniziale vengono creati solo i nodi principali per il cluster. EMRverifica il numero di indirizzi IP necessari per avviare i nodi primari e i nodi task durante la creazione, oltre a calcolare separatamente il numero di indirizzi IP necessari per avviare i nodi principali. Il numero minimo di istanze o nodi primari e di task richiesti viene determinato automaticamente da AmazonEMR.

Importante

Se nessuna sottorete VPC dispone di una quantità sufficiente IPs di nodi essenziali, viene restituito un errore e il cluster non viene creato.

Nella maggior parte dei casi di implementazione, esiste una differenza di orario tra ogni avvio dei nodi principali, primari e task. Inoltre, è possibile che più cluster condividano una sottorete. In questi casi, la disponibilità degli indirizzi IP può variare e i successivi lanci di task-node, ad esempio, possono essere limitati dagli indirizzi IP disponibili.