Configurazione di hardware e reti cluster

Quando crei un cluster Amazon EMR è importante considerare come configurare istanze Amazon EC2 e opzioni di rete. In questo capitolo vengono descritte le seguenti opzioni e vengono illustrate le best practice e linee guida per tutte queste opzioni.

• Tipi di nodi: le istanze Amazon EC2 in un cluster EMR sono organizzate in tipi di nodi. Esistono tre tipi di nodi: nodi primari, nodi core e nodi attività. Ogni tipo di nodo esegue un set di ruoli definiti dalle applicazioni distribuite installate sul cluster. Durante un job Hadoop MapReduce o Spark, ad esempio, i componenti sui nodi core e task elaborano i dati, trasferiscono l'output su Amazon S3 o HDFS e forniscono i metadati di stato al nodo primario. Con un cluster a nodo singolo, tutti i componenti vengono eseguiti sul nodo primario. Per ulteriori informazioni, consulta Informazioni sui tipi di nodi: nodi primari, core e attività.

• Istanze EC2: quando si crea un cluster, è possibile effettuare delle scelte sulle istanze Amazon EC2 su cui verrà eseguito ogni tipo di nodo. Il tipo di istanza EC2 determina l'elaborazione e il profilo di archiviazione del nodo. La scelta dell'istanza Amazon EC2 per i nodi è importante perché determina il profilo delle prestazioni dei singoli tipi di nodo nel cluster. Per ulteriori informazioni, consulta Configurazione delle istanze Amazon EC2.

• Reti: è possibile avviare il cluster Amazon EMR in un VPC utilizzando una sottorete pubblica, una sottorete privata o una sottorete condivisa. La configurazione di rete determina il modo in cui i clienti e i servizi possono connettersi ai cluster per eseguire il lavoro, il modo in cui i cluster si connettono agli archivi dati e ad altre risorse AWS e le opzioni disponibili per controllare il traffico su tali connessioni. Per ulteriori informazioni, consulta Configurazione delle reti.

• Raggruppamento di istanze: la raccolta di istanze EC2 che ospita ogni tipo di nodo è denominata parco istanze o gruppo di istanze uniforme. La scelta se configurare o meno i gruppi di istanze viene fatta quando si crea un cluster, Questa scelta determina il modo in cui è possibile aggiungere nodi al cluster mentre è in esecuzione. La configurazione si applica a tutti i tipi di nodo. In seguito non può più essere modificata. Per ulteriori informazioni, consulta Creazione di un cluster con parchi istanze o gruppi di istanze uniformi.

  Nota

  La configurazione dei parchi istanze è disponibile solo in Amazon EMR rilasci 4.8.0 e successivi, esclusi i rilasci 5.0.0 e 5.0.3.