Stima della capacità del cluster Amazon EMR

Sebbene Amazon EMR sia una piattaforma ridimensionabile, è importante dimensionare correttamente i cluster. Un corretto dimensionamento evita un cluster lento, se sottodimensionato, o costi più elevati, se il cluster è sovradimensionato. Per evitare questi problemi, è possibile calcolare il numero e il tipo di nodi necessari per i carichi di lavoro.

Nodi primari

Questo tipo di nodo è responsabile del coordinamento della distribuzione di dati e processi. Come accennato in precedenza, i requisiti computazionali per i nodi primari sono bassi. Per gestire il cluster Amazon EMR è possibile utilizzare un singolo nodo primario. Tuttavia, è possibile utilizzare fino a tre nodi primari in modo da non avere un singolo punto di errore. Se il nodo primario riporta un errore, Amazon EMR esegue il failover su uno degli altri due nodi.

Nodi principali e nodi attività

La differenza tra un nodo principale e un nodo attività sta nel fatto che i nodi attività non archiviano dati, ma forniscono solo la potenza necessaria per eseguire attività computazionali parallele.

Per calcolare il numero di nodi principali e di nodi attività, è necessario conoscere la dimensione dei dati e l'utilizzo approssimativo della memoria.

Nodi principali

I nodi principali sono responsabili dell'esecuzione delle attività per elaborare i dati e archiviano i dati nel file system distribuito Hadoop (HDFS). Per calcolare la capacità dei nodi principali, definisci il numero di nodi principali, quindi moltiplica questo numero per lo spazio di archiviazione di Amazon Elastic Block Store (Amazon EBS) di ciascun nodo.

Ad esempio, se definisci 10 nodi principali per elaborare 1 TiB di dati e disponi di un tipo istantaneo m5.xlarge con 64 GiB di spazio di archiviazione Amazon EBS, avrai 10 nodes × 64 GiB o 640 GiB di capacità. In base al fattore di replica HDFS pari a tre, la dimensione dei dati viene replicata tre volte nei nodi, quindi 1 TiB di dati richiede una capacità di 3 TiB. Poiché questo esempio ha solo 640 GiB, è necessario aumentare il numero di nodi o modificare il tipo di istanza fino a raggiungere una capacità di 3 TiB.

Il tipo di istanza m5.4xlarge dispone di 256 GiB di spazio di archiviazione. Il passaggio a un tipo di istanza m5.4xlarge e la selezione di 12 istanze portano a una capacità sufficiente.

12 instances × 256 GiB of storage = 3072 GiB = 3 TiB available

Nodi attività

I nodi attività eseguono solo attività. Non memorizzano dati. Per calcolare il numero di nodi attività, è necessaria una stima dell'utilizzo della memoria. Questa capacità può essere divisa tra nodi principali e nodi attività. Per calcolare il numero di nodi attività necessari, è possibile sottrarre la memoria fornita dai nodi principali calcolata nel passaggio precedente dall'utilizzo della memoria.

Per disporre di un intervallo di memoria esteso, è consigliabile moltiplicare la memoria necessaria per tre.

Supponiamo di avere 28 processi da 20 GiB ciascuno.

3 × 28 processes × 20 GiB of memory = 1680 GiB of memory

Per questo esempio, i nodi principali dispongono di 64 GiB di memoria (istanze m5.4xlarge). I nodi principali forniscono 64 GiB × 12 nodes = 768 GiB of memory, che non è sufficiente in questo esempio.

Per individuare la parte mancante, sottrai la memoria del nodo principale dalla memoria totale richiesta.

1680 GiB – 768 GiB core node memory = 912 GiB memory shortage.

I nodi attività possono fornire i restanti 912 GiB di memoria. Per questo esempio, i nodi attività dispongono di 32 GiB di memoria (istanze m5.2xlarge). Per ottenere il numero di nodi attività necessari, dividi la memoria insufficiente per la memoria del tipo di istanza.

912 GiB/32 GiB = 28.5 task nodes

Non è possibile avere una frazione di un nodo attività, quindi è necessario arrotondare a 29 nodi attività.