Scelta dell'approccio di scalabilità automatica

L'elasticità è uno dei principali vantaggi dell'utilizzo di Amazon EMR. Esistono due opzioni principali per scalare automaticamente le risorse:

• Dimensionamento gestito

• Una politica di scalabilità personalizzata

Con la scalabilità gestita o una politica di scalabilità automatica personalizzata, puoi scalare all'interno e all'esterno i nodi in modo da utilizzare solo le risorse di cui hai bisogno. La scalabilità orizzontale viene utilizzata per aggiungere più risorse quando è necessaria una maggiore capacità. La scalabilità si traduce in efficienza in termini di costi rimuovendo le risorse che non vengono utilizzate. All'interno del servizio Amazon EMR, i CloudWatch parametri di Amazon sono abilitati per monitorare le risorse in modo da poter scalare il cluster. CloudWatch acquisisce punti dati ogni 5 minuti.

Esistono diverse considerazioni per ciascuno degli approcci di ridimensionamento automatico.

Dimensionamento gestito da Amazon EMR

Utilizza la scalabilità gestita EMR se il tuo carico di lavoro soddisfa i seguenti criteri:

• È necessaria un'esperienza gestita.

• Viene utilizzato Amazon EMR 5.330 o versione successiva.

• È necessaria una frequenza di valutazione di 1 minuto.

• La soluzione utilizza flotte di istanze per avere da una a cinque opzioni di istanza.

• Le applicazioni sono basate su Apache Spark, Apache Hive o Apache Hadoop YARN.

Dimensionamento automatico personalizzato

Utilizza una politica di scalabilità automatica personalizzata se il carico di lavoro soddisfa i seguenti criteri:

• È necessario controllare la metrica per la scalabilità.

• Viene utilizzato Amazon EMR 4.0+.

• Non è necessaria una frequenza di valutazione elevata.

• Non è necessario controllare i periodi di recupero tra i ridimensionamenti consecutivi.

• È importante controllare quante istanze aggiungere o rimuovere durante il ridimensionamento.

• La soluzione richiede azioni di ridimensionamento personalizzate. Ad esempio, potresti voler scalare più di un nodo in un periodo di 5 minuti. Oppure potresti voler modificare il periodo di cooldown.

• Non ci sono restrizioni all'utilizzo di tipi istantanei diversi in un gruppo di istanze.

Suggerimenti per aggiungere la scalabilità automatica al cluster

• Sii consapevole della quantità di dati che elaborerai. Forecast utilizzando il caso con la maggiore dimensione di dati.

• Dimensiona correttamente il tuo cluster.

• Scegli un tipo di storage adatto alle tue esigenze.

• Comprendi le metriche per un cluster Amazon EMR.

• Scopri come determinare la metrica giusta per scalare il tuo cluster.

• Decidi se utilizzare istanze Spot, gruppi di istanze uniformi o flotte di istanze.

• In base alle informazioni e alle limitazioni, decidi quale tipo di approccio di scalabilità preferisci: scalabilità gestita da Amazon EMR o una politica di scalabilità automatica personalizzata.

• Configura la scalabilità gestita o la politica personalizzata.

• Se hai selezionato una politica di scalabilità automatica personalizzata, monitora i parametri di Amazon EMR per ottimizzare le soglie della policy.