Escolhendo a abordagem de escalonamento automático

A elasticidade é uma das principais vantagens de usar o Amazon EMR. Há duas opções principais para escalar automaticamente seus recursos:

• Ajuste de escala gerenciado

• Uma política de escalabilidade personalizada

Com o escalonamento gerenciado ou uma política de escalabilidade automática personalizada, você pode ampliar e reduzir seus nós para usar somente os recursos necessários. A escalabilidade horizontal é usada para adicionar mais recursos quando você precisa de mais capacidade. A escalabilidade resulta em eficiência de custos ao remover recursos que não estão sendo usados. No serviço Amazon EMR, as CloudWatch métricas da Amazon estão habilitadas para monitorar seus recursos para que você possa escalar seu cluster. CloudWatch pega pontos de dados a cada 5 minutos.

Há considerações diferentes para cada uma das abordagens de escalonamento automático.

Ajuste de Escala Gerenciado do Amazon EMR

Use o escalonamento gerenciado do EMR se sua carga de trabalho atender aos seguintes critérios:

• É necessária uma experiência gerenciada.

• O Amazon EMR 5.330 ou posterior é usado.

• Você precisa de uma frequência de avaliação de 1 minuto.

• A solução usa frotas de instâncias para ter entre uma e cinco opções de instância.

• Os aplicativos são baseados no Apache Spark, Apache Hive ou Apache Hadoop YARN.

Escalabilidade automática personalizada

Use uma política de escalabilidade automática personalizada se sua carga de trabalho atender aos seguintes critérios:

• Você deve controlar a métrica para escalar.

• O Amazon EMR 4.0+ é usado.

• Não há necessidade de uma alta frequência de avaliação.

• Não há necessidade de controlar os períodos de espera entre redimensionamentos consecutivos.

• É importante controlar quantas instâncias adicionar ou remover durante o escalonamento.

• A solução precisa de ações de escalonamento personalizadas. Por exemplo, talvez você queira escalar mais de um nó em um período de 5 minutos. Ou talvez você queira ajustar o período de recarga.

• Não há restrições ao uso de diferentes tipos de instâncias em um grupo de instâncias.

Dicas para adicionar escalabilidade automática ao seu cluster

• Esteja ciente da quantidade de dados que você processará. Preveja usando o estojo com o maior tamanho de dados.

• Dimensione seu cluster corretamente.

• Escolha um tipo de armazenamento que atenda às suas necessidades.

• Entenda as métricas de um cluster do Amazon EMR.

• Entenda como determinar a métrica certa para escalar seu cluster.

• Decida se você usará instâncias spot, grupos de instâncias uniformes ou frotas de instâncias.

• Com base nas informações e limitações, decida qual tipo de abordagem de escalabilidade você prefere, escalabilidade gerenciada pelo Amazon EMR ou uma política de escalabilidade automática personalizada.

• Configure o escalonamento gerenciado ou a política personalizada.

• Se você selecionou uma política de escalabilidade automática personalizada, monitore as métricas do Amazon EMR para ajustar os limites da política.