Usar el escalado de clústeres - Amazon EMR

Usar el escalado de clústeres

Puede ajustar el número de instancias Amazon EC2 disponibles para un clúster de Amazon EMR automáticamente o manualmente en respuesta a cargas de trabajo que tienen diferentes demandas. Para utilizar el escalado automático, tiene dos opciones. Puede habilitar Escalado administrado de Amazon EMR o crear una política de escalado automático personalizada. En la siguiente tabla se describen las diferencias entre las dos opciones.

Escalado administrado de Amazon EMR Escalado automático personalizado

Políticas y reglas de escalado

No se requiere ninguna política. Amazon EMR administra la actividad de escalado automático evaluando continuamente las métricas del clúster y tomando decisiones de escalado optimizado.

Debe definir y administrar las políticas y reglas de escalado automático, como las condiciones específicas que desencadenan actividades de escalado, periodos de evaluación, periodos de recuperación, etc.

Versiones compatibles de Amazon EMR

Versiones 5.30.0 y posteriores de Amazon EMR (excepto la versión 6.0.0 de Amazon EMR)

Versiones 4.0.0 y posteriores de Amazon EMR

Composición del clúster admitida

Grupos de instancias o flotas de instancias

Solo grupos de instancias

Configuración de límites de escalado

Los límites de escalado se configuran para todo el clúster.

Los límites de escalado solo se pueden configurar para cada grupo de instancias.

Frecuencia de evaluación de las métricas

Cada 5-10 segundos

Una evaluación más frecuente de las métricas permite a Amazon EMR tomar decisiones de escalado más precisas.

Puede definir los periodos de evaluación solo en incrementos de cinco minutos.

Aplicaciones compatibles

Solo se admiten aplicaciones YARN, como Spark, Hadoop, Hive y Flink. Escalado administrado de Amazon EMR no admite aplicaciones que no estén basadas en YARN, como Presto o HBase.

Puede elegir qué aplicaciones se admiten cuando defina las reglas de escalado automático.

Consideraciones

  • Un clúster de Amazon EMR siempre consta de uno o tres nodos principales. Una vez que haya configurado inicialmente el clúster, solo podrá escalar los nodos principales y de tareas. No puede escalar el número de nodos principales del clúster.

  • En el caso de los grupos de instancias, las operaciones de reconfiguración y cambio de tamaño se realizan de forma consecutiva y no simultánea. Si inicia una reconfiguración mientras se está cambiando el tamaño de un grupo de instancias, la reconfiguración comienza una vez que el grupo de instancias complete el cambio de tamaño en curso. Por el contrario, si inicia una operación de cambio de tamaño mientras se está reconfigurando un grupo de instancias, se cambiará el tamaño en el momento.