Elegir el enfoque de escalado automático

La elasticidad es una de las principales ventajas de utilizar Amazon EMR. Existen dos opciones principales para escalar automáticamente sus recursos:

• Escalado administrado

• Una política de escalado personalizada

Con una política de escalado gestionada o una política de escalado automático personalizada, puede ampliar y reducir sus nodos para utilizar solo los recursos que necesita. El escalamiento horizontal se utiliza para añadir más recursos cuando se necesita más capacidad. La ampliación se traduce en una mayor rentabilidad al eliminar los recursos que no se utilizan. Dentro del servicio Amazon EMR, CloudWatch las métricas de Amazon están habilitadas para monitorear sus recursos y así poder escalar su clúster. CloudWatch toma puntos de datos cada 5 minutos.

Hay diferentes consideraciones para cada uno de los enfoques de escalado automático.

Escalado administrado de Amazon EMR

Utilice el escalado gestionado por EMR si su carga de trabajo cumple los siguientes criterios:

• Se necesita una experiencia gestionada.

• Se utiliza Amazon EMR 5.330 o posterior.

• Necesita una frecuencia de evaluación de 1 minuto.

• La solución utiliza flotas de instancias para tener entre una y cinco opciones de instancias.

• Las aplicaciones se basan en Apache Spark, Apache Hive o Apache Hadoop YARN.

Escalado automático personalizado

Utilice una política de escalado automático personalizada si su carga de trabajo cumple los siguientes criterios:

• Debe controlar la métrica de escalado.

• Se utiliza Amazon EMR 4.0+.

• No es necesaria una frecuencia de evaluación elevada.

• No es necesario controlar los períodos de enfriamiento entre cambios de tamaño consecutivos.

• Es importante controlar el número de instancias que se van a añadir o quitar al escalar.

• La solución necesita acciones de escalado personalizadas. Por ejemplo, es posible que desee escalar más de un nodo en un período de 5 minutos. O puede que desee ajustar el período de enfriamiento.

• No hay restricciones en cuanto al uso de distintos tipos de instantáneas en un grupo de instancias.

Consejos para añadir el escalado automático a tu clúster

• Tenga en cuenta la cantidad de datos que va a procesar. Forecast utiliza el caso con el mayor tamaño de datos.

• Ajusta el tamaño de tu clúster.

• Elija un tipo de almacenamiento que se adapte a sus necesidades.

• Conozca las métricas de un clúster de Amazon EMR.

• Comprenda cómo determinar la métrica correcta para escalar su clúster.

• Decida si va a utilizar instancias puntuales, grupos de instancias uniformes o flotas de instancias.

• En función de la información y las limitaciones, decida qué tipo de enfoque de escalado prefiere, el escalado gestionado por Amazon EMR o una política de escalado automático personalizada.

• Configure el escalado gestionado o la política personalizada.

• Si seleccionó una política de escalado automático personalizada, supervise las métricas de Amazon EMR para ajustar los umbrales de la política.