Elegir el enfoque de escalado automático - AWS Guía prescriptiva

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Elegir el enfoque de escalado automático

La elasticidad es una de las principales ventajas de utilizar Amazon EMR. Hay dos opciones principales para escalar automáticamente los recursos:

  • Escalado administrado

  • Política de escalado personalizada

Con el escalado administrado o con una política de escalado automático personalizada, puede escalar y reducir los nodos para utilizar solo los recursos que necesita. La escalabilidad horizontal se utiliza para agregar más recursos cuando se necesita más capacidad. La escalabilidad se traduce en rentabilidad al eliminar los recursos que no se utilizan. Dentro del servicio Amazon EMR, CloudWatch las métricas de Amazon están habilitadas para monitorear sus recursos y así poder escalar su clúster. CloudWatch toma puntos de datos cada 5 minutos.

Existen diferentes consideraciones para cada uno de los enfoques de escalado automático.

Scalado administrado de Amazon EMR

Utilice el escalado administrado de EMR si su carga de trabajo cumple los siguientes criterios:

  • Se necesita una experiencia gestionada.

  • Se utiliza Amazon EMR 5.330 o posterior.

  • Necesita una frecuencia de evaluación de 1 minuto.

  • La solución utiliza flotas de instancias para tener entre una y cinco opciones de instancia.

  • Las aplicaciones se basan en Apache Spark, Apache Hive o Apache Hadoop YARN.

Escalado automático personalizado

Utilice una política de escalado automático personalizada si su carga de trabajo cumple los siguientes criterios:

  • Debe controlar la métrica para escalar.

  • Se utiliza Amazon EMR 4.0+.

  • No hay necesidad de una frecuencia de evaluación alta.

  • No hay ningún requisito para controlar los períodos de enfriamiento entre cambios de tamaño consecutivos.

  • Es importante controlar el número de instancias que se agregarán o eliminarán al escalar.

  • La solución necesita acciones de escalado personalizadas. Por ejemplo, puede escalar más de un nodo en un período de 5 minutos. O puede que quieras ajustar el período de enfriamiento.

  • No hay restricciones para usar diferentes tipos de instantáneas en un grupo de instancias.

Consejos para añadir el escalado automático a su clúster

  • Tenga en cuenta la cantidad de datos que procesará. Forecast pronósticos utilizando el caso con el mayor tamaño de datos.

  • Ajusta el tamaño del clúster.

  • Elija un tipo de almacenamiento que se adapte a sus necesidades.

  • Comprenda las métricas de un clúster de Amazon EMR.

  • Descubra cómo determinar la métrica correcta para escalar su clúster.

  • Decida si utilizará instancias puntuales, grupos de instancias uniformes o flotas de instancias.

  • En función de la información y las limitaciones, decida qué tipo de enfoque de escalado prefiere: el escalado administrado de Amazon EMR o una política de escalado automático personalizada.

  • Configure el escalado administrado o la política personalizada.

  • Si seleccionó una política de escalado automático personalizada, supervise las métricas de Amazon EMR para ajustar los umbrales de la política.