Crear un clúster con flotas de instancias o grupos de instancias uniformes - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Crear un clúster con flotas de instancias o grupos de instancias uniformes

Al crear un clúster y especificar la configuración del nodo principal y de los nodos básicos y de tareas, tiene dos opciones de configuración. Puede utilizar flotas de instancias o grupos de instancias uniformes. La opción de configuración que elija se aplica a todos los nodos, se aplica durante toda la vida útil del clúster y las flotas de instancias y los grupos de instancias no pueden coexistir en un clúster. La configuración de las flotas de instancias está disponible en la EMR versión 4.8.0 y posteriores de Amazon, excepto en las versiones 5.0.x.

Puedes usar la EMR consola de Amazon AWS CLI, la o Amazon EMR API para crear clústeres con cualquier configuración. Al utilizar el comando create-cluster desde la AWS CLI, puede utilizar los parámetros --instance-fleets para crear el clúster utilizando las flotas de instancias o, como opción, utilizar los parámetros --instance-groups para crearlo usando grupos de instancias uniformes.

Lo mismo ocurre con Amazon EMRAPI. Puede utilizar la configuración InstanceGroups para especificar una matriz de objetos InstanceGroupConfig o bien utilizar la configuración InstanceFleets para especificar una matriz de objetos InstanceFleetConfig.

En la nueva EMR consola de Amazon, puedes elegir usar grupos de instancias o flotas de instancias al crear un clúster, y tienes la opción de usar instancias puntuales con cada uno de ellos. Con la antigua EMR consola de Amazon, si utilizas la configuración predeterminada de Quick Options al crear el clúster, Amazon EMR aplica la configuración uniforme de los grupos de instancias al clúster y utiliza instancias bajo demanda. Para utilizar las instancias de spot con grupos de instancias uniformes o para configurar las flotas de instancias y otras personalizaciones, elija Advanced Options (Opciones avanzadas).

Flotas de instancias

La configuración de las flotas de instancias ofrece la más amplia variedad de opciones de aprovisionamiento para las instancias de AmazonEC2. Cada tipo de nodo tiene una sola flota de instancia y la flota de instancia de tarea es opcional. Puede especificar hasta cinco tipos de EC2 instancias por flota o 30 tipos de EC2 instancias por flota al crear un clúster con Amazon EMR API y una estrategia de asignación para instancias puntuales y bajo demanda. AWS CLI En el caso de las flotas de instancia básica y de tarea, se asigna una capacidad de destino para instancias bajo demanda y otra para instancias de spot. Amazon EMR elige cualquier combinación de los tipos de instancias especificados para cumplir con las capacidades objetivo y aprovisiona instancias puntuales y bajo demanda.

Para el tipo de nodo principal, Amazon EMR elige un único tipo de instancia de la lista de instancias y tú especificas si se aprovisiona como instancia puntual o bajo demanda. Las flotas de instancias también ofrecen opciones adicionales para las compras de instancias de spot y bajo demanda. Las opciones de instancias de spot incluyen un tiempo de espera que especifica la acción que se debe realizar en caso de que no se pueda aprovisionar la capacidad de spot y una estrategia de asignación preferida (optimizada en función de la capacidad) para lanzar flotas de instancias de spot. Las flotas de instancias bajo demanda también se pueden lanzar mediante la opción de estrategia de asignación (precio más bajo). Si utilizas una función de servicio que no es la función de servicio EMR predeterminada o utilizas una política EMR gestionada en tu función de servicio, tendrás que añadir permisos adicionales a la función de servicio de clúster personalizada para habilitar la opción de estrategia de asignación. Para obtener más información, consulte Función de servicio para Amazon EMR (EMRfunción).

Para más información acerca de la configuración de las flotas de instancias, consulte Configurar flotas de instancias.

Grupos de instancias uniformes

Los grupos de instancias uniformes ofrecen una configuración más sencilla que las flotas de instancias. Cada EMR clúster de Amazon puede incluir hasta 50 grupos de instancias: un grupo de instancias principal que contiene una EC2 instancia de Amazon, un grupo de instancias principal que contiene una o más EC2 instancias y hasta 48 grupos de instancias de tareas opcionales. Cada grupo de instancias principales y de tareas puede contener cualquier número de EC2 instancias de Amazon. Puedes escalar cada grupo de instancias añadiendo y eliminando EC2 instancias de Amazon manualmente, o puedes configurar el escalado automático. Para obtener información sobre la adición y eliminación de instancias, consulte Usar el escalado de clústeres.

Para obtener más información acerca de la configuración de grupos de instancias uniformes, consulte Configuración de grupos de instancias uniformes.

Uso de flotas de instancias y grupos de instancias