Lanza clústeres en un VPC

Cuando tenga una subred configurada para alojar EMR clústeres de Amazon, lance el clúster en esa subred especificando el identificador de subred asociado al crear el clúster.

nota

Amazon EMR admite subredes privadas en las versiones 4.2 y posteriores.

Cuando se lanza el clúster, Amazon EMR añade grupos de seguridad en función de si el clúster se lanza a subredes públicas o VPC privadas. Todos los grupos de seguridad permiten la entrada por el puerto 8443 para comunicarse con el EMR servicio de Amazon, pero los rangos de direcciones IP varían para las subredes públicas y privadas. Amazon EMR administra todos estos grupos de seguridad y es posible que necesite añadir direcciones IP adicionales a la AWS varían en el tiempo. Para obtener más información, consulte Control del tráfico de red con grupos de seguridad.

Para gestionar el clúster en unVPC, Amazon EMR conecta un dispositivo de red al nodo principal y lo gestiona a través de este dispositivo. Puedes ver este dispositivo mediante la EC2 API acción Amazon DescribeInstances. Si modifica este dispositivo de algún modo, el clúster podría fallar.

Console

Para lanzar un clúster en un VPC con la consola

1. Inicie sesión en AWS Management Console y abre la EMR consola de Amazon en https://console.aws.amazon.com/emr.

2. EMREC2En el panel de navegación de la izquierda, selecciona Clústeres y, a continuación, selecciona Crear clúster.

3. En Redes, vaya al campo Nube privada virtual (VPC). Introduzca su nombre VPC o pulse Explorar para seleccionar el suyoVPC. También puede elegir Crear VPC para crear uno VPC que pueda usar para su clúster.

4. Elija cualquier otra opción que se aplique a su clúster.

5. Para lanzar el clúster, elija Crear clúster.

AWS CLI

Para lanzar un clúster en un VPC con AWS CLI

nota

La AWS CLI no proporciona una forma de crear una NAT instancia automáticamente y conectarla a su subred privada. Sin embargo, para crear un punto final de S3 en su subred, puede usar los VPC CLI comandos de Amazon. Utilice la consola para crear NAT instancias y lanzar clústeres en una subred privada.

Una vez VPC configurado, puede lanzar EMR clústeres de Amazon en él mediante el create-cluster subcomando con el --ec2-attributes parámetro. Utilice el --ec2-attributes parámetro para especificar la VPC subred de su clúster.

• Para crear un clúster en una subred específica, escriba el siguiente comando: replace myKey con el nombre de tu par de EC2 claves de Amazon y sustituye 77XXXX03 con tu ID de subred.

  aws emr create-cluster --name "Test cluster" --release-label emr-4.2.0 --applications Name=Hadoop Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey,SubnetId=subnet-77XXXX03 --instance-type m5.xlarge --instance-count 3

  Cuando especifica el recuento de instancias sin utilizar el parámetro --instance-groups, se lanza un nodo principal único y el resto de las instancias se lanzan como nodos básicos. Todos los nodos utilizan el tipo de instancia especificado en el comando.

  nota

  Si no has creado previamente el rol de EMR servicio de Amazon y el perfil de EC2 instancia predeterminados, escribe aws emr create-default-roles para crearlos antes de escribir el create-cluster subcomando.

Asegúrese de que las direcciones IP estén disponibles para un EMR clúster en EC2

Para garantizar que haya disponible una subred con suficientes direcciones IP libres en el momento del lanzamiento, la selección de EC2 subredes comprueba la disponibilidad de IP. Si el proceso de creación utiliza una subred con el número de direcciones IP necesario para lanzar los nodos principales, principales y de tareas según sea necesario, incluso si, tras la creación inicial, solo se crean los nodos principales del clúster. EMRcomprueba la cantidad de direcciones IP necesarias para lanzar los nodos principales y de tareas durante la creación, y calcula por separado la cantidad de direcciones IP necesarias para lanzar los nodos principales. Amazon determina automáticamente el número mínimo de instancias o nodos principales y de tareas necesariosEMR.

importante

Si ninguna subred VPC tiene suficientes subredes disponibles IPs para alojar los nodos esenciales, aparece un error y no se crea el clúster.

En la mayoría de los casos de implementación, hay una diferencia de tiempo entre cada lanzamiento de los nodos principales, principales y de tareas. Además, es posible que varios clústeres compartan una subred. En estos casos, la disponibilidad de las direcciones IP puede fluctuar y, por ejemplo, los lanzamientos posteriores de nodos de tareas pueden estar limitados por las direcciones IP disponibles.