EMR se agrupa en AWS Outposts

A partir de Amazon EMR 5.28.0, puede crear y ejecutar clústeres de EMR en ellos. AWS Outposts AWS Outposts habilita AWS los servicios, la infraestructura y los modelos operativos nativos en instalaciones locales. En AWS Outposts los entornos, puede usar las mismas AWS API, herramientas e infraestructura que usa en la AWS nube. Amazon EMR on AWS Outposts es ideal para cargas de trabajo de baja latencia que deben ejecutarse muy cerca de datos y aplicaciones locales. Para obtener más información al respecto AWS Outposts, consulte AWS Outposts la Guía del usuario.

Requisitos previos

Estos son los requisitos previos para utilizar Amazon EMR en AWS Outposts:

• Debe haberlo instalado y configurado AWS Outposts en su centro de datos local.

• Debe disponer de una conexión de red fiable entre su entorno de Outpost y una AWS región.

• Debe tener capacidad suficiente para los tipos de instancias compatibles con Amazon EMR disponibles en su Outpost.

Limitaciones

A continuación, se indican las limitaciones de uso de Amazon EMR en AWS Outposts:

• Las instancias bajo demanda son la única opción admitida para las instancias de Amazon EC2. Las instancias de spot no están disponibles para Amazon EMR en AWS Outposts.

• Si necesita volúmenes de almacenamiento de Amazon EBS adicionales, solo se admite SSD de uso general (GP2).

• Si lo usa AWS Outposts con las versiones 5.28 a 6.x de Amazon EMR, solo puede usar buckets de S3 que almacenen objetos en un contenedor que usted especifique. Región de AWS Con Amazon EMR 7.0.0 y versiones posteriores, Amazon EMR on también AWS Outposts es compatible con el prefijo del cliente del S3A sistema de archivos. s3a://

• Únicamente los siguientes tipos de instancias son admitidas por Amazon EMR en AWS Outposts:

  Clase de instancia	Tipos de instancias
  Uso general	m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge
  Optimizada para computación	c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge
  Optimizada para memoria	r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge
  Con optimización del almacenamiento	i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Consideraciones sobre la conectividad de red

• Si se pierde la conectividad de red entre su Outpost y su AWS región, sus clústeres seguirán ejecutándose. Sin embargo, no podrá crear nuevos clústeres ni realizar nuevas acciones en clústeres existentes hasta que se restablezca la conectividad. En caso de errores en la instancia, la instancia no se reemplazará automáticamente. Además, se retrasarán acciones como añadir pasos a un clúster en ejecución, comprobar el estado de ejecución de los pasos y enviar CloudWatch métricas y eventos.

• Te recomendamos que proporciones una conectividad de red fiable y de alta disponibilidad entre tu puesto de avanzada y la AWS región. Si se pierde la conectividad de red entre tu Outpost y su AWS región durante más de unas horas, los clústeres que tengan habilitada la protección de terminales seguirán funcionando y los clústeres que la hayan desactivado pueden terminar.

• Si la conectividad de red se ve afectada debido a un mantenimiento rutinario, se recomienda habilitar proactivamente la protección de terminación. De manera más general, la interrupción de la conectividad significa que no se podrá acceder a ninguna dependencia externa que no esté accesible localmente en la instancia de Outpost o en la red del cliente. Esto incluye Amazon S3, DynamoDB (utilizado con la vista de coherencia de EMRFS) y Amazon RDS, si se utiliza una instancia regional para un clúster de Amazon EMR con varios nodos principales.

Crear un clúster de Amazon EMR en AWS Outposts

Crear un clúster de Amazon EMR en AWS Outposts es similar a crear un clúster de Amazon EMR en la nube. AWS Al crear un clúster de Amazon EMR en AWS Outposts, debe especificar una subred de Amazon EC2 asociada a su Outpost.

Una Amazon VPC puede abarcar todas las zonas de disponibilidad de una AWS región. AWS Outposts son extensiones de las zonas de disponibilidad y puede ampliar una Amazon VPC en una cuenta para abarcar varias zonas de disponibilidad y las ubicaciones de Outpost asociadas. Al configurar su Outpost, le asocia un grupo de subredes para ampliar su entorno de VPC regional a sus instalaciones. Las instancias de Outpost y los servicios relacionados aparecen como parte de su VPC regional, de manera similar a una zona de disponibilidad con subredes asociadas. Para obtener más información, consulte la Guía del usuario de AWS Outposts.

Consola

Para crear un nuevo clúster de Amazon EMR AWS Outposts con AWS Management Console, especifique una subred de Amazon EC2 que esté asociada a su Outpost.

nota

Hemos rediseñado la consola de Amazon EMR para que sea más fácil de utilizar. Consulte Consola Amazon EMR para obtener información sobre las diferencias entre la consola antigua y la nueva.

New console

Para crear un clúster en la nueva consola AWS Outposts

1. Inicie sesión en la AWS Management Console consola Amazon EMR y ábrala en https://console.aws.amazon.com/emr.

2. En EMR en EC2 situado en el panel de navegación izquierdo, elija Clústeres y, a continuación, elija Crear clúster.

3. En Configuración del clúster, seleccione Grupos de instancias o Flotas de instancias. A continuación, elija un tipo de instancia en el menú desplegable Elegir tipo de instancia de EC2 o seleccione Acciones y elija Agregar volúmenes de EBS. Amazon EMR on AWS Outposts admite tipos limitados de volúmenes e instancias de Amazon EBS.

4. En Redes, seleccione una subred de EC2 con un ID de Outposts en este formato: op-123456789.

5. Elija cualquier otra opción que se aplique a su clúster.

6. Para lanzar el clúster, elija Crear clúster.

Old console

Para crear un clúster AWS Outposts con la consola anterior

1. Vaya hasta la nueva consola de Amazon EMR y seleccione Ir a la consola antigua en el panel de navegación lateral. Para más información sobre lo que puede esperar al cambiar a la consola antigua, consulte Uso de la consola antigua.

2. Elija Create cluster.

3. Elija Go to advanced options (Ir a las opciones avanzadas).

4. En Software Configuration (Configuración de software), elija 5.28.0 o una versión posterior en Release (Versión).

5. En Configuración de hardware, para la subred de EC2, seleccione una subred de Amazon EC2 con un ID de Outpost en este formato: op-123456789.

6. Elija el tipo de instancia o agregue volúmenes de almacenamiento de Amazon EBS para grupos de instancias uniformes o flotas de instancias. Amazon EMR en AWS Outposts admite tipos limitados de volúmenes e instancias de Amazon EBS.

CLI

AWS Outposts Para crear un clúster con AWS CLI

• Para crear un nuevo clúster de Amazon EMR AWS Outposts con AWS CLI, especifique una subred de EC2 que esté asociada a su Outpost, como en el siguiente ejemplo. Sustituya la subnet-22xxxx01 por su propio ID de subred de Amazon EC2.

  aws emr create-cluster \
  --name "Outpost cluster" \
  --release-label emr-7.1.0 \
  --applications Name=Spark \
  --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \
  --instance-type m5.xlarge --instance-count 3 --use-default-roles