Uso de una política de terminación automática - Amazon EMR
ConsideracionesPermisos para utilizar la terminación automáticaAsociación, actualización o eliminación de una política de terminación automática

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de una política de terminación automática

Una política de terminación automática le permite orquestar la limpieza de los clústeres sin necesidad de supervisar ni terminar manualmente los clústeres no utilizados. Cuando agrega una política de terminación automática a un clúster, debe especificar la cantidad de tiempo de inactividad tras el cual el clúster debe cerrarse automáticamente.

Según la versión de lanzamiento, Amazon EMR utiliza diferentes criterios para marcar un clúster como inactivo. En la siguiente tabla se describe cómo Amazon EMR determina la inactividad del clúster.

Cuando utiliza… Un clúster se considera inactivo cuando…
Amazon EMR versiones 5.34.0 y posteriores y 6.4.0 y posteriores

  • No hay aplicaciones activas YARN

  • HDFSla utilización es inferior al 10%

  • No hay conexiones activas a un EMR ordenador portátil o a un EMR estudio

  • No se utilizan interfaces de usuario de aplicaciones en el clúster

  • No hay pasos pendientes
Amazon EMR versiones 5.30.0 - 5.33.0 y 6.1.0 - 6.3.0

  • No YARN hay aplicaciones activas

  • El clúster no tiene trabajos de Spark activos

nota

Amazon EMR marca un clúster como inactivo y puede terminarlo automáticamente incluso si tiene un kernel de Python3 activo. Esto se debe a que al ejecutar un kernel de Python3 no se envía ningún trabajo de Spark al clúster. Para utilizar la terminación automática con un núcleo de Python3, le recomendamos que utilice la EMR versión 6.4.0 o posterior de Amazon.
nota

EMRLas versiones 6.4.0 y posteriores de Amazon admiten un archivo en el clúster para detectar la actividad en el nodo principal:. /emr/metricscollector/isbusy Cuando utilizas un clúster para ejecutar scripts de shell o aplicaciones que no son YARN aplicaciones, puedes tocar o actualizar periódicamente isbusy para indicar a Amazon EMR que el clúster no está inactivo.

Puede asociar una política de terminación automática al crear un clúster o agregar una política a un clúster existente. Para cambiar o deshabilitar la terminación automática, puede actualizar o eliminar la política.

Consideraciones

Tenga en cuenta las siguientes características y limitaciones antes de utilizar una política de terminación automática:

  • A continuación Regiones de AWS, la EMR cancelación automática de Amazon está disponible con Amazon EMR 6.14.0 y versiones posteriores:

    • Asia Pacífico (Hyderabad) (ap-south-2)

    • Asia-Pacífico (Yakarta) (ap-southeast-3)

    • Europa (España) (eu-south-2)

  • A continuación Regiones de AWS, la EMR terminación automática de Amazon está disponible en Amazon EMR 5.30.0 y 6.1.0 y versiones posteriores:

    • Este de EE. UU. (Norte de Virginia) (us-east-1)

    • Este de EE. UU. (Ohio) (us-east-2)

    • Oeste de EE. UU. (Oregón) (us-west-2)

    • EE. UU. Oeste (Norte de California) (us-west-1)

    • África (Ciudad del Cabo) (af-south-1)

    • Asia-Pacífico (Hong Kong) (ap-east-1)

    • Asia Pacífico (Bombay) (ap-south-1)

    • Asia-Pacífico (Seúl) (ap-northeast-2)

    • Asia-Pacífico (Singapur) (ap-southeast-1)

    • Asia-Pacífico (Sídney) (ap-southeast-2)

    • Asia-Pacífico (Tokio) (ap-northeast-1)

    • Canadá (centro) (ca-central-1)

    • América del Sur (São Paulo) (sa-east-1)

    • Europa (Fráncfort) (eu-central-1)

    • Europa (Irlanda) (eu-west-1)

    • Europa (Londres) (eu-west-2)

    • UE (Milán) (eu-south-1)

    • UE (París) (eu-west-3)

    • Europa (Estocolmo) (eu-north-1)

    • China (Pekín) (cn-north-1)

    • China (Ningxia) (cn-northwest-1)

    • AWS GovCloud (EE. UU.-Este) (-1) us-gov-east

    • AWS GovCloud (EEUU-Oeste) (us-gov-west-1)

  • El tiempo de espera de inactividad se establece de forma predeterminada en 60 minutos (una hora) si no se especifica una cantidad. Puede especificar un tiempo de espera de inactividad mínimo de un minuto y un tiempo de espera de inactividad máximo de 7 días.

  • Con EMR las versiones 6.4.0 y posteriores de Amazon, la terminación automática está habilitada de forma predeterminada al crear un clúster nuevo con la consola de AmazonEMR.

  • Amazon EMR publica Amazon CloudWatch métricas de alta resolución cuando habilitas la terminación automática de un clúster. Puede usar estas métricas para realizar un seguimiento de la actividad y la inactividad del clúster. Para obtener más información, consulte Métricas de capacidad del clúster.

  • La terminación automática no es compatible cuando se utilizan aplicaciones no YARN basadas, como Presto, Trino o. HBase

  • Para utilizar la terminación automática, el proceso de recopilación de métricas debe poder conectarse al API punto final público para la terminación automática en Gateway. API Si utilizas un DNS nombre privado con Amazon Virtual Private Cloud, la terminación automática no funcionará correctamente. Para garantizar que la terminación automática funcione, se recomienda que realice una de las siguientes acciones:

  • (EMR5.30.0 y versiones posteriores) Si quita la regla predeterminada Permitir todas las salidas a 0.0.0.0/ para el grupo de seguridad principal, debe agregar una regla que permita la TCP conectividad saliente a su grupo de seguridad para el acceso al servicio en el puerto 9443. El grupo de seguridad para el acceso al servicio también debe permitir el TCP tráfico entrante en el puerto 9443 desde el grupo de seguridad principal. Para obtener más información sobre la configuración de grupos de seguridad, consulte Grupo de seguridad EMR administrado por Amazon para la instancia principal (subredes privadas).

Permisos para utilizar la terminación automática

Antes de poder aplicar y gestionar las políticas de terminación automática para AmazonEMR, debes adjuntar los permisos que se enumeran en el siguiente ejemplo de política de IAM permisos a los IAM recursos que administran tu EMR clúster.

{
  "Version": "2012-10-17",
  "Statement": {
      "Sid": "AllowAutoTerminationPolicyActions",
      "Effect": "Allow",
      "Action": [
        "elasticmapreduce:PutAutoTerminationPolicy",
        "elasticmapreduce:GetAutoTerminationPolicy",
        "elasticmapreduce:RemoveAutoTerminationPolicy"
      ],
      "Resource": "<your-resources>"
    }
}

Asociación, actualización o eliminación de una política de terminación automática

Esta sección incluye instrucciones para ayudarte a adjuntar, actualizar o eliminar una política de cancelación automática de un EMR clúster de Amazon. Antes de trabajar con políticas de terminación automática, asegúrate de tener los IAM permisos necesarios. Consulte Permisos para utilizar la terminación automática.

nota

Hemos rediseñado la EMR consola Amazon para que sea más fácil de usar. Consulte Consola Amazon EMR para obtener información sobre las diferencias entre la consola antigua y la nueva.

New console
Para asociar una política de terminación automática al crear un clúster con la nueva consola

  1. Inicia sesión en la AWS Management Console EMR consola de Amazon y ábrela en https://console.aws.amazon.com/emr.

  2. EMREC2En el panel de navegación de la izquierda, selecciona Clústeres y, a continuación, selecciona Crear clúster.

  3. En Terminación del clúster, seleccione Terminar el clúster después del tiempo de inactividad.

  4. Especifique el número de horas y minutos de inactividad que pueden transcurrir antes de que el clúster termine automáticamente. El tiempo de espera de inactividad predeterminado es de 1 hora.

  5. Elija cualquier otra opción que se aplique a su clúster.

  6. Para lanzar el clúster, elija Crear clúster.

Para asociar, actualizar o eliminar una política de terminación automática en un clúster en ejecución con la nueva consola

  1. Inicia sesión en la AWS Management Console EMR consola de Amazon y ábrela en https://console.aws.amazon.com/emr.

  2. EMREC2En el panel de navegación izquierdo, selecciona Clústeres y selecciona el clúster que deseas actualizar.

  3. En la pestaña Propiedades de la página de detalles del clúster, busque Terminación del clúster y seleccione Editar.

  4. Seleccione o anule la selección de Habilitar la terminación automática para activar o desactivar la característica. Si activa la terminación automática, especifique el número de horas y minutos de inactividad que pueden transcurrir antes de que el clúster termine automáticamente. A continuación, seleccione Guardar cambios para confirmar.

Old console
Para asociar una política de terminación automática al crear un clúster con la consola antigua

  1. Ve a la nueva EMR consola de Amazon y selecciona Cambiar a la consola anterior en el panel de navegación lateral. Para más información sobre lo que puede esperar al cambiar a la consola antigua, consulte Uso de la consola antigua.

  2. Elija Create cluster.

  3. En Configuración de hardware, seleccione Terminación automática.

  4. Especifique el número de horas y minutos de inactividad después de los cuales el clúster se debe terminar automáticamente. El tiempo de espera de inactividad predeterminado es de una hora.

  5. Elija las demás opciones que sean necesarias para la aplicación y, a continuación, elija Create cluster (Crear clúster).

Para asociar, actualizar o eliminar una política de terminación automática en un clúster en ejecución con la consola antigua

  1. Ve a la nueva EMR consola de Amazon y selecciona Cambiar a la consola anterior en el panel de navegación lateral. Para más información sobre lo que puede esperar al cambiar a la consola antigua, consulte Uso de la consola antigua.

  2. Seleccione Clústeres y elija el clúster que desee actualizar.

  3. Elija la pestaña Hardware en la página de detalles del clúster.

  4. Seleccione o anule la selección de Habilitar la terminación automática para activar o desactivar la característica. Si activa la terminación automática, especifique el número de horas y minutos de inactividad tras los cuales el clúster debe terminar automáticamente.

AWS CLI

Antes de comenzar

Antes de trabajar con políticas de terminación automática, se recomienda que actualice a la versión más reciente de la AWS CLI. Para obtener instrucciones, consulte Instalación, actualización y desinstalación de la AWS CLI.

Para asociar o actualizar una política de terminación automática mediante AWS CLI

  • Puede utilizar el comando aws emr put-auto-termination-policy para asociar o actualizar una política de terminación automática en un clúster.

    En el siguiente ejemplo se especifican 3600 segundos para IdleTimeout. Si no especificas IdleTimeout, el valor predeterminado es una hora. 

    aws emr put-auto-termination-policy \
--cluster-id <your-cluster-id> \
--auto-termination-policy IdleTimeout=3600
    nota

    Se incluyen caracteres de continuación de línea de Linux (\) para facilitar la lectura. Se pueden eliminar o utilizar en los comandos de Linux. En Windows, elimínelos o sustitúyalos por un signo de intercalación (^).

    También puede especificar un valor para --auto-termination-policy cuando utilice el comando aws emr create-cluster. Para obtener más información sobre el uso de EMR los comandos de Amazon en AWS CLI, consulte la Referencia de AWS CLI comandos.

Para eliminar una política de rescisión automática con la AWS CLI

  • Utilice el comando aws emr remove-auto-termination-policy para eliminar una política de terminación automática de un clúster. Para obtener más información sobre el uso de EMR los comandos de Amazon en AWS CLI, consulte la Referencia de AWS CLI comandos.

    aws emr remove-auto-termination-policy --cluster-id <your-cluster-id>