Usar uma política de término automático - Amazon EMR
ConsideraçõesPermissões para usar o término automáticoAnexar, atualizar ou remover uma política de término automático

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usar uma política de término automático

Uma política de término automático permite orquestrar a limpeza do cluster sem a necessidade de monitorar e terminar manualmente os clusters não utilizados. Ao adicionar uma política de término automático a um cluster, especifique a quantidade de tempo ocioso após o qual o cluster deverá ser desligado automaticamente.

Dependendo da versão de lançamento, a Amazon EMR usa critérios diferentes para marcar um cluster como ocioso. A tabela a seguir descreve como a Amazon EMR determina a ociosidade do cluster.

Quando você usa... O cluster é considerado ocioso quando...
EMRVersões da Amazon 5.34.0 e posteriores e 6.4.0 e posteriores

  • Não há YARN aplicativos ativos

  • HDFSa utilização está abaixo de 10%

  • Não há conexões ativas com o EMR notebook ou com o EMR Studio

  • Não há interfaces de usuário de aplicações no cluster em uso

  • Não há etapas pendentes
EMRVersões da Amazon 5.30.0 - 5.33.0 e 6.1.0 - 6.3.0

  • Não há YARN aplicativos ativos

  • O cluster não tem trabalhos do Spark ativos

nota

A Amazon EMR marca um cluster como ocioso e pode encerrá-lo automaticamente mesmo se você tiver um kernel Python3 ativo. Isso ocorre porque a execução de um kernel do Python3 não envia um trabalho do Spark no cluster. Para usar a terminação automática com um kernel Python3, recomendamos que você use a versão 6.4.0 ou posterior da AmazonEMR.
nota

EMRAs versões 6.4.0 e posteriores da Amazon oferecem suporte a um arquivo no cluster para detectar atividades no nó primário:. /emr/metricscollector/isbusy Ao usar um cluster para executar scripts de shell ou não YARN aplicativos, você pode tocar ou atualizar periodicamente isbusy para informar à Amazon EMR que o cluster não está ocioso.

É possível anexar uma política de término automático ao criar um cluster ou adicionar uma política a um cluster atual. Para alterar ou desabilitar o término automático, é possível atualizar ou remover a política.

Considerações

Leve em consideração os atributos e as limitações a seguir antes de usar uma política de término automático:

  • A seguir Regiões da AWS, a EMR terminação automática da Amazon está disponível com o Amazon EMR 6.14.0 e superior:

    • Ásia-Pacífico (Hyderabad) (ap-south-2)

    • Ásia-Pacífico (Jacarta) (ap-southeast-3)

    • Europa (Espanha) (eu-south-2)

  • A seguir Regiões da AWS, a EMR terminação automática da Amazon está disponível com o Amazon EMR 5.30.0 e 6.1.0 e versões superiores:

    • Leste dos EUA (Norte da Virgínia) (us-east-1)

    • Leste dos EUA (Ohio) (us-east-2)

    • Oeste dos EUA (Oregon) (us-west-2)

    • Oeste dos EUA (Norte da Califórnia) (us-west-1)

    • África (Cidade do Cabo) (af-south-1)

    • Ásia-Pacífico (Hong Kong) (ap-east-1)

    • Ásia-Pacífico (Mumbai) (ap-south-1)

    • Ásia-Pacífico (Seul) (ap-northeast-2)

    • Ásia-Pacífico (Singapura) (ap-southeast-1)

    • Ásia-Pacífico (Sydney) (ap-southeast-2)

    • Ásia Pacific (Tóquio) (ap-northeast-1)

    • Canadá (Central) (ca-central-1)

    • América do Sul (São Paulo) (sa-east-1)

    • Europa (Frankfurt) (eu-central-1)

    • Europa (Irlanda) (eu-west-1)

    • Europa (Londres) (eu-west-2)

    • UE (Milão) (eu-south-1)

    • Europa (Paris) (eu-west-3)

    • UE (Estocolmo) (eu-north-1)

    • China (Pequim) (cn-north-1)

    • China (Ningxia) (cn-northwest-1)

    • AWS GovCloud (Leste dos EUA) (us-gov-east-1)

    • AWS GovCloud (Oeste dos EUA) (us-gov-west-1)

  • O tempo limite ocioso é padronizado para 60 minutos (uma hora) quando não há um valor especificado. Você pode especificar um tempo limite ocioso mínimo de um minuto e um tempo limite ocioso máximo de sete dias.

  • Com EMR as versões 6.4.0 e posteriores da Amazon, o encerramento automático é ativado por padrão quando você cria um novo cluster com o console da AmazonEMR.

  • A Amazon EMR publica Amazon CloudWatch métricas de alta resolução quando você ativa o encerramento automático de um cluster. Use essas métricas para monitorar a atividade e a ociosidade do cluster. Para obter mais informações, consulte Métricas de capacidade de cluster.

  • A terminação automática não é suportada quando você usa aplicativos não YARN baseados, como Presto, Trino ou. HBase

  • Para usar o encerramento automático, o processo coletor de métricas deve ser capaz de se conectar ao API endpoint público para o encerramento automático no Gateway. API Se você usar um DNS nome privado com Amazon Virtual Private Cloud, o encerramento automático não funcionará corretamente. Para garantir que o término automático funcione, é recomendável executar uma das seguintes ações:

  • (EMR5.30.0 e versões posteriores) Se você remover a regra de saída padrão Permitir Todos para 0.0.0.0/ para o grupo de segurança primário, deverá adicionar uma regra que permita TCP conectividade de saída ao seu grupo de segurança para acesso ao serviço na porta 9443. Seu grupo de segurança para acesso ao serviço também deve permitir TCP tráfego de entrada na porta 9443 do grupo de segurança principal. Para obter mais informações sobre a configuração de grupos de segurança, consulte Grupo EMR de segurança gerenciado pela Amazon para a instância primária (sub-redes privadas).

Permissões para usar o término automático

Antes de aplicar e gerenciar políticas de encerramento automático para a AmazonEMR, você precisa anexar as permissões listadas no exemplo de política de IAM permissões a seguir aos IAM recursos que gerenciam seu EMR cluster.

{
  "Version": "2012-10-17",
  "Statement": {
      "Sid": "AllowAutoTerminationPolicyActions",
      "Effect": "Allow",
      "Action": [
        "elasticmapreduce:PutAutoTerminationPolicy",
        "elasticmapreduce:GetAutoTerminationPolicy",
        "elasticmapreduce:RemoveAutoTerminationPolicy"
      ],
      "Resource": "<your-resources>"
    }
}

Anexar, atualizar ou remover uma política de término automático

Esta seção inclui instruções para ajudá-lo a anexar, atualizar ou remover uma política de encerramento automático de um EMR cluster da Amazon. Antes de trabalhar com políticas de encerramento automático, verifique se você tem as IAM permissões necessárias. Consulte Permissões para usar o término automático.

Console
Para anexar uma política de encerramento automático ao criar um cluster com o console

  1. Faça login no e abra AWS Management Console o EMR console da Amazon em https://console.aws.amazon.com/emr.

  2. EC2Em EMRAtivado, no painel de navegação esquerdo, escolha Clusters e, em seguida, escolha Criar cluster.

  3. Em Término do cluster, selecione Terminar cluster após tempo ocioso.

  4. Especifique o número de horas e minutos ociosos que podem decorrer antes que o cluster seja terminado automaticamente. O tempo ocioso padrão é de uma hora.

  5. Escolha qualquer outra opção que se aplique ao cluster.

  6. Para iniciar o cluster, escolha Criar cluster.

Para anexar, atualizar ou remover uma política de encerramento automático em um cluster em execução com o console

  1. Faça login no e abra AWS Management Console o EMR console da Amazon em https://console.aws.amazon.com/emr.

  2. EMREC2Em Ativado, no painel de navegação esquerdo, escolha Clusters e selecione o cluster que você deseja atualizar.

  3. Na guia Propriedades da página de detalhes do cluster, localize Término do cluster e selecione Editar.

  4. Selecione ou desmarque Habilitar término automático para ativar ou desativar o atributo. Se você ativar o término automático, especifique o número de horas e minutos ociosos que podem decorrer antes que o cluster seja terminado automaticamente. Depois selecione Salvar alterações para confirmar.

AWS CLI

Antes de começar

Antes de trabalhar com políticas de término automático, é recomendável atualizar para a versão mais recente da AWS CLI. Para obter instruções, consulte Installing, updating, and uninstalling the AWS CLI.

Anexar ou atualizar uma política de término automático usando a AWS CLI

  • Use o comando aws emr put-auto-termination-policy para anexar ou atualizar uma política de término automático em um cluster.

    O exemplo a seguir especifica 3600 segundos para IdleTimeout. Se você não especificar IdleTimeout, o valor padrão é uma hora. 

    aws emr put-auto-termination-policy \
--cluster-id <your-cluster-id> \
--auto-termination-policy IdleTimeout=3600
    nota

    Os caracteres de continuação de linha do Linux (\) são incluídos para facilitar a leitura. Eles podem ser removidos ou usados ​​em comandos do Linux. No Windows, remova-os ou substitua-os por um sinal de interpolação (^).

    Também é possível especificar um valor para --auto-termination-policy ao usar o comando aws emr create-cluster. Para obter mais informações sobre o uso dos EMR comandos da Amazon no AWS CLI, consulte a Referência de AWS CLI comandos.

Para remover uma política de encerramento automático com o AWS CLI

  • Use o comando aws emr remove-auto-termination-policy para remover uma política de término automático de um cluster. Para obter mais informações sobre o uso dos EMR comandos da Amazon no AWS CLI, consulte a Referência de AWS CLI comandos.

    aws emr remove-auto-termination-policy --cluster-id <your-cluster-id>