As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Usar uma política de término automático
Uma política de término automático permite orquestrar a limpeza do cluster sem a necessidade de monitorar e terminar manualmente os clusters não utilizados. Ao adicionar uma política de término automático a um cluster, especifique a quantidade de tempo ocioso após o qual o cluster deverá ser desligado automaticamente.
Dependendo da versão de lançamento, a Amazon EMR usa critérios diferentes para marcar um cluster como ocioso. A tabela a seguir descreve como a Amazon EMR determina a ociosidade do cluster.
Quando você usa... | O cluster é considerado ocioso quando... |
---|---|
EMRVersões da Amazon 5.34.0 e posteriores e 6.4.0 e posteriores |
|
EMRVersões da Amazon 5.30.0 - 5.33.0 e 6.1.0 - 6.3.0 |
notaA Amazon EMR marca um cluster como ocioso e pode encerrá-lo automaticamente mesmo se você tiver um kernel Python3 ativo. Isso ocorre porque a execução de um kernel do Python3 não envia um trabalho do Spark no cluster. Para usar a terminação automática com um kernel Python3, recomendamos que você use a versão 6.4.0 ou posterior da AmazonEMR. |
nota
EMRAs versões 6.4.0 e posteriores da Amazon oferecem suporte a um arquivo no cluster para detectar atividades no nó primário:. /emr/metricscollector/isbusy
Ao usar um cluster para executar scripts de shell ou não YARN aplicativos, você pode tocar ou atualizar periodicamente isbusy
para informar à Amazon EMR que o cluster não está ocioso.
É possível anexar uma política de término automático ao criar um cluster ou adicionar uma política a um cluster atual. Para alterar ou desabilitar o término automático, é possível atualizar ou remover a política.
Considerações
Leve em consideração os atributos e as limitações a seguir antes de usar uma política de término automático:
-
A seguir Regiões da AWS, a EMR terminação automática da Amazon está disponível com o Amazon EMR 6.14.0 e superior:
-
Ásia-Pacífico (Hyderabad) (ap-south-2)
-
Ásia-Pacífico (Jacarta) (ap-southeast-3)
-
Europa (Espanha) (eu-south-2)
-
-
A seguir Regiões da AWS, a EMR terminação automática da Amazon está disponível com o Amazon EMR 5.30.0 e 6.1.0 e versões superiores:
Leste dos EUA (Norte da Virgínia) (us-east-1)
Leste dos EUA (Ohio) (us-east-2)
Oeste dos EUA (Oregon) (us-west-2)
Oeste dos EUA (Norte da Califórnia) (us-west-1)
África (Cidade do Cabo) (af-south-1)
Ásia-Pacífico (Hong Kong) (ap-east-1)
Ásia-Pacífico (Mumbai) (ap-south-1)
Ásia-Pacífico (Seul) (ap-northeast-2)
Ásia-Pacífico (Singapura) (ap-southeast-1)
Ásia-Pacífico (Sydney) (ap-southeast-2)
Ásia Pacific (Tóquio) (ap-northeast-1)
Canadá (Central) (ca-central-1)
América do Sul (São Paulo) (sa-east-1)
Europa (Frankfurt) (eu-central-1)
Europa (Irlanda) (eu-west-1)
Europa (Londres) (eu-west-2)
UE (Milão) (eu-south-1)
Europa (Paris) (eu-west-3)
UE (Estocolmo) (eu-north-1)
China (Pequim) (cn-north-1)
China (Ningxia) (cn-northwest-1)
AWS GovCloud (Leste dos EUA) (us-gov-east-1)
AWS GovCloud (Oeste dos EUA) (us-gov-west-1)
-
O tempo limite ocioso é padronizado para 60 minutos (uma hora) quando não há um valor especificado. Você pode especificar um tempo limite ocioso mínimo de um minuto e um tempo limite ocioso máximo de sete dias.
-
Com EMR as versões 6.4.0 e posteriores da Amazon, o encerramento automático é ativado por padrão quando você cria um novo cluster com o console da AmazonEMR.
-
A Amazon EMR publica Amazon CloudWatch métricas de alta resolução quando você ativa o encerramento automático de um cluster. Use essas métricas para monitorar a atividade e a ociosidade do cluster. Para obter mais informações, consulte Métricas de capacidade de cluster.
-
A terminação automática não é suportada quando você usa aplicativos não YARN baseados, como Presto, Trino ou. HBase
-
Para usar o encerramento automático, o processo coletor de métricas deve ser capaz de se conectar ao API endpoint público para o encerramento automático no Gateway. API Se você usar um DNS nome privado com Amazon Virtual Private Cloud, o encerramento automático não funcionará corretamente. Para garantir que o término automático funcione, é recomendável executar uma das seguintes ações:
-
Remova o VPC endpoint da interface API Gateway da sua AmazonVPC.
-
Siga as instruções em Por que recebo um erro HTTP 403 Forbidden ao me conectar ao meu API Gateway a APIs partir de um VPC
? para desativar a configuração DNS do nome privado. -
Em vez disso, inicie o cluster em sua sub-rede privada. Para obter mais informações, consulte o tópico em Sub-redes privadas.
-
-
(EMR5.30.0 e versões posteriores) Se você remover a regra de saída padrão Permitir Todos para 0.0.0.0/ para o grupo de segurança primário, deverá adicionar uma regra que permita TCP conectividade de saída ao seu grupo de segurança para acesso ao serviço na porta 9443. Seu grupo de segurança para acesso ao serviço também deve permitir TCP tráfego de entrada na porta 9443 do grupo de segurança principal. Para obter mais informações sobre a configuração de grupos de segurança, consulte Grupo EMR de segurança gerenciado pela Amazon para a instância primária (sub-redes privadas).
Permissões para usar o término automático
Antes de aplicar e gerenciar políticas de encerramento automático para a AmazonEMR, você precisa anexar as permissões listadas no exemplo de política de IAM permissões a seguir aos IAM recursos que gerenciam seu EMR cluster.
{ "Version": "2012-10-17", "Statement": { "Sid": "AllowAutoTerminationPolicyActions", "Effect": "Allow", "Action": [ "elasticmapreduce:PutAutoTerminationPolicy", "elasticmapreduce:GetAutoTerminationPolicy", "elasticmapreduce:RemoveAutoTerminationPolicy" ], "Resource": "
<your-resources>
" } }
Anexar, atualizar ou remover uma política de término automático
Esta seção inclui instruções para ajudá-lo a anexar, atualizar ou remover uma política de encerramento automático de um EMR cluster da Amazon. Antes de trabalhar com políticas de encerramento automático, verifique se você tem as IAM permissões necessárias. Consulte Permissões para usar o término automático.