Usar a escalabilidade automática do Presto com desativação tranquila

As EMR versões 5.30.0 e posteriores da Amazon incluem um recurso que você pode usar para definir um período de carência para determinadas ações de escalabilidade. O período de carência possibilita que as tarefas do Presto continuem em execução antes que o nó seja encerrado devido a uma ação de redimensionamento para reduzir a escala horizontalmente ou a uma solicitação de política de escalabilidade automática. Para obter mais informações sobre regras de escalabilidade, consulte Entendendo as regras de escalabilidade automática no Amazon EMR Management Guide. A escalabilidade automática do Presto com desativação tranquila impede que novas tarefas sejam programadas em um nó que está sendo desativado e, ao mesmo tempo, permite que as tarefas que já estão sendo executadas sejam concluídas antes que o tempo limite de desligamento seja atingido. As consultas em execução concluirão a execução antes que o nó seja desativado. A escalabilidade automática não é compatível com frotas de instâncias.

Você pode controlar quanto tempo deve ser permitido até a conclusão das tarefas do Presto após o recebimento de uma solicitação de desligamento de escalabilidade automática. Por padrão, o tempo limite de desligamento da Amazon EMR é de 0 minutos, o que significa que a Amazon encerra EMR imediatamente o nó e todas as tarefas do Presto em execução nele, se exigido por uma solicitação de escalabilidade. Para definir um tempo limite maior para as tarefas do Presto na Amazon, EMR a fim de permitir que as consultas sejam concluídas antes de reduzir a escala de um cluster, use a classificação de presto-config configuração para definir o graceful-shutdown-timeout parâmetro com um valor em segundos ou minutos maior que zero. Para obter mais informações, consulte Configurar aplicações.

Por exemplo, aumentar o valor de graceful-shutdown-timeout para "30m" especifica um tempo limite de 30 minutos. Após o término do tempo limite de desligamento, o nó marcado para desativação será encerrado de maneira forçada se estiver aguardando a conclusão das tarefas de consulta e a consulta apresentará falha. Se as tarefas de consulta terminarem em cinco minutos, o nó marcado para descomissionamento será encerrado em cinco minutos, desde que outros YARN aplicativos tenham concluído a execução.

exemplo Exemplo de configuração de escalabilidade automática do Presto com desativação tranquila

Substitua o valor graceful-shutdown-timeout pelo número de minutos apropriado para a configuração. Não há um valor máximo. O exemplo abaixo define um valor de tempo limite de 1800 segundos (30 minutos).

[
    {
        "classification": "presto-config",
        "properties": {
            "graceful-shutdown-timeout": "1800s"
        }
    }
]
            

Limitações

O PrestoDB Graceful Decommission não funciona EMR em clusters em que a conectividade está desativada, como HTTP quando está definido como. http-server.http.enabled false O Trino não é compatível com a desativação tranquila, independentemente da configuração de http-server.http.enabled.