Enviar trabalhos a um cluster
Esta seção descreve os métodos que você pode usar para enviar trabalhos a um cluster do Amazon EMR. Para enviar trabalhos, é possível adicionar etapas ou enviar trabalhos do Hadoop de forma interativa para o nó primário.
Considere estas regras de comportamento de etapas ao enviar etapas para um cluster:
-
Um ID de etapa pode conter até 256 caracteres.
-
Pode haver até 256 etapas PENDING e RUNNING em um cluster.
-
Mesmo com 256 etapas ativas em execução no cluster, é possível enviar trabalhos de forma interativa ao nó primário. Você pode enviar um número ilimitado de etapas durante a vida útil de um cluster de execução prolongada, mas apenas 256 etapas podem estar no estado RUNNING ou PENDING em um determinado momento.
-
Com as versões 4.8.0 e posteriores do Amazon EMR, exceto a versão 5.0.0, você pode cancelar etapas pendentes. Para obter mais informações, consulte Cancelar etapas.
-
Com o Amazon EMR 5.28.0 e versões posteriores, você pode cancelar as etapas pendentes e em execução. Você também pode optar por executar várias etapas em paralelo para melhorar a utilização de cluster e economizar custos. Para obter mais informações, consulte Considerações sobre a execução de várias etapas em paralelo.
nota
Para obter a melhor performance, é recomendável armazenar ações de bootstrap, scripts e outros arquivos personalizados que você deseja usar com o Amazon EMR em um bucket do Amazon S3 que esteja na mesma Região da AWS que o cluster.
Tópicos
