Adicionar etapas a um cluster com o Console de Gerenciamento do Amazon EMR

Realize os procedimentos a seguir para adicionar etapas a um cluster usando o AWS Management Console. Para obter informações detalhadas sobre como enviar etapas para aplicações específicas de big data, consulte as seguintes seções do Guia de lançamento do Amazon EMR:

• Enviar uma etapa de JAR personalizado

• Enviar uma etapa de transmissão do Hadoop

• Enviar uma etapa do Spark

• Enviar uma etapa do Pig

• Executar um comando ou script como etapa

• Transmitir valores em etapas para executar scripts do Hive

Adicionar etapas durante a criação do cluster

A partir do AWS Management Console, você pode adicionar etapas ao criar um cluster.

Console

Para adicionar etapas ao criar um cluster usando o console

1. Faça login no e abra AWS Management Console o console do Amazon EMR em https://console.aws.amazon.com /emr.

2. Em EMR, EC2 no painel de navegação esquerdo, escolha Clusters e, em seguida, escolha Criar cluster.

3. Em Etapas, escolha Adicionar etapa. Insira os valores apropriados nos campos da caixa de diálogo Adicionar etapa. Para obter informações sobre como formatar argumentos de etapa, consulte Adicionar argumentos de etapas. As opções diferem dependendo do tipo de etapa. Para adicionar a etapa e sair da caixa de diálogo, selecione Adicionar etapa.

4. Escolha qualquer outra opção que se aplique ao cluster.

5. Para iniciar o cluster, escolha Criar cluster.

Adicionar etapas a um cluster em execução

Com o AWS Management Console, você pode adicionar etapas a um cluster com a opção de encerramento automático desativada.

Console

Para adicionar etapas a um cluster em execução usando o console

1. Faça login no e abra AWS Management Console o console do Amazon EMR em https://console.aws.amazon.com /emr.

2. Em EMR, EC2 no painel de navegação esquerdo, escolha Clusters e selecione o cluster que você deseja atualizar.

3. Na guia Etapas da página de detalhes do cluster, selecione a guia Adicionar etapa. Para clonar uma etapa já existente, escolha o menu suspenso Ações e selecione Clonar etapa.

4. Insira os valores apropriados nos campos da caixa de diálogo Adicionar etapa. As opções diferem dependendo do tipo de etapa. Para adicionar a etapa e sair da caixa de diálogo, escolha Adicionar etapa.

Modificar o nível de simultaneidade da etapa em um cluster em execução

Com o AWS Management Console, você pode modificar o nível de simultaneidade de etapas em um cluster em execução.

nota

Só é possível executar múltiplas etapas em paralelo com o Amazon EMR versão 5.28.0 e posteriores.

Console

Para modificar a simultaneidade da etapa em um cluster em execução usando o console

1. Faça login no e abra AWS Management Console o console do Amazon EMR em https://console.aws.amazon.com /emr.

2. Em EMR, EC2 no painel de navegação esquerdo, escolha Clusters e selecione o cluster que você deseja atualizar. O cluster deve estar em execução para alterar o respectivo atributo de simultaneidade.

3. Na guia Etapas da página de detalhes do cluster, encontre a seção Atributos. Selecione Editar para alterar a simultaneidade. Insira um valor entre 1 e 256.

Adicionar argumentos de etapas

Ao usar o AWS Management Console para adicionar uma etapa ao seu cluster, você pode especificar argumentos para essa etapa no campo Argumentos. É necessário separar argumentos com espaço em branco e cercar com aspas argumentos de sequência de caracteres formados por caracteres e espaços em branco.

exemplo : Argumentos corretos

Os argumentos de exemplo a seguir estão formatados corretamente para o AWS Management Console, com aspas ao redor do argumento final da string.

bash -c "aws s3 cp s3://amzn-s3-demo-bucket/my-script.sh ."

Também é possível colocar cada argumento em uma linha separada para facilitar a leitura, como mostra o exemplo a seguir.

bash 
-c 
"aws s3 cp s3://amzn-s3-demo-bucket/my-script.sh ."

exemplo : Argumentos incorretos

Os argumentos de exemplo a seguir estão formatados incorretamente para o AWS Management Console. Observa-se que o argumento final da string ,aws s3 cp s3://amzn-s3-demo-bucket/my-script.sh ., contém espaços em branco e não está entre aspas.

bash -c aws s3 cp s3://amzn-s3-demo-bucket/my-script.sh .