Visualizar o status e os detalhes do cluster

Depois de criar um cluster, você pode monitorar seu status e obter informações detalhadas sobre sua execução e erros que podem ter ocorrido, mesmo depois de ele ter sido terminado. O Amazon EMR salva metadados sobre clusters terminados para sua referência por dois meses, e os metadados são excluídos após esse período. Você não pode excluir clusters do histórico de clusters, mas, usando o AWS Management Console, você pode usar o Filter (Filtro) e, usando a AWS CLI, você pode usar opções com o comando list-clusters para focalizar nos clusters que interessam a você.

Você pode acessar o histórico do aplicativo armazenado no cluster por uma semana a partir de sua gravação, independentemente de se o cluster está em execução ou encerrado. Além disso, as interfaces do usuário de aplicativos persistentes armazenam o histórico de aplicativos fora do cluster por 30 dias após o encerramento de um cluster. Consulte Visualizar o histórico da aplicação.

Para obter mais informações sobre estados de cluster, como Waiting e Running, consulte Noções básicas sobre o ciclo de vida do cluster.

Visualizar os detalhes do cluster usando o AWS Management Console

A lista de clusters em https://console.aws.amazon.com/emr lista todos os clusters em sua conta e AWS região, incluindo clusters encerrados. A lista mostra o seguinte para cada cluster: o Nome e o ID, o Status e os Detalhes do status, a Hora da criação, o Tempo decorrido em que o cluster esteve em execução e as Horas da instância normalizadas que foram acumuladas para todas as instâncias do EC2 no cluster. Essa lista é o ponto de partida para monitorar o status dos clusters. Ela foi criada para que você possa analisar detalhadamente cada cluster para análise e solução de problemas.

nota

Reformulamos o console do Amazon EMR para torná-lo mais fácil de usar. Consulte Console do Amazon EMR para conhecer as diferenças entre as experiências do console antigo e novo.

New console

Visualizar as informações do cluster usando o novo console

1. Faça login no AWS Management Console e abra o console do Amazon EMR em https://console.aws.amazon.com/emr.

2. Em EMR no EC2 no painel de navegação esquerdo, escolha Clusters e selecione o cluster que você deseja visualizar.

3. Use o painel Resumo para visualizar as informações básicas sobre a configuração do cluster, como o status do cluster, as aplicações de código aberto que o Amazon EMR instalou no cluster e a versão do Amazon EMR usada para criar o cluster. Use cada guia abaixo do Resumo para visualizar informações, conforme descrito na tabela a seguir.

Old console

Visualizar as informações do cluster usando o console antigo

1. Navegue até o novo console do Amazon EMR e selecione Alternar para o console antigo na navegação lateral. Para obter mais informações sobre o que esperar ao alternar para o console antigo, consulte Usar o console antigo.

2. Para visualizar um breve resumo das informações do cluster, selecione a seta para baixo ao lado do link do cluster em Nome. A linha do cluster é expandida para fornecer mais informações sobre o cluster, o hardware, as etapas e as ações de bootstrap. Use os links desta seção para analisar informações específicas. Por exemplo, clique em um link em Steps (Etapas) para acessar os arquivos de log das etapas, consultar o JAR associado à etapa, analisar os trabalhos e as tarefas das etapas e acessar os arquivos de log.

3. Para visualizar informações detalhadas sobre o cluster, escolha o link do cluster em Nome para abrir a página de detalhes do cluster. As informações a seguir estão disponíveis na página de detalhes do cluster do console antigo:

Guia (console antigo)	Descrição (console antigo)
Properties	Use essa guia para visualizar o sistema operacional do cluster, as configurações de término e segurança do cluster, as informações sobre a VPC e a sub-rede e onde os logs são armazenados no Amazon S3.
Bootstrap actions (Ações de bootstrap)	Use esta guia para visualizar o status de todas as ações de bootstrap que o cluster executa quando é iniciado. As ações de bootstrap são usadas para instalações de software personalizadas e configurações avançadas. Para ter mais informações, consulte Criar ações de bootstrap para instalar softwares adicionais.
Monitoramento	Use essa guia para visualizar as principais métricas de operação do cluster. Você pode visualizar os dados em nível de cluster, os dados em nível de nó e informações sobre E/S e armazenamento físico de dados.
Instâncias	Use essa guia para visualizar informações sobre nós no cluster, incluindo IDs de instâncias do EC2, nomes DNS, volumes do EBS, endereços IP e muito mais.
Etapas	Use esta guia para ver o status e acessar os arquivos de log das etapas que você enviou. Para mais informações sobre as etapas, consulte Enviar trabalhos a um cluster.
Aplicativos	Use esta guia para exibir detalhes do servidor de linha de tempo do YARN persistente fora do cluster e do aplicativo de interface do usuário do Tez. Também é possível visualizar informações sobre as aplicações instaladas, as configurações do cluster e os grupos de instâncias. As interfaces do usuário do aplicativo no cluster estão disponíveis enquanto o cluster está em execução.
Eventos	Use esta guia para visualizar o log de eventos de seu cluster. Para ter mais informações, consulte Monitorando eventos do Amazon EMR com CloudWatch.
Tags	Use essa guia para visualizar todas as etiquetas aplicadas ao cluster.

Visualize os detalhes do cluster usando o AWS CLI

Os exemplos a seguir demonstram como recuperar detalhes de cluster usando a AWS CLI. Para obter mais informações sobre os comandos disponíveis, consulte AWS CLI Command Reference for Amazon EMR. Você pode usar o comando describe-cluster para visualizar detalhes em nível de cluster, incluindo status, configuração de hardware e software, configurações da VPC, ações de bootstrap, grupos de instâncias, etc. Para obter mais informações sobre estados de cluster, consulte Noções básicas sobre o ciclo de vida do cluster. O exemplo a seguir demonstra o uso do comando describe-cluster, seguido por exemplos do comando list-clusters.

exemplo Visualizar o status do cluster

Para usar o comando describe-cluster, você precisa do ID do cluster. Este exemplo demonstra o uso para obter uma lista dos clusters criados em um determinado intervalo de datas e, em seguida, o uso de um dos IDs de cluster retornados para listar mais informações sobre o status de um cluster individual.

O comando a seguir descreve o cluster j-1K48XXXXXXHCB que você substitui pelo ID do seu cluster.

aws emr describe-cluster --cluster-id j-1K48XXXXXXHCB

A saída do comando é semelhante à seguinte.

{
    "Cluster": {
        "Status": {
            "Timeline": {
                "ReadyDateTime": 1438281058.061, 
                "CreationDateTime": 1438280702.498
            }, 
            "State": "WAITING", 
            "StateChangeReason": {
                "Message": "Waiting for steps to run"
            }
        }, 
        "Ec2InstanceAttributes": {
            "EmrManagedMasterSecurityGroup": "sg-cXXXXX0", 
            "IamInstanceProfile": "EMR_EC2_DefaultRole", 
            "Ec2KeyName": "myKey", 
            "Ec2AvailabilityZone": "us-east-1c", 
            "EmrManagedSlaveSecurityGroup": "sg-example"
        }, 
        "Name": "Development Cluster", 
        "ServiceRole": "EMR_DefaultRole", 
        "Tags": [], 
        "TerminationProtected": false, 
        "ReleaseLabel": "emr-4.0.0", 
        "NormalizedInstanceHours": 16, 
        "InstanceGroups": [
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281058.101, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "CORE", 
                "InstanceGroupType": "CORE", 
                "Id": "ig-2EEXAMPLEXXP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }, 
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281023.879, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "MASTER", 
                "InstanceGroupType": "MASTER", 
                "Id": "ig-2A1234567XP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }
        ], 
        "Applications": [
            {
                "Version": "1.0.0", 
                "Name": "Hive"
            }, 
            {
                "Version": "2.6.0", 
                "Name": "Hadoop"
            }, 
            {
                "Version": "0.14.0", 
                "Name": "Pig"
            }, 
            {
                "Version": "1.4.1", 
                "Name": "Spark"
            }
        ], 
        "BootstrapActions": [], 
        "MasterPublicDnsName": "ec2-X-X-X-X.compute-1.amazonaws.com", 
        "AutoTerminate": false, 
        "Id": "j-jobFlowID", 
        "Configurations": [
            {
                "Properties": {
                    "hadoop.security.groups.cache.secs": "250"
                }, 
                "Classification": "core-site"
            }, 
            {
                "Properties": {
                    "mapreduce.tasktracker.reduce.tasks.maximum": "5", 
                    "mapred.tasktracker.map.tasks.maximum": "2", 
                    "mapreduce.map.sort.spill.percent": "90"
                }, 
                "Classification": "mapred-site"
            }, 
            {
                "Properties": {
                    "hive.join.emit.interval": "1000", 
                    "hive.merge.mapfiles": "true"
                }, 
                "Classification": "hive-site"
            }
        ]
    }
}

exemplo Listar clusters por data de criação

Para recuperar clusters criados em um intervalo de dados específicos, use o comando list-clusters com os parâmetros --created-after e --created-before.

O comando a seguir lista todos os clusters criados entre 9 e 12 de outubro de 2019.

aws emr list-clusters --created-after 2019-10-09T00:12:00 --created-before 2019-10-12T00:12:00

exemplo Listar clusters por estado

Para listar clusters por estado, use o comando list-clusters com o parâmetro --cluster-states. Os estados de cluster válidos incluem: STARTING, BOOTSTRAPPING, RUNNING, WAITING, TERMINATING, TERMINATED e TERMINATED_WITH_ERRORS.

aws emr list-clusters --cluster-states TERMINATED

Você também pode usar os seguintes parâmetros de atalho para listar todos os clusters nos estados especificados:

• --active – filtra clusters nos estados STARTING, BOOTSTRAPPING, RUNNING, WAITING ou TERMINATING.

• --terminated filtra clusters no estado TERMINATED.

• O parâmetro --failed filtra clusters no estado TERMINATED_WITH_ERRORS.

As seguintes comandos retornam o mesmo resultado.

aws emr list-clusters --cluster-states TERMINATED

aws emr list-clusters --terminated

Para obter mais informações sobre estados de cluster, consulte Noções básicas sobre o ciclo de vida do cluster.