Monitorar eventos do Amazon EMR com o CloudWatch - Amazon EMR

Monitorar eventos do Amazon EMR com o CloudWatch

O Amazon EMR controla eventos e mantém as informações sobre eles por até sete dias no console do Amazon EMR. O Amazon EMR registra eventos quando há uma alteração no estado de clusters, grupos de instâncias, frotas de instâncias, políticas de ajuste de escala automático ou etapas. Os eventos capturam a data e a hora em que o evento ocorreu, detalhes sobre os elementos afetados e outros pontos de dados essenciais.

A tabela apresentada a seguir lista os eventos do Amazon EMR em conjunto com o estado ou a alteração de estado que o evento indica, a gravidade do evento, o tipo de evento, o código do evento e as mensagens do evento. O Amazon EMR representa eventos como objetos JSON e os envia automaticamente para um fluxo de eventos. O objeto JSON é importante quando você configura as regras para o processamento de eventos usando o CloudWatch Events, pois as regras buscam corresponder aos padrões no objeto JSON. Para obter mais informações, consulte Events and event patterns e Amazon EMR events no Guia do usuário do Amazon CloudWatch Events.

nota

Para garantir que forneceremos as informações mais pertinentes, refinamos continuamente nossas mensagens de erro. Por isso, não é recomendável analisar o texto das mensagens para iniciar as próximas ações do fluxo de trabalho.

Eventos de início de cluster

Estado ou alteração de estado Severidade Tipo de evento Código do evento Message
CREATING WARN Provisionamento da frota de instâncias do Amazon EMR Provisionamento do EC2: capacidade de instância insuficiente Não foi possível criar o cluster ClusterId (ClusterName) do Amazon EMR para a frota de instâncias InstanceFleetID. O Amazon EC2 tem capacidade spot insuficiente para o tipo de instância [Instancetype1, Instancetype2] e capacidade sob demanda insuficiente para o tipo de instância [Instancetype3, Instancetype4] na zona de disponibilidade [AvailabilityZone1, AvaliabilityZone2]. Confira aqui a documentação para obter mais informações sobre como responder a esse evento.
CREATING WARN Provisionamento do grupo de instâncias do Amazon EMR Provisionamento do EC2: capacidade de instância insuficiente Não foi possível criar o cluster ClusterId (ClusterName) do Amazon EMR para a grupo de instâncias InstancegroupID. O Amazon EC2 tem capacidade [Spot or On-Demand] insuficiente para o tipo de instância Instancetype na zona de disponibilidade AvailabilityZone. Confira aqui a documentação para obter mais informações sobre como responder a esse evento.
STARTING INFO

Alteração de estado de clusters do EMR

none

O cluster ClusterId (ClusterName) do Amazon EMR foi solicitado às Time e está sendo criado.

STARTING INFO

Alteração de estado de clusters do EMR

none

nota

Aplica-se apenas a clusters com a configuração de frotas de instâncias e várias zonas de disponibilidade selecionadas no Amazon EC2.

O cluster ClusterId (ClusterName) do Amazon EMR está sendo criado na zona (AvailabilityZoneID), que foi escolhida entre as opções de zona de disponibilidade.

STARTING INFO

Alteração de estado de clusters do EMR

none

O cluster ClusterId (ClusterName) do Amazon EMR começou a executar etapas às Time.

WAITING INFO

Alteração de estado de clusters do EMR

none

O cluster ClusterId (ClusterName) do Amazon EMR foi criado às Time e está pronto para uso.

- ou -

O cluster ClusterId (ClusterName) do Amazon EMR concluiu a execução de todas as etapas pendentes às Time.

nota

Um cluster no estado WAITING pode ainda estar processando trabalhos.

nota

Os eventos com código de evento EC2 provisioning - Insufficient Instance Capacity são emitidos periodicamente quando o cluster do EMR encontra um erro de capacidade insuficiente do Amazon EC2 para a frota de instâncias ou grupo de instâncias durante a criação ou operação de redimensionamento do cluster. Para obter informações sobre como responder a esses eventos, consulte Responder eventos de capacidade de instância insuficiente do cluster do Amazon EMR.

Eventos de término de clusters

Estado ou alteração de estado Severidade Tipo de evento Código do evento Message
TERMINATED

A gravidade depende do motivo da mudança de estado, conforme mostrado a seguir:

  • CRITICAL se o cluster terminou com qualquer um dos seguintes motivos de mudança de estado: INTERNAL_ERROR, VALIDATION_ERROR, INSTANCE_FAILURE, BOOTSTRAP_FAILURE ou STEP_FAILURE.

  • INFO se o cluster terminou com qualquer um dos seguintes motivos de mudança de estado: USER_REQUEST ou ALL_STEPS_COMPLETED.

Alteração de estado de clusters do EMR

none

O cluster ClusterId (ClusterName) do Amazon EMR foi terminado às Time pelo motivo StateChangeReason:Code.

TERMINATED_WITH_ERRORS CRITICAL

Alteração de estado de clusters do EMR

none

O cluster ClusterId (ClusterName) do Amazon EMR foi terminado com erros às Time pelo motivo StateChangeReason:Code.

Eventos de alteração de estado da frota de instâncias

nota

A configuração de frotas de instância só está disponível em versões do Amazon EMR 4.8.0 e posteriores, exceto versões 5.0.0 e 5.0.3.

Estado ou alteração de estado Severidade Tipo de evento Código do evento Message

De PROVISIONING até WAITING

INFO none

O provisionamento da frota de instâncias InstanceFleetIDno cluster do Amazon EMR foi concluído ClusterId (ClusterName). O provisionamento começou às Time e levou Num minutos. Agora, a frota de instâncias tem capacidade sob demanda de Num e capacidade spot de Num. A capacidade sob demanda de destino era Num, e a capacidade spot de destino era Num.

De WAITING até RESIZING

INFO none

Um redimensionamento da frota de instâncias InstanceFleetID no cluster ClusterId (ClusterName) do Amazon EMR foi iniciado às Time. A frota de instâncias está sendo redimensionada de uma capacidade sob demanda de Num para um destino de Num e de uma capacidade spot de Num para um destino de Num.

De RESIZING até WAITING

INFO none

A operação de redimensionamento da frota de instâncias InstanceFleetID no cluster ClusterId (ClusterName) do Amazon EMR foi concluída. O redimensionamento começou às Time e durou Num minutos. Agora, a frota de instâncias tem capacidade sob demanda de Num e capacidade spot de Num. A capacidade sob demanda de destino era Num, e a capacidade spot de destino era Num.

De RESIZING até WAITING

INFO none

A operação de redimensionamento da frota de instâncias InstanceFleetID no cluster ClusterId (ClusterName) do Amazon EMR atingiu o tempo limite e foi interrompida. O redimensionamento começou às Time e foi interrompido após Num minutos. Agora, a frota de instâncias tem capacidade sob demanda de Num e capacidade spot de Num. A capacidade sob demanda de destino era Num, e a capacidade spot de destino era Num.

SUSPENDED ERROR none

A frota de instâncias InstanceFleetID no cluster ClusterId (ClusterName) do Amazon EMR foi presa às Time pelo seguinte motivo: ReasonDesc.

RESIZING WARNING none

A operação de redimensionamento da frota de instâncias InstanceFleetID no cluster ClusterId (ClusterName) do Amazon EMR está paralisada pelo seguinte motivo: ReasonDesc.

WAITING ou Running

INFO none

Não foi possível concluir a operação de redimensionamento da frota de instâncias InstanceFleetID no cluster ClusterId (ClusterName) do Amazon EMR enquanto o Amazon EMR adicionava capacidade spot à zona de disponibilidade AvailabilityZone. Cancelamos sua solicitação para provisionar uma capacidade spot maior. Para ver as ações recomendadas, verifique Práticas recomendadas para flexibilidade de instâncias e de zona de disponibilidade e tente novamente.

WAITING ou Running

INFO none

Uma operação de redimensionamento da frota de instâncias InstanceFleetID no cluster ClusterId (ClusterName) do Amazon EMR foi iniciada por Entity às Time.

Eventos de redimensionamento da frota de instâncias

Tipo de evento Severidade Código do evento Message

Redimensionamento da frota de instâncias do Amazon EMR

ERROR

Tempo limite de provisionamento spot

Não foi possível concluir a operação de redimensionamento da frota de instâncias InstanceFleetID no cluster ClusterId (ClusterName) do Amazon EMR durante a aquisição da capacidade spot na AZ AvailabilityZone. Já cancelamos a solicitação e paramos de tentar provisionar qualquer capacidade spot adicional, e a frota de instâncias provisionou a capacidade spot de num. A capacidade spot de destino era num. Para obter mais informações e ações recomendadas, consulte a página de documentação aqui e tente novamente.

Redimensionamento da frota de instâncias do Amazon EMR

ERROR

Tempo limite de provisionamento sob demanda

Não foi possível concluir a operação de redimensionamento da frota de instâncias InstanceFleetID no cluster ClusterId (ClusterName) do Amazon EMR durante a aquisição da capacidade sob demanda na AZ AvailabilityZone. Já cancelamos a solicitação e paramos de tentar provisionar qualquer capacidade sob demanda adicional, e a frota de instâncias provisionou a capacidade sob demanda de num. A capacidade sob demanda de destino era num. Para obter mais informações e ações recomendadas, consulte a página de documentação aqui e tente novamente.

Redimensionamento da frota de instâncias do Amazon EMR

WARNING Provisionamento do EC2: capacidade de instância insuficiente

Não foi possível concluir a operação de redimensionamento da frota de instâncias InstanceFleetID no cluster ClusterId (ClusterName) do EMR, pois o Amazon EC2 tem capacidade spot insuficiente para tipos de instância [Instancetype1, Instancetype2] e capacidade sob demanda insuficiente para tipos de instância [Instancetype3, Instancetype4] na zona de disponibilidade [AvailabilityZone1]. Até agora, a frota de instâncias provisionou a capacidade sob demanda de num, e a capacidade sob demanda de destino era num. A capacidade spot provisionada é num, e a capacidade spot de destino era num. Confira aqui a documentação para obter mais informações sobre como responder a esse evento.

Redimensionamento da frota de instâncias do Amazon EMR

WARNING

Tempo limite de provisionamento spot: redimensionamento contínuo

Ainda estamos provisionando a capacidade spot para a operação de redimensionamento da frota de instâncias que foi iniciada às time para o ID da frota de instâncias InstanceFleetID no cluster ClusterId (ClusterName) do Amazon EMR para [Instancetype1, Instancetype2] ou na AZ AvailabilityZone. Para a operação de redimensionamento anterior iniciada às time, o período de tempo limite expirou, então o Amazon EMR parou de provisionar a capacidade spot após adicionar num das num instâncias solicitadas à frota de instâncias. Para obter mais informações e ações recomendadas, confira a página de documentação aqui.

Redimensionamento da frota de instâncias do Amazon EMR

WARNING

Tempo limite de provisionamento sob demanda: redimensionamento contínuo

Ainda estamos provisionando a capacidade sob demanda para a operação de redimensionamento da frota de instâncias que foi iniciada às time para o ID da frota de instâncias InstanceFleetID no cluster ClusterId (ClusterName) do Amazon EMR para [Instancetype1, Instancetype2] ou na AZ AvailabilityZone. Para a operação de redimensionamento anterior iniciada às time, o período de tempo limite expirou, então o Amazon EMR parou de provisionar a capacidade sob demanda após adicionar num das num instâncias solicitadas à frota de instâncias. Para obter mais informações e ações recomendadas, confira a página de documentação aqui.

nota

Os eventos de tempo limite de provisionamento são emitidos quando o Amazon EMR interrompe o provisionamento de capacidade spot ou sob demanda da frota após o tempo limite expirar. Para obter informações sobre como responder a esses eventos, consulte Responder a eventos de tempo limite de redimensionamento da frota de instâncias de cluster do Amazon EMR.

Eventos de instâncias de grupos

Tipo de evento Severidade Código do evento Message

De RESIZING até Running

INFO none

A operação de redimensionamento do grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR foi concluída. Agora, ele tem uma contagem de instâncias de Num. O redimensionamento começou às Time e levou Num minutos para ser concluído.

De RUNNING até RESIZING

INFO none

Um redimensionamento do grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR foi iniciado às Time. Ele está sendo redimensionado de uma contagem de instâncias de Num a Num.

SUSPENDED ERROR none

O grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR foi preso às Time pelo seguinte motivo: ReasonDesc.

RESIZING WARNING none

A operação de redimensionamento do grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR está paralisada pelo seguinte motivo: ReasonDesc.

Redimensionamento do grupo de instâncias do Amazon EMR

WARNING Provisionamento do EC2: capacidade de instância insuficiente

Não foi possível concluir a operação de redimensionamento iniciada às time para o grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do EMR, pois o Amazon EC2 não tem capacidade Spot/On Demand suficiente para o tipo de instância [Instancetype] na zona de disponibilidade [AvailabilityZone1]. Até agora, o grupo de instâncias tem uma contagem de instâncias em execução de num, e a contagem de instâncias solicitadas era num. Confira aqui a documentação para obter mais informações sobre como responder a esse evento.

De RUNNING até RESIZING

INFO none

Um redimensionamento do grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR foi iniciado por Entity às Time.

nota

Com as versões 5.21.0 e posteriores do Amazon EMR, você pode substituir as configurações de cluster e especificar classificações de configuração adicionais para cada grupo de instâncias em um cluster em execução. Você pode fazer isso usando o console do Amazon EMR, a AWS Command Line Interface (AWS CLI) ou o AWS SDK. Para obter mais informações, consulte Supplying a Configuration for an Instance Group in a Running Cluster.

A tabela a seguir lista eventos do Amazon EMR para a operação de reconfiguração, juntamente com o estado ou a alteração de estado que cada um indica, a gravidade do evento e as mensagens do evento.

Estado ou alteração de estado Severidade Message
RUNNING INFO

Uma reconfiguração do grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR foi iniciada pelo usuário às Time. A versão da configuração solicitada é Num.

De RECONFIGURING até Running

INFO

A operação de reconfiguração do grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR foi concluída. A reconfiguração começou às Time e levou Num minutos para ser concluída. A versão de configuração atual é Num.

De RUNNING até RECONFIGURING

em
INFO

Uma reconfiguração para o grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR foi iniciada às Time. Ela é a configuração do número da versão Num ao número da versão Num.

RESIZING INFO

A operação de reconfiguração para a versão de configuração Num do grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR é temporariamente bloqueada às Time porque o grupo de instâncias está em State.

RECONFIGURING INFO A operação de redimensionamento para a contagem de instâncias Num do grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR é temporariamente bloqueada às Time porque o grupo de instâncias está em State.
RECONFIGURING WARNING

A operação de reconfiguração do grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR falhou às Time e levou Num minutos para falhar. A versão de configuração com falha é Num.

RECONFIGURING INFO

As configurações estão sendo revertidas com êxito para o número da versão anterior Num do grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR às Time. A nova versão de configuração é Num.

De RECONFIGURING até Running

INFO

As configurações foram revertidas com êxito para a versão anterior Num do grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR às Time. A nova versão de configuração é Num.

De RECONFIGURING até SUSPENDED

CRITICAL

Falha ao reverter para a versão com êxito anterior Num do grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR às Time.

Eventos de política do Auto Scaling

Estado ou alteração de estado Severidade Message
PENDING INFO

Uma política do Auto Scaling foi adicionada para o grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR às Time. A política tem um anexo pendente.

- ou -

A política do Auto Scaling para o grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR foi atualizada às Time. A política tem um anexo pendente.

ATTACHED INFO

A política do Auto Scaling para o grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR foi anexada às Time.

DETACHED

INFO

A política do Auto Scaling para o grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR foi desvinculada às Time.

FAILED ERROR

Não foi possível anexar a política do Auto Scaling para o grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR, que falhou às Time.

- ou -

Não foi possível desvincular a política do Auto Scaling para o grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR, que falhou às Time.

Eventos de etapa

Estado ou alteração de estado Severidade Message
PENDING INFO

A etapa StepID (StepName) foi adicionada ao cluster ClusterId (ClusterName) do Amazon EMR às Time e está com execução pendente.

CANCEL_PENDING WARN

A etapa StepID (StepName) no cluster ClusterId (ClusterName) do Amazon EMR foi cancelada às Time e está com cancelamento pendente.

RUNNING INFO

A etapa StepID (StepName) no cluster ClusterId (ClusterName) do Amazon EMR começou a ser executada às Time.

COMPLETED INFO

A etapa StepID (StepName) no cluster ClusterId (ClusterName) do Amazon EMR concluiu a execução em Time. A etapa começou a ser executada às Time e levou Num minutos para ser concluída.

CANCELLED WARN

A solicitação de cancelamento teve êxito na etapa do cluster StepID (StepName) no cluster ClusterId (ClusterName) do Amazon EMR às Time, e a etapa já foi cancelada.

FAILED ERROR

A etapa StepID (StepName) no cluster ClusterId (ClusterName) do Amazon EMR falhou às Time.

Visualizar eventos usando o console do Amazon EMR

Para cada cluster, você pode visualizar uma lista simples de eventos no painel de detalhes, que lista os eventos em ordem decrescente de ocorrência. Você também pode visualizar todos os eventos para todos os clusters de uma região em ordem decrescente de ocorrência.

Se não quiser que um usuário veja todos os eventos de cluster para uma região, adicione uma instrução que negue permissão ("Effect": "Deny") para a ação elasticmapreduce:ViewEventsFromAllClustersInConsole a uma política anexada a esse usuário.

nota

Reformulamos o console do Amazon EMR para torná-lo mais fácil de usar. Consulte O que há de novo no console? para conhecer as diferenças entre as experiências do console antigo e novo.

New console
Visualizar eventos de todos os clusters em uma região usando o novo console
  1. Faça login no AWS Management Console e abra o console do Amazon EMR em https://console.aws.amazon.com/emr.

  2. Em EMR no EC2 no painel de navegação esquerdo, escolha Eventos.

Visualizar os eventos de um determinado cluster usando o novo console
  1. Faça login no AWS Management Console e abra o console do Amazon EMR em https://console.aws.amazon.com/emr.

  2. Em EMR no EC2, no painel de navegação esquerdo, escolha Clusters e, em seguida, escolha um cluster.

  3. Para visualizar todos os seus eventos, selecione a guia Eventos na página de detalhes do cluster.

Old console
Visualizar eventos de todos os clusters em uma região usando o console antigo
  1. Abra o console do Amazon EMR em https://console.aws.amazon.com/elasticmapreduce/.

  2. Escolha Events (Eventos).

Visualizar os eventos de um determinado cluster usando o console antigo
  1. Abra o console do Amazon EMR em https://console.aws.amazon.com/elasticmapreduce/.

  2. Escolha Cluster List (Lista de clusters), selecione um cluster e escolha View details (Exibir detalhes).

  3. Escolha Events (Eventos) no painel de detalhes do cluster.