Monitorar eventos do Amazon EMR com o CloudWatch
O Amazon EMR controla eventos e mantém as informações sobre eles por até sete dias no console do Amazon EMR. O Amazon EMR registra eventos quando há uma alteração no estado de clusters, grupos de instâncias, frotas de instâncias, políticas de ajuste de escala automático ou etapas. Os eventos capturam a data e a hora em que o evento ocorreu, detalhes sobre os elementos afetados e outros pontos de dados essenciais.
A tabela apresentada a seguir lista os eventos do Amazon EMR em conjunto com o estado ou a alteração de estado que o evento indica, a gravidade do evento, o tipo de evento, o código do evento e as mensagens do evento. O Amazon EMR representa eventos como objetos JSON e os envia automaticamente para um fluxo de eventos. O objeto JSON é importante quando você configura as regras para o processamento de eventos usando o CloudWatch Events, pois as regras buscam corresponder aos padrões no objeto JSON. Para obter mais informações, consulte Events and event patterns e Amazon EMR events no Guia do usuário do Amazon CloudWatch Events.
nota
Para garantir que forneceremos as informações mais pertinentes, refinamos continuamente nossas mensagens de erro. Por isso, não é recomendável analisar o texto das mensagens para iniciar as próximas ações do fluxo de trabalho.
Eventos de início de cluster
Estado ou alteração de estado | Severidade | Tipo de evento | Código do evento | Message |
---|---|---|---|---|
CREATING |
WARN |
Provisionamento da frota de instâncias do Amazon EMR | Provisionamento do EC2: capacidade de instância insuficiente | Não foi possível criar o cluster ClusterId
(ClusterName) do Amazon EMR para a frota de instâncias InstanceFleetID . O Amazon EC2 tem capacidade spot insuficiente para o tipo de instância [Instancetype1, Instancetype2] e capacidade sob demanda insuficiente para o tipo de instância [Instancetype3,
Instancetype4] na zona de disponibilidade [AvailabilityZone1,
AvaliabilityZone2] . Confira aqui a documentação para obter mais informações sobre como responder a esse evento. |
CREATING |
WARN |
Provisionamento do grupo de instâncias do Amazon EMR | Provisionamento do EC2: capacidade de instância insuficiente | Não foi possível criar o cluster ClusterId
(ClusterName) do Amazon EMR para a grupo de instâncias InstancegroupID . O Amazon EC2 tem capacidade [Spot or On-Demand] insuficiente para o tipo de instância Instancetype na zona de disponibilidade AvailabilityZone . Confira aqui a documentação para obter mais informações sobre como responder a esse evento. |
STARTING
|
INFO
|
Alteração de estado de clusters do EMR |
none |
O cluster |
STARTING
|
INFO
|
Alteração de estado de clusters do EMR |
none |
notaAplica-se apenas a clusters com a configuração de frotas de instâncias e várias zonas de disponibilidade selecionadas no Amazon EC2. O cluster |
STARTING
|
INFO
|
Alteração de estado de clusters do EMR |
none |
O cluster |
WAITING
|
INFO
|
Alteração de estado de clusters do EMR |
none |
O cluster - ou - O cluster notaUm cluster no estado |
nota
Os eventos com código de evento EC2 provisioning - Insufficient Instance
Capacity
são emitidos periodicamente quando o cluster do EMR encontra um erro de capacidade insuficiente do Amazon EC2 para a frota de instâncias ou grupo de instâncias durante a criação ou operação de redimensionamento do cluster. Para obter informações sobre como responder a esses eventos, consulte Responder eventos de capacidade de instância insuficiente do cluster do Amazon EMR.
Eventos de término de clusters
Estado ou alteração de estado | Severidade | Tipo de evento | Código do evento | Message |
---|---|---|---|---|
TERMINATED
|
A gravidade depende do motivo da mudança de estado, conforme mostrado a seguir:
|
Alteração de estado de clusters do EMR |
none |
O cluster |
TERMINATED_WITH_ERRORS
|
CRITICAL
|
Alteração de estado de clusters do EMR |
none |
O cluster |
Eventos de alteração de estado da frota de instâncias
nota
A configuração de frotas de instância só está disponível em versões do Amazon EMR 4.8.0 e posteriores, exceto versões 5.0.0 e 5.0.3.
Estado ou alteração de estado | Severidade | Tipo de evento | Código do evento | Message |
---|---|---|---|---|
De |
INFO
|
none | O provisionamento da frota de instâncias |
|
De |
INFO
|
none | Um redimensionamento da frota de instâncias |
|
De |
INFO
|
none | A operação de redimensionamento da frota de instâncias |
|
De |
INFO
|
none | A operação de redimensionamento da frota de instâncias |
|
SUSPENDED
|
ERROR
|
none | A frota de instâncias |
|
RESIZING
|
WARNING
|
none | A operação de redimensionamento da frota de instâncias |
|
|
INFO
|
none | Não foi possível concluir a operação de redimensionamento da frota de instâncias |
|
|
INFO
|
none | Uma operação de redimensionamento da frota de instâncias |
Eventos de redimensionamento da frota de instâncias
Tipo de evento | Severidade | Código do evento | Message |
---|---|---|---|
Redimensionamento da frota de instâncias do Amazon EMR |
ERROR |
Tempo limite de provisionamento spot |
Não foi possível concluir a operação de redimensionamento da frota de instâncias |
Redimensionamento da frota de instâncias do Amazon EMR |
ERROR |
Tempo limite de provisionamento sob demanda |
Não foi possível concluir a operação de redimensionamento da frota de instâncias |
Redimensionamento da frota de instâncias do Amazon EMR |
WARNING |
Provisionamento do EC2: capacidade de instância insuficiente | Não foi possível concluir a operação de redimensionamento da frota de instâncias |
Redimensionamento da frota de instâncias do Amazon EMR |
WARNING |
Tempo limite de provisionamento spot: redimensionamento contínuo |
Ainda estamos provisionando a capacidade spot para a operação de redimensionamento da frota de instâncias que foi iniciada às |
Redimensionamento da frota de instâncias do Amazon EMR |
WARNING |
Tempo limite de provisionamento sob demanda: redimensionamento contínuo |
Ainda estamos provisionando a capacidade sob demanda para a operação de redimensionamento da frota de instâncias que foi iniciada às |
nota
Os eventos de tempo limite de provisionamento são emitidos quando o Amazon EMR interrompe o provisionamento de capacidade spot ou sob demanda da frota após o tempo limite expirar. Para obter informações sobre como responder a esses eventos, consulte Responder a eventos de tempo limite de redimensionamento da frota de instâncias de cluster do Amazon EMR.
Eventos de instâncias de grupos
Tipo de evento | Severidade | Código do evento | Message |
---|---|---|---|
De |
INFO
|
none | A operação de redimensionamento do grupo de instâncias |
De |
INFO
|
none | Um redimensionamento do grupo de instâncias |
SUSPENDED
|
ERROR
|
none | O grupo de instâncias |
RESIZING
|
WARNING
|
none | A operação de redimensionamento do grupo de instâncias |
Redimensionamento do grupo de instâncias do Amazon EMR |
WARNING |
Provisionamento do EC2: capacidade de instância insuficiente | Não foi possível concluir a operação de redimensionamento iniciada às |
De |
INFO
|
none | Um redimensionamento do grupo de instâncias |
nota
Com as versões 5.21.0 e posteriores do Amazon EMR, você pode substituir as configurações de cluster e especificar classificações de configuração adicionais para cada grupo de instâncias em um cluster em execução. Você pode fazer isso usando o console do Amazon EMR, a AWS Command Line Interface (AWS CLI) ou o AWS SDK. Para obter mais informações, consulte Supplying a Configuration for an Instance Group in a Running Cluster.
A tabela a seguir lista eventos do Amazon EMR para a operação de reconfiguração, juntamente com o estado ou a alteração de estado que cada um indica, a gravidade do evento e as mensagens do evento.
Estado ou alteração de estado | Severidade | Message |
---|---|---|
RUNNING
|
INFO
|
Uma reconfiguração do grupo de instâncias |
De |
INFO
|
A operação de reconfiguração do grupo de instâncias |
De |
INFO
|
Uma reconfiguração para o grupo de instâncias |
RESIZING
|
INFO
|
A operação de reconfiguração para a versão de configuração |
RECONFIGURING
|
INFO
|
A operação de redimensionamento para a contagem de instâncias Num do grupo de instâncias InstanceGroupID no cluster ClusterId (ClusterName) do Amazon EMR é temporariamente bloqueada às Time porque o grupo de instâncias está em State . |
RECONFIGURING
|
WARNING
|
A operação de reconfiguração do grupo de instâncias |
RECONFIGURING
|
INFO
|
As configurações estão sendo revertidas com êxito para o número da versão anterior |
De |
INFO
|
As configurações foram revertidas com êxito para a versão anterior |
De |
CRITICAL
|
Falha ao reverter para a versão com êxito anterior |
Eventos de política do Auto Scaling
Estado ou alteração de estado | Severidade | Message |
---|---|---|
PENDING
|
INFO
|
Uma política do Auto Scaling foi adicionada para o grupo de instâncias - ou - A política do Auto Scaling para o grupo de instâncias |
ATTACHED
|
INFO
|
A política do Auto Scaling para o grupo de instâncias |
|
INFO
|
A política do Auto Scaling para o grupo de instâncias |
FAILED
|
ERROR
|
Não foi possível anexar a política do Auto Scaling para o grupo de instâncias - ou - Não foi possível desvincular a política do Auto Scaling para o grupo de instâncias |
Eventos de etapa
Estado ou alteração de estado | Severidade | Message |
---|---|---|
PENDING
|
INFO
|
A etapa |
CANCEL_PENDING
|
WARN
|
A etapa |
RUNNING
|
INFO
|
A etapa |
COMPLETED
|
INFO
|
A etapa |
CANCELLED
|
WARN
|
A solicitação de cancelamento teve êxito na etapa do cluster |
FAILED
|
ERROR
|
A etapa |
Visualizar eventos usando o console do Amazon EMR
Para cada cluster, você pode visualizar uma lista simples de eventos no painel de detalhes, que lista os eventos em ordem decrescente de ocorrência. Você também pode visualizar todos os eventos para todos os clusters de uma região em ordem decrescente de ocorrência.
Se não quiser que um usuário veja todos os eventos de cluster para uma região, adicione uma instrução que negue permissão ("Effect": "Deny"
) para a ação elasticmapreduce:ViewEventsFromAllClustersInConsole
a uma política anexada a esse usuário.
nota
Reformulamos o console do Amazon EMR para torná-lo mais fácil de usar. Consulte O que há de novo no console? para conhecer as diferenças entre as experiências do console antigo e novo.