As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Entendendo as métricas de escalabilidade gerenciada na Amazon EMR
A Amazon EMR publica métricas de alta resolução com dados em uma granularidade de um minuto quando a escalabilidade gerenciada está habilitada para um cluster. Você pode visualizar eventos em cada iniciação e conclusão de redimensionamento controlados pela escalabilidade gerenciada com o console da Amazon ou o EMR console da Amazon. CloudWatch CloudWatch as métricas são essenciais para a operação do escalonamento EMR gerenciado da Amazon. Recomendamos que você monitore de perto CloudWatch as métricas para garantir que os dados não estejam ausentes. Para obter mais informações sobre como você pode configurar CloudWatch alarmes para detectar métricas ausentes, consulte Usando CloudWatch alarmes da Amazon. Para obter mais informações sobre o uso de CloudWatch eventos com a AmazonEMR, consulte Monitorar CloudWatch eventos.
As métricas a seguir indicam as capacidades atuais ou de destino de um cluster. Essas métricas só estão disponíveis quando a escalabilidade gerenciada está habilitada. Para clusters compostos por frotas de instâncias, as métricas de capacidade de cluster são medidas em Units. Para clusters compostos por grupos de instâncias, as métricas de capacidade de cluster são medidas em Nodes ou vCPU com base no tipo de unidade usado na política de escalabilidade gerenciada.
| Métrica | Descrição |
|---|---|
|
O número total alvo de units/nodes/vCPUs em um cluster, conforme determinado pelo escalonamento gerenciado. Unidades: Contagem |
|
O número total atual de units/nodes/vCPUs disponíveis em um cluster em execução. Quando um redimensionamento de cluster for solicitado, essa métrica será atualizada depois que as novas instâncias forem adicionadas ou removidas do cluster. Unidades: Contagem |
|
O número alvo de CORE units/nodes/vCPUs em um cluster, conforme determinado pelo escalonamento gerenciado. Unidades: Contagem |
|
O número atual de CORE units/nodes/vCPUs execuções em um cluster. Unidades: Contagem |
|
O número alvo de TASK units/nodes/vCPUs em um cluster, conforme determinado pelo escalonamento gerenciado. Unidades: Contagem |
|
O número atual de TASK units/nodes/vCPUs execuções em um cluster. Unidades: Contagem |
As métricas a seguir indicam o status de uso do cluster e dos aplicativos. Essas métricas estão disponíveis para todos os EMR recursos da Amazon, mas são publicadas em uma resolução maior com dados em uma granularidade de um minuto quando a escalabilidade gerenciada é habilitada para um cluster. É possível correlacionar as métricas a seguir com as métricas de capacidade do cluster na tabela anterior para entender as decisões de escalabilidade gerenciada.
| Métrica | Descrição |
|---|---|
|
|
O número de inscrições enviadas YARN que foram concluídas. Caso de uso: monitorar o progresso do cluster Unidades: Contagem |
|
|
O número de solicitações enviadas YARN a ela está em um estado pendente. Caso de uso: monitorar o progresso do cluster Unidades: Contagem |
|
|
O número de inscrições enviadas para YARN isso estão em execução. Caso de uso: monitorar o progresso do cluster Unidades: Contagem |
ContainerAllocated |
O número de contêineres de recursos alocados peloResourceManager. Caso de uso: monitorar o progresso do cluster Unidades: Contagem |
|
|
O número de contêineres na fila que ainda não foram alocados. Caso de uso: monitorar o progresso do cluster Unidades: Contagem |
ContainerPendingRatio |
A proporção de contêineres pendentes em relação aos contêineres alocados (ContainerPendingRatio = ContainerPending / ContainerAllocated). Se ContainerAllocated = 0, então ContainerPendingRatio =ContainerPending. O valor de ContainerPendingRatio representa um número, não uma porcentagem. Esse valor é útil para escalonar recursos de cluster com base no comportamento de alocação do contêiner. Unidades: Contagem |
|
|
A porcentagem de HDFS armazenamento usada atualmente. Caso de uso: analisar a performance do cluster Unidade: percentual |
|
|
Indica que um cluster não está mais executando nenhum trabalho, mas ainda está ativo e acumulando cobranças. É definido como 1 se nenhuma tarefa ou nenhum trabalho estiver em execução, caso contrário, é definido como 0. Esse valor é verificado em intervalos de 5 minutos, sendo que um valor de 1 indica somente que o cluster estava ocioso no momento da verificação, e não que ele ficou ocioso durante todo o período de 5 minutos. Para evitar falsos positivos, é necessário gerar um alarme quando esse valor for 1 em mais de uma verificação consecutiva de cinco minutos. Por exemplo, você pode gerar um alerta para esse valor se ele for 1 por 30 minutos ou mais. Caso de uso: monitorar a performance do cluster Unidade: booliano |
|
|
A quantidade de memória disponível para ser alocada. Caso de uso: monitorar o progresso do cluster Unidades: Contagem |
|
|
O número de nós atualmente executando MapReduce tarefas ou trabalhos. Equivalente à YARN métrica Caso de uso: monitorar o progresso do cluster Unidades: Contagem |
|
|
A porcentagem de memória restante disponível para YARN (YARNMemoryAvailablePercentage= MemoryAvailable MB/MemoryTotalMB). Esse valor é útil para escalar os recursos do cluster com base no uso da YARN memória. Unidade: percentual |
As métricas a seguir fornecem informações sobre os recursos usados por YARN contêineres e nós. Essas métricas do gerenciador de YARN recursos oferecem informações sobre os recursos usados pelos contêineres e nós em execução no cluster. A comparação dessas métricas com as métricas de capacidade de cluster da tabela anterior fornece uma imagem mais clara do impacto do escalonamento gerenciado:
| Métrica | Versões associadas | Descrição |
|---|---|---|
|
|
Disponível para a etiqueta de lançamento 7.3.0 e superior |
A memória consumida do contêiner * segundos durante o período de publicação. Unidades: GB * segundos |
|
|
Disponível para a etiqueta de lançamento 7.3.0 e superior |
O total do contêiner de fio * segundos para o período de publicação. Unidades: GB * segundos |
|
|
Disponível para a etiqueta de lançamento 7.5.0 e superior |
O contêiner consumido VCPU * segundos para o período de publicação. Unidades: VCPU * segundos |
|
Disponível para a etiqueta de lançamento 7.5.0 e superior |
O contêiner total VCPU * segundos para o período de publicação. Unidades: VCPU * segundos |
|
|
Disponível para a etiqueta de lançamento 7.5.0 e superior |
A memória do nó consumida* segundos durante o período de publicação. Unidades: GB * segundos |
|
Disponível para a etiqueta de lançamento 7.5.0 e superior |
A memória total do nó * segundos para o período de publicação. Unidades: GB * segundos |
|
|
Disponível para a etiqueta de lançamento 7.3.0 e superior |
O nó consumido VCPU * segundos durante o período de publicação. Unidades: VCPU * segundos |
|
|
Disponível para a etiqueta de lançamento 7.3.0 e superior |
O nó total de VCPU * segundos para o período de publicação. Unidades: VCPU * segundos |
Criar grafos de métricas de ajuste de escala gerenciado
Você pode representar graficamente as métricas para visualizar os padrões de carga de trabalho do seu cluster e as decisões de escalabilidade correspondentes tomadas pelo escalonamento EMR gerenciado da Amazon, conforme demonstrado nas etapas a seguir.
Para representar graficamente as métricas de escalabilidade gerenciadas no console CloudWatch
-
Abra o console de CloudWatch
. -
No painel de navegação, escolha Amazon EMR. Você pode pesquisar com base no identificador do cluster para monitoramento.
-
Role para baixo até a métrica para exibição em gráfico. Abra uma métrica para exibir o gráfico.
-
Para criar um gráfico de uma ou mais métricas, marque a caixa de seleção ao lado de cada métrica.
O exemplo a seguir ilustra a atividade de escalabilidade EMR gerenciada pela Amazon de um cluster. O gráfico mostra três períodos de redução automática, que economizam custos quando há uma workload menos ativa.
Todas as métricas de capacidade e uso do cluster são publicadas em intervalos de um minuto. As informações estatísticas adicionais também estão associadas a cada dado de um minuto, o que permite representar várias funções como Percentiles, Min, Max, Sum, Average e SampleCount.
Por exemplo, o gráfico a seguir representa graficamente a mesma métrica YARNMemoryAvailablePercentage em percentis diferentes, P10, P50, P90 e P99, juntamente com Sum, Average, Min e SampleCount.
