Monitoramento de cálculos do Apache Spark com métricas do CloudWatch

O Athena publica métricas relacionadas a cálculos no Amazon CloudWatch quando a opção Publish CloudWatch metrics para seu grupo de trabalho habilitado para Spark está selecionada. É possível criar painéis personalizados, definir alarmes e acionar métricas no console do CloudWatch.

O Athena publica a seguinte métrica no console do CloudWatch sob o namespace AmazonAthenaForApacheSpark:

• DPUCount: a quantidade de DPUs consumidas durante a sessão para executar os cálculos.

Essa métrica tem as seguintes dimensões:

• SessionId: o ID da sessão para a qual os cálculos são enviados.

• WorkGroup: o nome do grupo de trabalho.

Para visualizar as métricas para grupos de trabalho habilitados para Spark no console do Amazon CloudWatch

1. Abra o console CloudWatch em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, escolha Metrics (Métricas), All metrics (Todas as métricas).

3. Selecione o namespace AmazonAthenaForApacheSpark.

Para exibir métricas com a CLI

• Execute um destes procedimentos:

  • Para listar as métricas dos grupos de trabalho habilitados para Spark do Athena, abra uma solicitação de comando e use o comando a seguir:

    aws cloudwatch list-metrics --namespace "AmazonAthenaForApacheSpark"

  • Para listar todas as métricas disponíveis, use o comando a seguir:

    aws cloudwatch list-metrics

Lista de métricas e dimensões do CloudWatch para cálculos do Apache Spark no Athena

Se você habilitou as métricas do CloudWatch em seu grupo de trabalho habilitado para Spark do Athena, o Athena enviará a métrica a seguir para o CloudWatch por grupo de trabalho. A métrica usa o namespace AmazonAthenaForApacheSpark.

Nome da métrica	Descrição
DPUCount	A quantidade de DPUs (unidades de processamento de dados) consumidas durante a sessão para executar os cálculos. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória.

Essa métrica tem as seguintes dimensões.

Dimensão	Descrição
SessionId	O ID da sessão para a qual os cálculos são enviados.
WorkGroup	O nome do grupo de trabalho.