Supervisión de los cálculos de Apache Spark con métricas de CloudWatch

Athena publica las métricas relacionadas con el cálculo en Amazon CloudWatch cuando se selecciona la opción Publish CloudWatch metrics para su grupo de trabajo habilitado para Spark. En la consola de CloudWatch puede crear paneles personalizados y establecer alarmas y activadores de métricas.

Athena publica las siguientes métricas en la consola de CloudWatch bajo el espacio de nombres AmazonAthenaForApacheSpark:

• DPUCount: número de DPU consumidas durante la sesión para ejecutar los cálculos.

Esta métrica tiene las siguientes dimensiones:

• SessionId: ID de la sesión en la que se envían los cálculos.

• WorkGroup: nombre del grupo de trabajo.

Para consultar las métricas de los grupos de trabajo habilitados para Spark en la consola de Amazon CloudWatch

1. Abra la consola de CloudWatch en https://console.aws.amazon.com/cloudwatch/.

2. En el panel de navegación, seleccione Metrics (Métricas) y, a continuación, All metrics (Todas las métricas).

3. Seleccione el espacio de nombres AmazonAthenaForApacheSpark.

Para ver métricas mediante la CLI

• Haga una de las siguientes acciones:

  • Para enumerar las métricas de los grupos de trabajo habilitados para Spark de Athena, abra un símbolo del sistema y utilice el siguiente comando:

    aws cloudwatch list-metrics --namespace "AmazonAthenaForApacheSpark"

  • Para mostrar todas las métricas disponibles, utilice el siguiente comando:

    aws cloudwatch list-metrics

Lista de métricas y dimensiones de CloudWatch para cálculos de Apache Spark en Athena

Si habilitó métricas de CloudWatch en su grupo de trabajo de Athena habilitado para Spark, Athena envía las siguientes métricas a CloudWatch por grupo de trabajo. La métrica usa el espacio de nombres AmazonAthenaForApacheSpark.

Nombre de métrica	Descripción
DPUCount	Número de DPU (unidades de procesamiento de datos) consumidas durante la sesión para ejecutar los cálculos. Una DPU es una medida relativa de la potencia de procesamiento que consta de 4 vCPU de capacidad de cómputo y 16 GB de memoria.

Esta métrica tiene las siguientes dimensiones.

Dimensión	Descripción
SessionId	El ID de la sesión en la que se envían los cálculos.
WorkGroup	El nombre del grupo de trabajo.