Configuración personalizada con Firehose - Amazon CloudWatch

Configuración personalizada con Firehose

Utilice este método para crear un flujo métrico y diríjalo a un flujo de entrega de Amazon Data Firehose que entregue sus métricas de CloudWatch a donde usted quiera que vayan. Puede transmitirlas a un lago de datos, como Amazon S3, o a cualquier destino o punto de conexión compatible con Firehose, incluidos los proveedores de terceros.

Los formatos JSON, OpenTelemetry 1.0.0 y OpenTelemetry 0.7.0 son compatibles de forma nativa, o puede configurar transformaciones en el flujo de entrega de Firehose para convertir los datos a un formato diferente, como Parquet. Esto permite actualizar continuamente los datos de supervisión o combinar estos datos de métrica de CloudWatch con datos de facturación y rendimiento para crear conjuntos de datos abundantes. A continuación, puede utilizar herramientas como Amazon Athena para obtener información acerca de la optimización de costos, el rendimiento de los recursos y la utilización de los recursos.

Puede usar la consola de CloudWatch, la AWS CLI, el AWS CloudFormation, o el AWS Cloud Development Kit (AWS CDK) para configurar un flujo métrico.

El flujo de entrega de Firehose que utilice para el flujo métrico debe estar en la misma cuenta y región en la que configuró el flujo métrico. Para lograr la funcionalidad entre regiones, puede configurar el flujo de entrega de Firehose para que transmita a un destino final que se encuentre en una cuenta diferente o región diferente.

Consola de CloudWatch

En esta sección, se describe cómo utilizar la consola de CloudWatch para configurar un flujo métrico mediante Firehose.

Para configurar un flujo métrico personalizado mediante Firehose
  1. Abra la consola de CloudWatch en https://console.aws.amazon.com/cloudwatch/.

  2. Elija Metrics (Métricas), Streams (Flujos) en el panel de navegación. Luego, elija Create metric stream (Crear flujo métrico).

  3. (Opcional) Si inicia sesión en una cuenta configurada como cuenta de monitoreo para la observabilidad entre cuentas de CloudWatch, puede optar por incluir las métricas desde una cuenta de origen vinculada en este flujo de métricas. Para incluir las métricas de las cuentas de origen, seleccione Incluir métricas de las cuentas de origen.

  4. Elija Configuración personalizada con Firehose.

  5. En Seleccionar el flujo de entrega de Kinesis Data Firehose, seleccione el flujo de entrega de Firehose que desea utilizar. Debe estar en la misma cuenta. El formato predeterminado de esta opción es OpenTelemetry 0.7.0, pero puede cambiar el formato más adelante en este procedimiento.

    A continuación, seleccione el flujo de entrega de Firehose que desee utilizar en Seleccionar el flujo de entrega de Firehose.

  6. (Opcional) Puede elegir Seleccionar un rol de servicio existente para utilizar un rol de IAM existente en lugar de hacer que CloudWatch cree uno nuevo.

  7. (Opcional) Para cambiar el formato de salida predeterminado para su situación, elija Change output format (Cambiar formato de salida). Los formatos admitidos son JSON, OpenTelemetry 1.0.0 y OpenTelemetry 0.7.0.

  8. En Métricas para el flujo, seleccione Todas las métricas o Seleccionar métricas.

    Si elige Todas las métricas, todas las métricas de esta cuenta se incluirán en el flujo.

    Considere con cuidado si desea transmitir todas las métricas, ya que cuantas más métricas transmita, mayores serán los cargos por transmisión de métricas.

    Si elige Seleccionar métrica, realice una de las operaciones siguientes:

    • Para transmitir la mayoría de los espacios de nombres de métricas, elija Excluir y seleccione los espacios de nombres o las métricas que desea excluir. Al especificar un espacio de nombres en Excluir, de forma opcional, puede seleccionar algunas métricas específicas de ese espacio de nombres para excluirlas. Si elige excluir un espacio de nombres, pero no selecciona las métricas de ese espacio de nombres, se excluyen todas las métricas de ese espacio de nombres.

    • Para incluir solo algunos espacios de nombres de métricas o métricas en el flujo de métricas, elija Incluir y, a continuación, seleccione los espacios de nombres que desea incluir. Si elige incluir un espacio de nombres, pero no selecciona las métricas de ese espacio de nombres, se incluyen todas las métricas de ese espacio de nombres.

  9. (Opcional) Para transmitir estadísticas adicionales para algunas de estas métricas más allá de mínimo, máximo, recuento de muestras y suma, elija Agregar estadísticas adicionales. Elija Add recommended metrics (Agregar métricas recomendadas) para agregar algunas estadísticas de uso común o seleccionar manualmente el espacio de nombres y el nombre de métrica para transmitir estadísticas adicionales. A continuación, seleccione las estadísticas adicionales que desea transmitir.

    Para elegir otro grupo de métricas para transmitir un conjunto diferente de estadísticas adicionales, elija Add additional statistics (Agregar una estadística adicional). Cada métrica puede incluir hasta 20 estadísticas adicionales y hasta 100 métricas dentro de un flujo de métricas pueden incluir estadísticas adicionales.

    El streaming de estadísticas adicionales conlleva más cargos. Para obtener más información, consulte Estadísticas que se pueden transmitir en streaming.

    Para obtener definiciones de las estadísticas adicionales, consulte Definiciones de estadísticas de CloudWatch.

  10. (Opcional) Personalice el nombre del nuevo flujo métrico en Metric stream name (Nombre de flujo métrico).

  11. Elija Create metric stream (Crear flujo métrico).

La AWS CLI o la API de AWS

Siga los pasos a continuación, para crear un flujo métrico de CloudWatch.

Para utilizar la AWS CLI o la API de AWS para crear un flujo métrico
  1. Si está transmitiendo a Amazon S3, primero cree el bucket. Para obtener más información, consulte Creating a bucket (Creación de un bucket).

  2. Cree un flujo de entrega de Firehose. Para obtener más información, consulte Creación de un flujo de Firehose.

  3. Cree un rol de IAM que permita a CloudWatch escribir en el flujo de entrega de Firehose. Para obtener más información acerca del contenido de este rol, consulte Confianza entre CloudWatch y Firehose.

  4. Use el comando CLI aws cloudwatch put-metric-stream o el la API PutMetricStream para crear el flujo métrico de CloudWatch.

AWS CloudFormation

Puede usar el AWS CloudFormation para configurar un flujo métrico. Para obtener más información, consulte AWS::CloudWatch::MetricStream

Para utilizar el AWS CloudFormation para crear un flujo métrico
  1. Si está transmitiendo a Amazon S3, primero cree el bucket. Para obtener más información, consulte Creating a bucket (Creación de un bucket).

  2. Cree un flujo de entrega de Firehose. Para obtener más información, consulte Creación de un flujo de Firehose.

  3. Cree un rol de IAM que permita a CloudWatch escribir en el flujo de entrega de Firehose. Para obtener más información acerca del contenido de este rol, consulte Confianza entre CloudWatch y Firehose.

  4. Cree la secuencia en AWS CloudFormation. Para obtener más información, consulte AWS::CloudWatch::MetricStream.

AWS Cloud Development Kit (AWS CDK)

Puede usar el AWS Cloud Development Kit (AWS CDK) para configurar un flujo métrico.

Para utilizar el AWS CDK para crear un flujo métrico
  1. Si está transmitiendo a Amazon S3, primero cree el bucket. Para obtener más información, consulte Creating a bucket (Creación de un bucket).

  2. Cree un flujo de entrega de Firehose. Para obtener más información, consulte Creación de un flujo de entrega de Amazon Data Firehose.

  3. Cree un rol de IAM que permita a CloudWatch escribir en el flujo de entrega de Firehose. Para obtener más información acerca del contenido de este rol, consulte Confianza entre CloudWatch y Firehose.

  4. Cree el flujo métrico. El recurso del flujo métrico está disponible en AWS CDK como un modelo nivel 1 (L1) llamado CfnMetricStream. Para obtener más información, consulte Using L1 constructs (Uso de modelos L1).