PERF03-BP03 Recopilación y registro de las métricas de rendimiento del almacén de datos
Supervise y registre las métricas de rendimiento relevantes del almacén de datos para saber cómo funcionan las soluciones de administración de datos. Estas métricas pueden ser de ayuda para optimizar el almacén de datos, garantizar que se cumplen los requisitos de la carga de trabajo y proporcionar una visión general clara del rendimiento de la carga de trabajo.
Patrones comunes de uso no recomendados:
-
Solo se utiliza la búsqueda manual de métricas en los archivos de registro.
-
Solo publica métricas en las herramientas internas que su equipo utiliza y no tiene una imagen completa de su carga de trabajo.
-
Solo se utilizan las métricas predeterminadas registradas por el software de supervisión seleccionado.
-
Solo se revisan las métricas cuando hay un problema.
-
Solo se supervisan las métricas del sistema y no se captura las métricas de acceso o de uso de datos.
Beneficios de establecer esta práctica recomendada: instaurar una base de referencia de rendimiento le permite comprender el comportamiento habitual y los requisitos de las cargas de trabajo. Los patrones anómalos pueden identificarse y depurarse más rápidamente, lo que mejora el rendimiento y la fiabilidad del almacén de datos.
Nivel de riesgo expuesto si no se establece esta práctica recomendada: alto
Guía para la implementación
Para supervisar el rendimiento de sus almacenes de trabajo, debe registrar diversas métricas de rendimiento a lo largo del tiempo. De este modo, podrá detectar anomalías y medir el rendimiento con respecto a las métricas de la empresa para asegurarse de que se están satisfaciendo las necesidades de su carga de trabajo.
Las métricas deben incluir tanto el sistema subyacente que da servicio al almacén de datos como las métricas de la base de datos. Las métricas del sistema subyacente podrían ser el uso de la CPU, la memoria, el almacenamiento en disco disponible, las operaciones de E/S del disco, la proporción de aciertos de la caché y las métricas de entrada y salida de la red, mientras que las métricas del almacén de datos podrían ser las transacciones por segundo, las consultas principales, las tasas medias de consultas, los tiempos de respuesta, el uso de índices, los bloqueos de tablas, los tiempos de espera de las consultas y el número de conexiones abiertas. Estos datos son cruciales para entender cómo funciona la carga de trabajo y cómo se utiliza la solución de administración de datos. Utilice estas métricas como parte de un enfoque basado en datos para ajustar y optimizar los recursos de la carga de trabajo.
Use herramientas, bibliotecas y sistemas que registren las medidas de rendimiento relacionadas con el rendimiento de la base de datos.
Pasos para la implementación
-
Identifique las métricas de rendimiento clave del almacén de datos que desee supervisar.
-
Use una solución de registro y supervisión aprobada para recopilar estas métricas. Amazon CloudWatch
puede recopilar métricas entre los recursos de su arquitectura. También puede recopilar y publicar métricas del cliente para negocios de superficie o métricas derivadas. Utilice CloudWatch o soluciones de terceros para establecer alarmas que indiquen cuándo se superan los umbrales. -
Compruebe si la supervisión del almacén de datos puede beneficiarse de una solución de machine learning que detecte anomalías de rendimiento.
-
Amazon DevOps Guru para Amazon RDS brinda visibilidad sobre los problemas de rendimiento y recomienda acciones correctivas.
-
-
Configure la retención de datos de la solución de supervisión y registro para que se ajuste a sus objetivos operativos y de seguridad.
Recursos
Documentos relacionados:
Videos relacionados:
-
AWS re:Invent 2022 - Performance monitoring with Amazon RDS and Aurora, featuring Autodesk
-
Database Performance Monitoring and Tuning with Amazon DevOps Guru for Amazon RDS
-
AWS re:Invent 2023 - Building and optimizing a data lake on Amazon S3
-
Best Practices for Monitoring Redis Workloads on Amazon ElastiCache
Ejemplos relacionados: