REL06-BP05 分析日志

PDFRSS

收集日志文件和指标历史记录并加以分析，获得更全面的趋势和工作负载见解。

Amazon CloudWatch Logs Insights 支持简单但强大的查询语言，可用于分析日志数据。Amazon CloudWatch Logs 还支持订阅，允许数据无缝流动到 Amazon S3（可在其中使用数据）或 Amazon Athena（可在其中查询数据）。该服务支持查询多种格式。请参阅《Amazon Athena 用户指南》，了解支持的 SerDes 和数据格式。针对大型日志文件集的分析，您可以运行 Amazon EMR 集群以执行 PB 级分析。

AWS 合作伙伴和第三方提供了许多用于聚合、处理、存储和分析的工具。这些工具包括 New Relic、Splunk、Loggly、Logstash、CloudHealth 和 Nagios。但是，系统和应用程序日志之外的生成对于每个云提供商，甚至每个服务来说都是独一无二的。

监控过程中常常被忽视的部分是数据管理。您需要确定数据监控的保留要求，然后相应地应用生命周期策略。Amazon S3 支持 S3 存储桶级别的生命周期管理。此生命周期管理可以通过不同的方式应用到存储桶中的不同路径。您可以在生命周期临近结束时，将数据转移到 Amazon S3 Glacier 进行长期存储，然后在保留期结束后让它们过期。S3 Intelligent-Tiering 存储类旨在通过将数据自动移动到最具成本效益的访问层来优化成本，却不会对性能或运营开销产生影响。

在未建立这种最佳实践的情况下暴露的风险等级：中

实施指导

• 您可以使用 CloudWatch Logs Insights，通过交互方式搜索并分析 Amazon CloudWatch Logs 中的日志数据。

  • Analyzing Log Data with CloudWatch Logs Insights

  • Amazon CloudWatch Logs Insights Sample Queries

• 使用 Amazon CloudWatch Logs 将日志发送到 Amazon S3 以供使用，或发送到 Amazon Athena 以查询数据。

  • 如何使用 Athena 分析我的 Amazon S3 服务器访问日志？

    • 为服务器访问日志存储桶创建 S3 生命周期策略。配置生命周期策略以定期删除日志文件。这样做可以减少 Athena 为每个查询分析的数据量。

      • 如何为 S3 存储桶创建生命周期策略？

资源

相关文档：

• Amazon CloudWatch Logs Insights Sample Queries

• Analyzing Log Data with CloudWatch Logs Insights

• Debugging with Amazon CloudWatch Synthetics and AWS X-Ray

• 如何为 S3 存储桶创建生命周期策略？

• 如何使用 Athena 分析我的 Amazon S3 服务器访问日志？

• One Observability 讲习会

• Amazon Builders' Library：检测分布式系统的运营可见性