REL06-BP05 分析日志

收集日志文件和指标历史记录并加以分析，获得更全面的趋势和工作负载见解。

Amazon CloudWatch Logs Insights 支持一种简单而强大的查询语言，您可以使用它来分析日志数据。Ama CloudWatch zon Logs 还支持订阅，允许数据无缝流向 Amazon S3，在那里你可以使用 Amazon Athena 来查询数据。该服务支持查询多种格式。有关更多信息 SerDes ，请参阅 Amazon Athena 用户指南中的支持格式和数据格式。要分析庞大的日志文件集，您可以运行 Amazon EMR 集群来运行 PB 级分析。

AWS 合作伙伴和第三方提供了许多工具，可以进行聚合、处理、存储和分析。这些工具包括 New Relic、Splunk、Loggly、Logstash 和 Nagios。 CloudHealth但是，系统和应用程序日志之外的生成对于每个云提供商，甚至每个服务来说都是独一无二的。

监控过程中常常被忽视的部分是数据管理。您需要确定数据监控的保留要求，然后相应地应用生命周期策略。Amazon S3 支持 S3 存储桶级别的生命周期管理。此生命周期管理可以通过不同的方式应用到存储桶中的不同路径。您可以在生命周期临近结束时，将数据转移到 Amazon S3 Glacier 进行长期存储，然后在保留期结束后让它们过期。S3 Intelligent-Tiering 存储类旨在通过将数据自动移动到最具成本效益的访问层来优化成本，却不会对性能或运营开销产生影响。

在未建立这种最佳实践的情况下暴露的风险等级：中

实施指导

• CloudWatch Logs Insights 允许您以交互方式搜索和分析 Amazon Logs 中的 CloudWatch 日志数据。

  • 使用日志见解分析 CloudWatch 日志数据

  • Amazon CloudWatch 日志见解示例查询

• 使用 Amazon CloudWatch Logs 将日志发送到 Amazon S3，您可以在那里使用或使用 Amazon Athena 来查询数据。

  • 如何使用 Athena 分析我的 Amazon S3 服务器访问日志？

    • 为服务器访问日志存储桶创建 S3 生命周期策略。配置生命周期策略以定期删除日志文件。这样做可以减少 Athena 为每个查询分析的数据量。

      • 如何为 S3 存储桶创建生命周期策略？

资源

相关文档：

• Amazon CloudWatch 日志见解示例查询

• 使用日志见解分析 CloudWatch 日志数据

• 使用 Amazon S CloudWatch ynthetics 进行调试和 AWS X-Ray

• 如何为 S3 存储桶创建生命周期策略？

• 如何使用 Athena 分析我的 Amazon S3 服务器访问日志？

• One Observability 讲习会

• Amazon Builders' Library：检测分布式系统的运营可见性