经典负载均衡器的访问日志 - Elastic Load Balancing

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

经典负载均衡器的访问日志

Elastic Load Balancing 提供了访问日志,该访问日志可捕获有关发送到负载均衡器的请求的详细信息。每个日志都包含信息 (例如,收到请求的时间、客户端的 IP 地址、延迟、请求路径和服务器响应)。您可以使用这些访问日志分析流量模式并解决问题。

访问日志是 Elastic Load Balancing 的一项可选功能,默认情况下已禁用此功能。为负载均衡器启用访问日志之后,Elastic Load Balancing 捕获日志并将其存储在您指定的 Amazon S3 存储桶中。您可以随时禁用访问日志记录。

每个访问日志文件在存储到 S3 存储桶中之前将自动使用 SSE-S3 加密,并在您访问它时进行解密。您不需要执行任何操作;加密和解密以透明方式执行。每个日志文件都使用唯一的密钥加密,该密钥本身使用定期轮换的 KMS 密钥进行加密。有关更多信息,请参阅 Amazon Simple Storage Service 用户指南中的使用采用 Amazon S3 托管加密密钥的服务器端加密 (SSE-S3) 保护数据

使用访问日志无需额外付费。您需要支付 Amazon S3 的存储成本,但 Elastic Load Balancing 用以将日志文件发送到 Amazon S3 的带宽是免费的。有关存储成本的更多信息,请参阅 Amazon S3 定价

访问日志文件

Elastic Load Balancing 以指定间隔从每个负载均衡器节点发布日志文件。为负载均衡器启用访问日志时,可以指定 5 分钟或 60 分钟的发布间隔。在默认情况下,Elastic Load Balancing 以 60 分钟间隔发布日志。如果将间隔设置为 5 分钟,则日志的发布时间为 1:05、1:10、1:15,以此类推。如果将间隔设置为 5 分钟,则日志传输最多延迟 5 分钟;如果将间隔设置为 60 分钟,则最多延迟 15 分钟。您可以随时修改发布间隔。

负载均衡器可以传输相同时间段的多个日志。如果站点具有高流量、多个负载均衡器节点和较短日志发布间隔,则通常会发生这种情况。

访问日志的文件名采用以下格式:

bucket[/prefix]/AWSLogs/aws-account-id/elasticloadbalancing/region/yyyy/mm/dd/aws-account-id_elasticloadbalancing_region_load-balancer-name_end-time_ip-address_random-string.log
bucket

S3 存储桶的名称。

prefix

(可选)存储桶的前缀(逻辑层级结构)。您指定的前缀不得包含字符串 AWSLogs。要获取更多信息,请参阅使用前缀整理对象

AWSLogs

我们会在您指定的存储桶名称和可选前缀后添加以 AWSLogs 开头的文件名部分。

aws-account-id

所有者的 AWS 账户 ID。

region

负载均衡器和 S3 存储桶所在的区域。

yyyy/mm/dd

传输日志的日期。

load-balancer-name

负载均衡器的名称。

end-time

日志记录间隔结束的日期和时间。例如,如果发布间隔是 5 分钟,则结束时间 20140215T2340Z 中将包含在 23:35 与 23:40 之间发出的请求的条目。

ip-address

处理请求的负载均衡器节点的 IP 地址。对于内部负载均衡器,这是私有 IP 地址。

random-string

系统生成的随机字符串。

以下是一个带有“my-app”前缀的日志文件名示例:

s3://my-loadbalancer-logs/my-app/AWSLogs/123456789012/elasticloadbalancing/us-west-2/2018/02/15/123456789012_elasticloadbalancing_us-west-2_my-loadbalancer_20180215T2340Z_172.160.001.192_20sg8hgm.log

以下是一个不带前缀的日志文件名示例:

s3://my-loadbalancer-logs/AWSLogs/123456789012/elasticloadbalancing/us-west-2/2018/02/15/123456789012_elasticloadbalancing_us-west-2_my-loadbalancer_20180215T2340Z_172.160.001.192_20sg8hgm.log

日志文件可以在存储桶中存储任意长时间,不过您也可以定义 Amazon S3 生命周期规则以自动存档或删除日志文件。有关更多信息,请参阅 Amazon Simple Storage Service 用户指南中的对象生命周期管理

访问日志条目

Elastic Load Balancing 记录发送给负载均衡器的请求,包括从未到达后端实例的请求。例如,如果客户端发送格式错误的请求或是没有运行状况良好的实例进行响应,仍会记录请求。

重要

Elastic Load Balancing 将尽力记录请求。我们建议您使用访问日志来了解请求性质,而不是作为所有请求的完整描述。

语法

每个日志条目都包含向负载均衡器进行的单个请求的详细信息。日志条目中的所有字段用空格分隔。日志文件中的每个条目都遵循以下格式:

timestamp elb client:port backend:port request_processing_time backend_processing_time response_processing_time elb_status_code backend_status_code received_bytes sent_bytes "request" "user_agent" ssl_cipher ssl_protocol

下表描述了访问日志条目的字段。

字段 描述

time

负载均衡器从客户端收到请求的时间 (采用 ISO 8601 格式)。

elb

负载均衡器的名称

client:port

请求客户端的 IP 地址和端口。

backend:port

处理此请求的已注册实例的 IP 地址和端口。

如果负载均衡器无法将请求发送到已注册实例,或者如果在发送响应之前实例关闭了连接,则将此值设置为 -

如果注册的实例在空闲超时之前未响应,也可将此值设置为 -

request_processing_time

[HTTP 侦听器] 从负载均衡器收到请求一直到将请求发送到注册实例所用的总时间 (以秒为单位)。

[TCP 侦听器] 从负载均衡器接受来自客户端的 TCP/SSL 连接到负载均衡器发送数据的第一个字节到注册实例所用的总时间 (以秒为单位)。

如果负载均衡器无法将请求分派到已注册实例,则此值设置为 -1。如果已注册实例在空闲超时前关闭连接,或客户端发送了格式错误的请求,则会发生这种情况。此外,对于 TCP 侦听器来说,如果客户端与负载均衡器建立连接,但是不发送任何数据,则会发生这种情况。

如果注册的实例在空闲超时之前未响应,也可将此值设置为 -1

backend_processing_time

[HTTP 侦听器] 从负载均衡器将请求发送到已注册实例到该实例开始发送响应标头所用的总时间 (以秒为单位)。

[TCP 侦听器] 负载均衡器成功与注册实例建立连接所用的总时间 (以秒为单位)。

如果负载均衡器无法将请求分派到已注册实例,则此值设置为 -1。如果已注册实例在空闲超时前关闭连接,或客户端发送了格式错误的请求,则会发生这种情况。

如果注册的实例在空闲超时之前未响应,也可将此值设置为 -1

response_processing_time

[HTTP 侦听器] 从负载均衡器收到来自已注册实例的响应标头到开始向客户端发送响应所用的总时间 (以秒为单位)。此时间包括在负载均衡器上的排队时间以及从负载均衡器到客户端的连接获取时间。

[TCP 侦听器] 从负载均衡器收到来自已注册实例的第一个字节到开始向客户端发送响应所用的总时间 (以秒为单位)。

如果负载均衡器无法将请求分派到已注册实例,则此值设置为 -1。如果已注册实例在空闲超时前关闭连接,或客户端发送了格式错误的请求,则会发生这种情况。

如果注册的实例在空闲超时之前未响应,也可将此值设置为 -1

elb_status_code

[HTTP 侦听器] 来自负载均衡器的响应的状态代码。

backend_status_code

[HTTP 侦听器] 来自已注册实例的响应的状态代码。

received_bytes

从客户端 (申请方) 接收的请求大小 (以字节为单位)。

[HTTP 侦听器] 值包括请求正文,但不包括标头。

[TCP 侦听器] 值包括请求正文和标头。

sent_bytes

发送到客户端 (申请方) 的响应的大小 (以字节为单位)。

[HTTP 侦听器] 值包括响应正文,但不包括标头。

[TCP 侦听器] 值包括请求正文和标头。

请求

来自客户端的请求行,包含在双引号内并采用以下格式进行记录:HTTP 方法 + 协议://主机标头:端口 + 路径 + HTTP 版本。负载均衡器将保留客户端记录请求 URI 时发送的 URL。它不设置访问日志文件的内容类型。当您处理此字段时,请考虑客户端发送 URL 的方式。

[TCP 侦听器] URL 是三个短划线,相互之间用空格分隔并以空格结尾 ("- - - ")。

user_agent

[HTTP/HTTPS 侦听器] 标识发出请求的客户端的用户代理字符串。该字符串包含一个或多个产品标识符 (product[/version])。如果字符串长度超过 8 KB,则将被截断。

ssl_cipher

[HTTPS/SSL 侦听器] SSL 密码。仅当在成功协商后建立传入 SSL/TLS 连接时记录此值。否则,该值将设置为 -

ssl_protocol

[HTTPS/SSL 侦听器] SSL 协议。仅当在成功协商后建立传入 SSL/TLS 连接时记录此值。否则,该值将设置为 -

示例

示例 HTTP 条目

以下是 HTTP 侦听器 (端口 80 到端口 80) 的示例日志条目:

2015-05-13T23:39:43.945958Z my-loadbalancer 192.168.131.39:2817 10.0.0.1:80 0.000073 0.001048 0.000057 200 200 0 29 "GET http://www.example.com:80/ HTTP/1.1" "curl/7.38.0" - -
示例 HTTPS 条目

以下是 HTTPS 侦听器 (端口 443 到端口 80) 的示例日志条目:

2015-05-13T23:39:43.945958Z my-loadbalancer 192.168.131.39:2817 10.0.0.1:80 0.000086 0.001048 0.001337 200 200 0 57 "GET https://www.example.com:443/ HTTP/1.1" "curl/7.38.0" DHE-RSA-AES128-SHA TLSv1.2
示例 TCP 条目

以下是 TCP 侦听器 (端口 8080 到端口 80) 的示例日志条目:

2015-05-13T23:39:43.945958Z my-loadbalancer 192.168.131.39:2817 10.0.0.1:80 0.001069 0.000028 0.000041 - - 82 305 "- - - " "-" - -
示例 SSL 条目

以下是 SSL 侦听器 (端口 8443 到端口 80) 的示例日志条目:

2015-05-13T23:39:43.945958Z my-loadbalancer 192.168.131.39:2817 10.0.0.1:80 0.001065 0.000015 0.000023 - - 57 502 "- - - " "-" ECDHE-ECDSA-AES128-GCM-SHA256 TLSv1.2

处理访问日志

如果您的网站上有大量需求,则负载均衡器可以生成包含大量数据的日志文件 (以 GB 为单位)。您可能无法使用处理来 line-by-line 处理如此大量的数据。因此,您可能必须使用提供并行处理解决方案的分析工具。例如,您可以使用以下分析工具分析和处理访问日志: