使用 Splunk 查看 AWS Network Firewall 日志和指标

Ivo Pinto，Amazon Web Services

Summary

许多组织使用 Splunk Enter prise 作为来自不同来源的日志和指标的集中聚合和可视化工具。 此模式可帮助您配置 Splunk，使其使用适用于 AWS 的 Splunk 插件从亚马逊 CloudWatch 日志中获取 AWS Network Firew all 日志和指标。 

为此，您需要创建一个只读的 AWS Identity and Access Management（IAM）角色。适用于 AWS 的 Splunk 附加组件使用此角色进行访问 CloudWatch。您可以配置 AWS 的 Splunk 插件以从中 CloudWatch获取指标和日志。最后，您需要在 Splunk 中根据检索到的日志数据和指标来创建可视化。

先决条件和限制

先决条件

• 一个 Splunk 账户

• 一个 Splunk Enterprise 实例，版本 8.2.2 或更高版本 

• 一个活跃的 AWS 账户

• Network Firewall，设置并配置为向日志发送 CloudWatch 日志

限制

• 必须将 Splunk Enterprise 作为一组 Amazon Elastic Compute Cloud（Amazon EC2）实例部署到 AWS 云端。

• AWS 中国区域不支持使用自动为 Amazon EC2 发现的 IAM 角色来收集数据。

架构

下图说明了以下内容：

1. Network Firewall 将日志发布到 CloudWatch 日志。

2. Splunk Enterprise 从中检索指标和日志。 CloudWatch

为了在此架构中填充示例指标和日志，一个工作负载会生成流量，这些流量将经过 Network Firewall 端点流向互联网。这是通过使用路由表来实现的。 尽管此模式使用单个 Amazon EC2 实例作为工作负载，但只要将 Network Firewall 配置为向 CloudWatch 日志发送日志，这种模式就可以应用于任何架构。

此架构还使用了另一个虚拟私有云（VPC）中的一个 Splunk Enterprise 实例。但是，Splunk 实例可以位于其他位置，例如与工作负载位于同一个 VPC 中，前提是它可以到达。 CloudWatch APIs

工具

AWS 服务

• Amazon CloudWatch Lo gs 可帮助您集中管理来自所有系统、应用程序和 AWS 服务的日志，以便您可以监控它们并安全地将其存档。

• Amazon Elastic Compute Cloud（Amazon EC2）在 AWS 云提供了可扩展的计算容量。您可以根据需要启动任意数量的虚拟服务器，并快速纵向扩展或缩减这些服务器。

• AWS Network Fire wall 是一项有状态的托管式网络防火墙以及入侵检测和防御服务，适用于 AWS 云 VPCs 中。

其他工具

• Splunk 可帮助您监控、可视化和分析日志数据。

操作说明

创建一个 IAM 角色

Task	说明	所需技能
创建 IAM 策略。	按照使用 JSON 编辑器创建策略中的说明创建授予 CloudWatch 日志数据和 CloudWatch 指标只读访问权限的 IAM 策略。将如下策略粘贴到 JSON 编辑器中。 { "Statement": [ { "Action": [ "cloudwatch:List*", "cloudwatch:Get*", "network-firewall:List*", "logs:Describe*", "logs:Get*", "logs:List*", "logs:StartQuery", "logs:StopQuery", "logs:TestMetricFilter", "logs:FilterLogEvents", "network-firewall:Describe*" ], "Effect": "Allow", "Resource": "*" } ], "Version": "2012-10-17" }	AWS 管理员
创建一个新的 IAM 角色。	按照创建角色中的说明向 AWS 服务委派权限，创建适用于 AWS 的 Splunk 附加组件访问 CloudWatch的 IAM 角色。对于权限策略，选择您之前创建的策略。	AWS 管理员
将此 IAM 角色分配给 Splunk 集群中的 EC2 实例。	打开位于 https://console.aws.amazon.com/ec2/ 的 Amazon EC2 控制台。 在导航窗格中，选择 Instances (实例)。 在 Splunk 集群中，选择 EC2 实例。 依次选择操作、安全性和修改 IAM 角色。 选择您之前创建的 IAM 角色，然后选择保存。	AWS 管理员

安装适用于 AWS 的 Splunk 附加组件

Task	说明	所需技能
安装此附加组件。	在 Splunk 控制面板中，导航到 Splunk 应用程序。 搜索适用于 Amazon Web Services 的 Splunk 附加组件。 选择安装。 提供您的 Splunk 凭证。	Splunk 管理员
配置 AWS 凭证。	在 Splunk 控制面板中，导航到适用于 AWS 的 Splunk 附加组件。 选择配置。 在自动发现的 IAM 角色列中，选择您之前创建的 IAM 角色。 有关详情，请参阅 Splunk 文档中的在您的 Splunk 平台实例内查找 IAM 角色。	Splunk 管理员

将 Splunk 的访问权限配置为 CloudWatch

Task	说明	所需技能
配置从日志中检索 Network Firewall 日 CloudWatch 志。	在 Splunk 控制面板中，导航到适用于 AWS 的 Splunk 附加组件。 选择输入。 选择创建新输入。 在列表中，选择 “自定义数据类型”，然后选择 “CloudWatch 日志”。 为您的 Network Firewall 日志提供名称、AWS 账户、AWS 区域和日志组。 选择保存。 默认情况下，Splunk 每 10 分钟获取一次日志数据。这是高级设置下方的一个可配置参数。有关更多信息，请参阅 Splunk 文档中的使用 Splunk Web 配置 CloudWatch 日志输入。	Splunk 管理员
配置从中检索 Network Firewall 指标 CloudWatch。	在 Splunk 控制面板中，导航到适用于 AWS 的 Splunk 附加组件。 选择输入。 选择创建新输入。 在列表中，选择CloudWatch。 为您的 Network Firewall 指标提供名称、AWS 账户和 AWS 区域。 在指标配置旁边，选择在高级模式下编辑。 （可选）删除所有预配置的命名空间。  选择 “添加命名空间”，然后将其命名为 AWS/ NetworkFirewall。 在维度值中，添加以下内容。 [{"AvailabilityZone":[".*"],"Engine":[".*"],"FirewallName":[".*"]}] 对于指标，选择全部。 对于指标统计数据，选择总和。 选择确定。 选择保存。 默认情况下，Splunk 每 5 分钟获取一次指标数据。这是高级设置下方的一个可配置参数。有关更多信息，请参阅 Splunk 文档中的使用 Splunk Web 配置 CloudWatch 输入。	Splunk 管理员

使用查询创建 Splunk 可视化

Task	说明	所需技能
查看排名靠前的源 IP 地址。	在 Splunk 控制面板中，导航到搜索和报告。 在在此输入搜索框中，输入如下内容。 sourcetype="aws:cloudwatchlogs" | top event.src_ip 此查询将按降序顺序显示流量最多的源 IP 地址表。 对于图形表示，选择可视化。	Splunk 管理员
查看数据包统计数据。	在 Splunk 控制面板中，导航到搜索和报告。 在在此输入搜索框中，输入如下内容。 sourcetype="aws:cloudwatch"| timechart sum(Sum) by metric_name 此查询将显示每分钟的 DroppedPackets、PassedPackets 和 ReceivedPackets 这几个指标的表。 对于图形表示，选择可视化。	Splunk 管理员
查看最常用的源端口。	在 Splunk 控制面板中，导航到搜索和报告。 在在此输入搜索框中，输入如下内容。 sourcetype="aws:cloudwatchlogs" | top event.dest_port 此查询将按降序顺序显示流量最多的源端口表。 对于图形表示，选择可视化。	Splunk 管理员

相关资源

AWS 文档

• 创建向 AWS 服务委托权限的角色（IAM 文档）

• 创建 IAM 策略（IAM 文档）

• 在 AWS Network Firewall 中进行日志记录和监控（Network Firewall 文档）

• AWS Network Firewall 的路由表配置（Network Firewall 文档）

AWS 博客文章

• AWS Network Firewall 部署模式

Amazon Web Services Marketplace

• Splunk Enterprise 亚马逊机器映像（AMI）