什么是 Amazon Security Lake? - Amazon Security Lake

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

什么是 Amazon Security Lake?

Amazon Security Lake 是一项完全托管的安全数据湖服务。您可以使用 Security Lake 将来自 AWS 环境、SaaS 提供商、本地、云端和第三方来源的安全数据自动集中到您的 AWS 账户 的专用数据湖中。Security Lake 可以帮助您分析安全数据,让您更全面地了解整个组织的安全状况。借助 Security Lake,您还可以改善对工作负载、应用程序和数据的保护。

数据湖由 Amazon Simple Storage Service (Amazon S3) 存储桶提供支持,您保留数据的所有权。

Security Lake 可以自动从集成的 AWS 服务和第三方服务中收集与安全相关的日志和事件数据。它还可以通过可自定义的保留和复制设置帮助您管理数据的生命周期。Security Lake 会将摄取的数据转换为 Apache Parquet 格式和名为开放网络安全架构框架 (OCSF) 的标准开源架构。在 OCSF 的支持下,Security Lake 可以对来自 AWS 和各种企业安全数据来源的安全数据进行标准化处理和合并。

其他 AWS 服务和第三方服务可以订阅存储在 Security Lake 中的数据,用于事件响应和安全数据分析。

Security Lake 概览

Amazon Security Lake 数据湖概览图,其中显示了 Security Lake 如何自动在您的账户中构建安全数据湖。

Security Lake 的功能

以下是 Security Lake 帮助您集中、管理和订阅与安全相关的日志和事件数据的一些关键方法。

将数据汇总到您的账户中

Security Lake 会在您的账户中创建专用的安全数据湖。Security Lake 可以从云端、本地以及不同账户和区域的自定义数据来源中收集日志和事件数据。数据湖由 Amazon Simple Storage Service (Amazon S3) 存储桶提供支持,您保留数据的所有权。

支持多种日志和事件来源

Security Lake 可以从包括本地、AWS 服务和第三方服务在内的多个来源中收集安全日志和事件。收集日志后,无论来源是什么,您都可以集中访问它们并管理其生命周期。有关 Security Lake 从中收集日志和事件的来源的详细信息,请参阅 Amazon Security Lake 中的来源管理

数据转换和标准化

Security Lake 会自动对来自原生支持的 AWS 服务的传入数据进行分区,并将其转换为适合高效存储和查询的 Parquet 格式。它还会将来自原生支持的 AWS 服务的数据转换为开放网络安全架构框架 (OCSF) 开源架构。这使得数据可以与其他 AWS 服务和第三方提供商兼容,无需进行后期处理。Security Lake 对数据进行了标准化,因此许多安全解决方案都可以并行使用这些数据。

为订阅用户提供多种级别的访问权限

订阅用户可以使用存储在 Security Lake 中的数据。您可以选择订阅用户对您的数据的访问权限级别。订阅用户只能使用来自您指定的来源和 AWS 区域中的数据。当新对象被写入数据湖时,订阅用户可能会自动收到有关这些对象的通知。订阅用户也可以从数据湖中查询数据。Security Lake 会自动在 Security Lake 和订阅用户之间创建和交换所需的凭证。

多账户和多区域数据管理

您可以在支持 Security Lake 的所有区域和多个 AWS 账户中集中启用 Security Lake。在 Security Lake 中,您还可以指定汇总区域,以便整合来自多个区域的安全日志和事件数据。这可以帮助您遵守数据驻留合规性要求。

可配置且可自定义

Security Lake 是一项可配置并且可自定义的服务。您可以指定要为哪些来源、账户和区域配置日志收集。您还可以指定订阅用户对数据湖的访问权限级别。

数据生命周期管理和优化

Security Lake 能够通过可自定义的留存设置来管理数据的生命周期,并通过自动存储分层来管理存储成本。Security Lake 会自动对传入的安全数据进行分区,并将其转换为适合高效存储和查询的 Parquet 格式。

访问 Security Lake

有关提供 Security Lake 的区域的列表,请参阅 Amazon Security Lake 区域和端点。要了解有关区域的更多信息,请参阅 AWS 一般参考中的 AWS服务端点

在每个区域,您可以通过以下任何方式访问 Security Lake:

AWS Management Console

AWS Management Console 是一个基于浏览器的界面,可以用来创建和管理 AWS 资源。Security Lake 控制台可以提供对您的 Security Lake 账户和资源的访问权限。您可以使用 Security Lake 控制台执行大多数 Security Lake 任务。

Security Lake API

要以编程方式访问 Security Lake,您可以使用 Security Lake API,直接向服务发出 HTTPS 请求。有关更多信息,请参阅 Security Lake API 参考

AWS Command Line Interface (AWS CLI)

使用 AWS CLI,您可以在系统的命令行中发出命令以执行 Security Lake 任务和 AWS 任务。与控制台相比,使用命令行更快捷、更方便。如果要构建执行任务的脚本,命令行工具也会十分有用。有关安装和使用 AWS CLI 的更多信息,请参阅 AWS Command Line Interface

AWS 软件开发工具包

AWS 提供的软件开发工具包包含用于各种编程语言和平台的库和示例代码,例如 Java、Go、Python、C++ 和 .NET 等。这些软件开发工具包可以提供对 Security Lake 和其他 AWS 服务的编程式便捷访问。它们可以执行多种任务,例如以加密方式对请求进行签名、管理错误以及自动重试请求等。有关安装和使用 AWS 软件开发工具包的信息,请参阅在 AWS 上构建的工具

以下是 Security Lake 使用的其他 AWS 服务:

  • Amazon EventBridge – 当对象被写入数据湖时,Security Lake 使用 EventBridge 通知订阅用户。

  • AWS Glue – Security Lake 使用 AWS Glue 爬网程序来创建 AWS Glue Data Catalog 表并将新写入的数据发送到 Data Catalog。Security Lake 还会将 AWS Lake Formation 表的分区元数据存储在 Data Catalog 中。

  • AWS Lake Formation – Security Lake 会为每个向 Security Lake 提供数据的来源创建一个单独的 Lake Formation 表。Lake Formation 表中包含来自每个来源的数据的相关信息,包括架构、分区和数据位置信息。订阅用户可以选择通过查询 Lake Formation 表来使用数据。

  • AWS Lambda – Security Lake 使用 Lambda 函数来支持对原始数据进行提取、转换和加载 (ETL) 作业,并在 AWS Glue 中为源数据注册分区。

  • Amazon S3 – Security Lake 将数据存储为 Amazon S3 对象。存储类和保留设置基于 Amazon S3 产品。Security Lake 不支持 Amazon S3 Select。

除以下 AWS 服务外,Security Lake 还从自定义来源收集数据:

  • AWS CloudTrail 管理事件和数据事件(S3、Lambda)

  • Amazon Route 53 resolver 查询日志

  • AWS Security Hub 结果

  • Amazon Virtual Private Cloud (Amazon VPC) 流日志

有关这些来源的更多信息,请参阅 从中收集数据 AWS 服务。您可以创建能够读取 OCSF 架构中的数据的订阅用户,从而使用安全数据湖中的 Amazon S3 对象。您还可以使用 Athena、Amazon Redshift 和与 AWS Glue 集成的第三方订阅服务来查询数据。