本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
扇出到 AWS Event Fork Pipeline
对于事件存档和分析,亚马逊 SNS 现在建议使用其与亚马逊 Data Firehose 的原生集成。您可以将 Firehose 传输流订阅 SNS 主题,这样您就可以向存档和分析终端节点发送通知,例如亚马逊简单存储服务 (Amazon S3) 存储桶、亚马逊 Redshift 表、亚马逊 OpenSearch 服务(服务)等。OpenSearch 将 Amazon SNS 与 Firehose 传输流配合使用是一种完全托管且无需代码的解决方案,您无需使用任何功能。AWS Lambda有关更多信息,请参阅Fanout 到 Firehose 传送直播。 |
您可以使用 Amazon SNS 构建事件驱动的应用程序,这些应用程序使用订阅者服务自动执行工作以响应发布者服务所触发的事件。此架构模式可提高服务的可重用性、可互操作性和可扩展性。但是,将事件处理分解为可满足常见事件处理要求的管道(例如,事件存储、备份、搜索、分析和重放)可能会非常耗费人力。
为了加快事件驱动型应用程序的开发,您可以订阅事件处理管道(由 AWS Event Fork Pipeline 提供支持)到 Amazon SNS 主题。AWSEvent Fork Pipeline 是一套开源嵌套应用程序,基于 AWS无服务器应用程序模型
对于 AWS Event Fork Pipeline 使用案例,请参阅 部署和测试 AWS Event Fork Pipelines 示例应用程序。
主题
AWS Event Fork Pipeline 的工作原理
AWS Event Fork Pipeline 是一种无服务器设计模式。不过,它也是一个基于 AWS SAM 的嵌套的无服务器应用程序套件(可直接从 AWS Serverless Application Repository (AWS SAR) 部署到您的 AWS 账户来丰富事件驱动的平台)。您可以根据架构的需要单独部署这些嵌套的应用程序。
下图显示由三个嵌套的应用程序补充的 AWS Event Fork Pipelines 应用程序。您可以根据架构的需要,在 AWS SAR 上单独部署 AWS Event Fork Pipelines 套件中的任何管道。
![Event processing architecture with Amazon SNS topic feeding into multiple pipelines.](images/sns-fork-pipeline-as-subscriber-how-it-works.png)
为每个管道订阅了相同的 Amazon SNS 主题,并允许管道在事件发布到主题时并行处理这些事件。每个管道都是独立的,并且可以设置其自己的订阅筛选策略。这允许管道仅处理它感兴趣的部分事件(而不是发布到主题的所有事件)。
注意
由于您将三个 AWS Event Fork Pipelines 与常规事件处理管道一起部署(可能已订阅 Amazon SNS 主题),因此,您无需更改当前消息发布者的任何部分即可在现有工作负载中利用 AWS Event Fork Pipelines。
事件存储与备份管道
下图显示了事件存储与备份管道
该管道由一个用于缓冲由 Amazon SNS 主题传送的事件的 Amazon SQS 队列、一个自动轮询队列中这些事件并将其推送到 Amazon Data Firehose 流的AWS Lambda函数,以及一个持久备份流加载的事件的 Amazon S3 存储桶。
![AWS event storage backup pipeline with SNS, SQS, Lambda, Kinesis, S3, and Athena components.](images/sns-fork-event-storage-and-backup-pipeline.png)
要微调 Firehose 流的行为,可将其配置为在将事件加载到存储桶之前对事件进行缓冲、转换和压缩。在加载事件时,可以使用 Amazon Athena 通过标准 SQL 查询来查询存储桶。您也可以将管道配置为重用现有 Amazon S3 存储桶或创建一个新的存储桶。
事件搜索与分析管道
下图显示了事件搜索与分析管道
该管道由一个用于缓冲亚马逊 SNS 主题传送的事件的 Amazon SQS 队列、一个轮询队列中的事件并将其推送到 Amazon Data Firehose 流中的AWS Lambda函数、一个为 Firehose 流加载的事件编制索引的亚马逊 OpenSearch 服务域以及一个存储无法在搜索域中编制索引的死信事件的 Amazon S3 存储桶组成。
![Event search analytics pipeline with AWS 服务 for data processing and storage.](images/sns-fork-event-search-and-analytics-pipeline.png)
要在事件缓冲、转换和压缩方面微调 Firehose 流,您可以配置此管道。
您还可以配置管道是应重复使用您的现有 OpenSearch 域AWS 账户还是为您创建一个新域。在搜索域中为事件编制索引时,您可以使用 Kibana 对事件运行分析并实时更新可视化控制面板。
事件重播管道
下图显示了事件重播管道
此管道包含一个 Amazon SQS 队列(该队列缓冲由 Amazon SNS 主题传输的事件)和一个 AWS Lambda 函数(该函数轮询队列中的事件,并将事件重新导入也订阅了主题的常规事件处理管道中)。
![Event processing pipeline with Amazon SNS, SQS queues, and AWS Lambda for replay functionality.](images/sns-fork-event-replay-pipeline.png)
注意
默认情况下,重播功能已禁用,而不会重新导入您的事件。如果您需要重新处理事件,则必须启用 Amazon SQS 重播队列作为 AWS Lambda 重播函数的事件源。
部署 AWS Event Fork Pipeline
AWS Event Fork Pipelines 套件
在生产场景中,我们建议在整个应用程序的 AWS SAM 模板中嵌入 AWS Event Fork Pipelines。利用嵌套应用程序功能,可通过将资源 AWS::Serverless::Application
添加到您的 AWS SAM 模板并引用嵌套应用程序的 AWS SAR ApplicationId
和 SemanticVersion
来做到这一点。
例如,您可以通过将以下 YAML 片段添加到 AWS SAM 模板的 Resources
部分来将事件存储与备份管道用作嵌套应用程序。
Backup:
Type: AWS::Serverless::Application
Properties:
Location:
ApplicationId: arn:aws:serverlessrepo:us-east-2:123456789012:applications/fork-event-storage-backup-pipeline
SemanticVersion: 1.0.0
Parameters:
#The ARN of the Amazon SNS topic whose messages should be backed up to the Amazon S3 bucket.
TopicArn: !Ref MySNSTopic
在指定参数值时,您可以使用 AWS CloudFormation 内部函数来引用模板中的其他资源。例如,在上述 YAML 片段中,TopicArn
参数引用 AWS SAM 模板中其他位置定义的 AWS::SNS::Topic
资源 MySNSTopic
。有关更多信息,请参阅 AWS CloudFormation 用户指南中的内置函数参考。
注意
AWS SAR 应用程序的 AWS Lambda 控制台页面包含 Copy as SAM Resource(复制为 SAM 资源)按钮,此按钮将嵌套 AWS SAR 应用程序所需的 YAML 复制到剪贴板。