AWS Lambda 错误处理器示例应用程序 - AWS Lambda
架构和事件结构使用 AWS X-Ray 进行检测AWS CloudFormation 模板和其他资源

AWS Lambda 错误处理器示例应用程序

错误处理器示例应用程序演示了如何使用 AWS Lambda，处理来自 Amazon CloudWatch Logs 订阅的事件。CloudWatch Logs 允许您在日志条目与模式匹配时调用 Lambda 函数。该应用程序中的订阅监控函数的日志组来查找包含单词 ERROR 的条目。它会调用处理器 Lambda 函数作为响应。处理器函数检索导致错误的请求的完整日志流和跟踪数据，并将其存储下来以备后用。

函数代码包含在以下文件中：

使用 AWS CLI 和 AWS CloudFormation 可在数分钟内部署本示例。要在您的账户中下载、配置和部署本示例，请按照 README 中的说明操作。

架构和事件结构

本示例应用程序使用以下 AWS 服务：

  • AWS Lambda – 运行函数代码，将日志发送到 CloudWatch Logs，并将跟踪数据发送到 X-Ray。

  • Amazon CloudWatch Logs – 收集日志，并在日志条目与筛选器模式匹配时调用函数。

  • AWS X-Ray – 收集跟踪数据，对跟踪建立索引以方便搜索，并生成服务地图。

  • Amazon Simple Storage Service (Amazon S3) – 存储部署构件和应用程序输出。

标准费用适用于每项服务。

本应用程序中的 Lambda 函数会随机生成错误。当 CloudWatch Logs 在函数的日志中检测到单词 ERROR 时，即向处理器函数发送一个事件以进行处理。

例 CloudWatch Logs 消息事件
{
    "awslogs": {
        "data": "H4sIAAAAAAAAAHWQT0/DMAzFv0vEkbLYcdJkt4qVXmCDteIAm1DbZKjS+kdpB0Jo350MhsQFyVLsZ+unl/fJWjeO5asrPgbH5..."
    }
}

解码后，数据包含有关日志事件的详细信息。该函数使用这些详细信息来标识日志流，并解析日志消息以获取导致错误的请求的 ID。

例 已解码的 CloudWatch Logs 事件数据
{
    "messageType": "DATA_MESSAGE",
    "owner": "123456789012",
    "logGroup": "/aws/lambda/lambda-error-processor-randomerror-1GD4SSDNACNP4",
    "logStream": "2019/04/04/[$LATEST]63311769a9d742f19cedf8d2e38995b9",
    "subscriptionFilters": [
        "lambda-error-processor-subscription-15OPDVQ59CG07"
    ],
    "logEvents": [
        {
            "id": "34664632210239891980253245280462376874059932423703429141",
            "timestamp": 1554415868243,
            "message": "2019-04-04T22:11:08.243Z\t1d2c1444-efd1-43ec-b16e-8fb2d37508b8\tERROR\n"
        }
    ]
}

处理器函数使用来自 CloudWatch Logs 事件的信息，下载引起错误请求的完整日志流和 X-Ray 跟踪。它将这些信息存储在 Amazon S3 存储桶中。为了最终确定日志流和跟踪时间，函数在访问数据前将等待一小段时间。

使用 AWS X-Ray 进行检测

应用程序使用 AWS X-Ray 来跟踪函数调用以及函数对AWS服务的调用。X-Ray 使用从函数处接收的跟踪数据创建服务地图，帮助您确定错误。

两个 Node.js 函数在模板中配置为进行活动跟踪，并在代码中使用 AWS X-Ray SDK for Node.js 对它们进行检测。通过活动跟踪，Lambda 标签会将跟踪标头添加到传入请求，并将带有计时详细信息的跟踪发送到 X-Ray。此外，随机错误函数使用 X-Ray 开发工具包在注释中记录请求 ID 和用户信息。注释附加到跟踪，您可用它们来查找特定请求的跟踪。

处理器函数从 CloudWatch Logs 事件获取请求 ID，并使用 AWS SDK for JavaScript 针对该请求搜索 X-Ray。它使用AWS开发工具包客户端（使用 X-Ray 开发工具包进行检测）下载跟踪和日志流。然后将它们存储在输出存储桶中。X-Ray 开发工具包会记录这些调用，调用在跟踪中显示为子分段。

AWS CloudFormation 模板和其他资源

该应用程序在两个 Node.js 模块中实现，并使用一个 AWS CloudFormation 模板和提供支持的 shell 脚本进行部署。模板创建处理器函数、随机错误函数和以下支持资源。

  • 执行角色 – 一个 IAM 角色，授予函数访问其他AWS服务的权限。

  • 初级函数 – 一个附加函数，会调用随机错误函数来创建日志组。

  • 自定义资源 – 一个 AWS CloudFormation 自定义资源，在部署期间会调用初级函数确保日志组存在。

  • CloudWatch Logs 订阅 – 一个日志流订阅，在录入单词 ERROR 时会触发处理器函数。

  • 基于资源的策略 – 关于处理器函数的权限声明，允许 CloudWatch Logs 调用该函数。

  • Amazon S3 存储桶 – 处理器函数输出的存储位置。

在 GitHub 上查看应用程序模板。

为了解决 AWS CloudFormation 与 Lambda 集成的限制问题，模板创建了一个在部署期间运行的其他函数。所有 Lambda 函数都附带一个 CloudWatch Logs 日志组，用于存储函数执行的输出。但是，在第一次调用函数之前，不会创建日志组。

为了创建订阅（它取决于日志组是否存在），应用程序会使用第三个 Lambda 函数来调用随机错误函数。模板包含内联初级函数的代码。AWS CloudFormation 自定义资源在部署期间调用它。DependsOn 属性确保在订阅之前创建日志流和基于资源的策略。