日志记录

您可以将 Apache Kafka 代理日志传送到以下一种或多种目标类型：亚马逊日 CloudWatch 志、亚马逊 S3、Amazon Data Firehose。您也可以使用以下方式记录亚马逊的MSKAPI通话 AWS CloudTrail.

代理日志

代理日志使您可以对 Apache Kafka 应用程序进行故障排除，并分析它们与集群的MSK通信。您可以将新集群或现有MSK集群配置为将INFO级别代理日志传送到以下一种或多种目标资源： CloudWatch 日志组、S3 存储桶、Firehose 传输流。然后，您可以通过 Firehose 将传输流中的日志数据传送到 OpenSearch 服务。在配置集群以向其传送代理日志之前，必须创建目标资源。如果这些目标资源尚MSK不存在，Amazon 就不会为您创建这些资源。有关这三种类型的目标资源以及如何创建这些资源的信息，请参阅以下文档：

所需的权限

要为亚马逊MSK代理日志配置目标，您用于亚马逊MSK操作的IAM身份必须具有AWS 托管策略：A A mazonMSKFull ccess策略中描述的权限。

要将代理日志流式传输到 S3 存储桶，您还需要 s3:PutBucketPolicy 权限。有关 S3 存储桶策略的信息，请参阅《Amazon S3 用户指南》中的如何添加 S3 存储桶策略？。有关一般IAM策略的信息，请参阅《IAM用户指南》中的访问管理。

与 SSE-存储KMS桶一起使用的必需KMS密钥策略

如果您使用为 S3 存储桶启用服务器端加密 AWS KMS-托管密钥 (SSE-KMS) 使用客户托管密钥，将以下内容添加到密钥的密钥策略中，这样 Amazon MSK 就可以将代理文件写入存储桶。KMS


{
  "Sid": "Allow Amazon MSK to use the key.",
  "Effect": "Allow",
  "Principal": {
    "Service": [
      "delivery.logs.amazonaws.com"
    ]
  },
  "Action": [
    "kms:Encrypt",
    "kms:Decrypt",
    "kms:ReEncrypt*",
    "kms:GenerateDataKey*",
    "kms:DescribeKey"
  ],
  "Resource": "*"
}

使用配置代理日志 AWS Management Console

如果您要创建新集群，请在监控部分中查找代理日志传送标题。您可以指定希望 Amazon 将您的经纪人日志传送MSK到哪个目的地。

对于现有集群，请从集群列表中选择集群，然后选择属性选项卡。向下滚动到日志传送部分，然后选择其编辑按钮。您可以指定希望 Amazon 将您的经纪人日志传送MSK到哪个目的地。

使用配置代理日志 AWS CLI

使用create-cluster或update-monitoring命令时，可以选择指定logging-info参数并将如下例所示的JSON结构传递给它。在这种情况下JSON，所有三种目的地类型都是可选的。


{
  "BrokerLogs": {
    "S3": {
      "Bucket": "ExampleBucketName",
      "Prefix": "ExamplePrefix",
      "Enabled": true
    },
    "Firehose": {
      "DeliveryStream": "ExampleDeliveryStreamName",
      "Enabled": true
    },
    "CloudWatchLogs": {
      "Enabled": true,
      "LogGroup": "ExampleLogGroupName"
    }
  }
}

使用 API配置代理日志

可以在中指定传递给CreateCluster或UpdateMonitoring操作的可选loggingInfo结构。JSON

注意

默认情况下，启用代理日志记录后，Amazon 会将INFO级别MSK日志记录到指定目的地。但是，Apache Kafka 2.4.X 及更高版本的用户可以将代理日志级别动态设置为任何 log4j 日志级别。有关动态设置代理日志级别的信息，请参阅 KIP-412：扩展管理员API以支持动态应用程序日志级别。如果您将日志级别动态设置为DEBUG或TRACE，我们建议使用 Amazon S3 或 Firehose 作为日志目标。如果您使用 CloudWatch 日志作为日志目标，并且动态启用DEBUG或TRACE级别日志记录，Amazon MSK 可能会持续提供日志示例。这可能会对代理性能带来显著影响，因此只有在 INFO 日志级别不够详细，无法确定问题的根本原因时才应使用。

使用记录API通话 AWS CloudTrail

注意

AWS CloudTrail 日志仅在您使用时MSK才可用于 Amazon IAM访问控制。

亚马逊MSK已整合 AWS CloudTrail，一项提供用户、角色或用户所执行操作记录的服务 AWS 在亚马逊上提供服务MSK。 CloudTrail 将API呼叫捕获为事件。捕获的调用包括来自亚马逊MSK控制台的调用和对亚马逊MSKAPI运营的代码调用。它还会捕获 Apache Kafka 操作，例如创建和更改主题与组。

如果您创建了跟踪，则可以允许将 CloudTrail 事件持续传输到 Amazon S3 存储桶，包括针对亚马逊的事件MSK。如果您未配置跟踪，您仍然可以在 CloudTrail 控制台的 “事件历史记录” 中查看最新的事件。使用收集的信息 CloudTrail，您可以确定向 Amazon MSK 或 Apache Kafka 操作发出的请求、发出请求的 IP 地址、谁发出了请求、何时发出请求以及其他详细信息。

要了解更多信息 CloudTrail，包括如何配置和启用它，请参阅 AWS CloudTrail 用户指南。

亚马逊MSK信息位于 CloudTrail

CloudTrail 在您创建账户时，您的亚马逊 Web Services 账户已启用。当受支持的事件活动发生在MSK集群中时，该活动会与其他 CloudTrail 活动一起记录在事件中 AWS 事件历史记录中的服务事件。您可以在 Amazon Web Services 账户中查看、搜索和下载最新事件。有关更多信息，请参阅使用事件历史记录查看 CloudTrail事件。

要持续记录您的亚马逊 Web Services 账户中的事件，包括亚马逊的事件MSK，请创建跟踪。跟踪允许 CloudTrail 将日志文件传输到 Amazon S3 存储桶。预设情况下，在控制台中创建跟踪时，此跟踪应用于所有区域。该跟踪记录了来自所有区域的事件 AWS 对日志文件进行分区并将日志文件传送到您指定的 Amazon S3 存储桶。此外，您可以配置其他 Amazon 服务，以进一步分析和处理 CloudTrail 日志中收集的事件数据。有关更多信息，请参阅下列内容：

Amaz MSK on 将所有亚马逊MSK操作作为事件 CloudTrail 记录在日志文件中。此外，它还会记录以下 Apache Kafka 操作。

kafka 集群：DescribeClusterDynamicConfiguration
kafka 集群：AlterClusterDynamicConfiguration
kafka 集群：CreateTopic
kafka 集群：DescribeTopicDynamicConfiguration
kafka 集群：AlterTopic
kafka 集群：AlterTopicDynamicConfiguration
kafka 集群：DeleteTopic

每个事件或日记账条目都包含有关生成请求的人员信息。身份信息有助于您确定以下内容：

请求是向 root 用户发出的，还是 AWS Identity and Access Management (IAM) 用户凭证。
请求是使用角色还是联合用户的临时安全凭证发出的。
请求是否由其他人提出 AWS 服务。

有关更多信息，请参阅CloudTrail userIdentity元素。

示例：Amazon MSK 日志文件条目

跟踪是一种配置，允许将事件作为日志文件传输到您指定的 Amazon S3 存储桶。 CloudTrail 日志文件包含一个或多个日志条目。一个事件表示来自任何源的一个请求，包括有关所请求的操作、操作的日期和时间、请求参数等方面的信息。 CloudTrail 日志文件不是公共API调用和 Apache Kafka 操作的有序堆栈跟踪，因此它们不会按任何特定的顺序出现。

以下示例显示了演示DescribeCluster和 DeleteCluster Amazon MSK 操作的 CloudTrail 日志条目。


{
  "Records": [
    {
      "eventVersion": "1.05",
      "userIdentity": {
        "type": "IAMUser",
        "principalId": "ABCDEF0123456789ABCDE",
        "arn": "arn:aws:iam::012345678901:user/Joe",
        "accountId": "012345678901",
        "accessKeyId": "AIDACKCEVSQ6C2EXAMPLE",
        "userName": "Joe"
      },
      "eventTime": "2018-12-12T02:29:24Z",
      "eventSource": "kafka.amazonaws.com",
      "eventName": "DescribeCluster",
      "awsRegion": "us-east-1",
      "sourceIPAddress": "192.0.2.0",
      "userAgent": "aws-cli/1.14.67 Python/3.6.0 Windows/10 botocore/1.9.20",
      "requestParameters": {
        "clusterArn": "arn%3Aaws%3Akafka%3Aus-east-1%3A012345678901%3Acluster%2Fexamplecluster%2F01234567-abcd-0123-abcd-abcd0123efa-2"
      },
      "responseElements": null,
      "requestID": "bd83f636-fdb5-abcd-0123-157e2fbf2bde",
      "eventID": "60052aba-0123-4511-bcde-3e18dbd42aa4",
      "readOnly": true,
      "eventType": "AwsApiCall",
      "recipientAccountId": "012345678901"
    },
    {
      "eventVersion": "1.05",
      "userIdentity": {
        "type": "IAMUser",
        "principalId": "ABCDEF0123456789ABCDE",
        "arn": "arn:aws:iam::012345678901:user/Joe",
        "accountId": "012345678901",
        "accessKeyId": "AIDACKCEVSQ6C2EXAMPLE",
        "userName": "Joe"
      },
      "eventTime": "2018-12-12T02:29:40Z",
      "eventSource": "kafka.amazonaws.com",
      "eventName": "DeleteCluster",
      "awsRegion": "us-east-1",
      "sourceIPAddress": "192.0.2.0",
      "userAgent": "aws-cli/1.14.67 Python/3.6.0 Windows/10 botocore/1.9.20",
      "requestParameters": {
        "clusterArn": "arn%3Aaws%3Akafka%3Aus-east-1%3A012345678901%3Acluster%2Fexamplecluster%2F01234567-abcd-0123-abcd-abcd0123efa-2"
      },
      "responseElements": {
        "clusterArn": "arn:aws:kafka:us-east-1:012345678901:cluster/examplecluster/01234567-abcd-0123-abcd-abcd0123efa-2",
        "state": "DELETING"
      },
      "requestID": "c6bfb3f7-abcd-0123-afa5-293519897703",
      "eventID": "8a7f1fcf-0123-abcd-9bdb-1ebf0663a75c",
      "readOnly": false,
      "eventType": "AwsApiCall",
      "recipientAccountId": "012345678901"
    }
  ]
}

以下示例显示了演示该kafka-cluster:CreateTopic操作的 CloudTrail 日志条目。


{
  "eventVersion": "1.08",
  "userIdentity": {
    "type": "IAMUser",
    "principalId": "ABCDEFGH1IJKLMN2P34Q5",
    "arn": "arn:aws:iam::111122223333:user/Admin",
    "accountId": "111122223333",
    "accessKeyId": "CDEFAB1C2UUUUU3AB4TT",
    "userName": "Admin"
  },
  "eventTime": "2021-03-01T12:51:19Z",
  "eventSource": "kafka-cluster.amazonaws.com",
  "eventName": "CreateTopic",
  "awsRegion": "us-east-1",
  "sourceIPAddress": "198.51.100.0/24",
  "userAgent": "aws-msk-iam-auth/unknown-version/aws-internal/3 aws-sdk-java/1.11.970 Linux/4.14.214-160.339.amzn2.x86_64 OpenJDK_64-Bit_Server_VM/25.272-b10 java/1.8.0_272 scala/2.12.8 vendor/Red_Hat,_Inc.",
  "requestParameters": {
    "kafkaAPI": "CreateTopics",
    "resourceARN": "arn:aws:kafka:us-east-1:111122223333:topic/IamAuthCluster/3ebafd8e-dae9-440d-85db-4ef52679674d-1/Topic9"
  },
  "responseElements": null,
  "requestID": "e7c5e49f-6aac-4c9a-a1d1-c2c46599f5e4",
  "eventID": "be1f93fd-4f14-4634-ab02-b5a79cb833d2",
  "readOnly": false,
  "eventType": "AwsApiCall",
  "managementEvent": true,
  "eventCategory": "Management",
  "recipientAccountId": "111122223333"
}

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

文档惯例

控制对 Apache 的访问权限 ZooKeeper

合规性验证