日誌

您可以將 Apache Kafka 代理程式日誌傳遞到下列一或多個目的地類型：Amazon CloudWatch 日誌、Amazon S3、Amazon 資料 Firehose。您也可以使 AWS CloudTrail用記錄 Amazon MSK API 呼叫。

代理程式日誌

代理程式日誌可讓您針對 Apache Kafka 應用程式進行疑難排解，並分析與 MSK 叢集的通訊。您可以設定新的或現有的 MSK 叢集，將資訊層級代理程式記錄傳遞至下列一或多個目的地資源類型：日 CloudWatch 誌群組、S3 儲存貯體、Firehose 交付串流。然後，您可以透過 Firehose 將日誌資料從交付串流傳送至「 OpenSearch 服務」。您必須先建立目的地資源，才能設定叢集向其傳遞代理程式日誌。如果這些目的地資源尚未存在，Amazon MSK 不會為您建立它們。如需有關這三種目標資源類型以及如何建立這些資源的資訊，請參閱下列文件：

所需的許可

若要設定 Amazon MSK 代理程式日誌的目的地，您用於 Amazon MSK 動作的 IAM 身分必須具有 AWS 管理策略：亞馬遜 FullAccess 政策中所述的許可。

若要將代理程式日誌串流到 S3 儲存貯體，您也需要 s3:PutBucketPolicy 許可。如需有關 S3 儲存貯體政策的資訊，請參閱《Amazon S3 使用者指南》中的如何新增 S3 儲存貯體政策？如需有關 IAM 政策的一般資訊，請參閱《IAM 使用者指南》的存取管理。

使用 SSE-KMS 儲存貯體所需的 KMS 金鑰政策

如果您使用託管金鑰 (SSE-KMS) 和客戶 AWS KMS受管金鑰為 S3 儲存貯體啟用伺服器端加密，請將以下內容新增至 KMS 金鑰的金鑰政策，以便 Amazon MSK 可以將代理程式檔案寫入儲存貯體。


{
  "Sid": "Allow Amazon MSK to use the key.",
  "Effect": "Allow",
  "Principal": {
    "Service": [
      "delivery.logs.amazonaws.com"
    ]
  },
  "Action": [
    "kms:Encrypt",
    "kms:Decrypt",
    "kms:ReEncrypt*",
    "kms:GenerateDataKey*",
    "kms:DescribeKey"
  ],
  "Resource": "*"
}

使用設定代理程式記錄檔 AWS Management Console

如果您要建立新叢集，請在監控區段中尋找代理程式日誌交付標題。您可以指定想要 Amazon MSK 向其傳遞代理程式日誌的目標。

針對現有叢集，請從您的叢集清單中選擇叢集，然後選擇屬性索引標籤。向下捲動到日誌交付區段，然後選擇其編輯按鈕。您可以指定想要 Amazon MSK 向其傳遞代理程式日誌的目標。

使用設定代理程式記錄檔 AWS CLI

當您使用 create-cluster 或 update-monitoring 命令時，可以選擇指定 logging-info 參數，並向其傳遞 JSON 結構，如以下範例所示。在此 JSON 中，所有三種目標類型都是選用的。


{
  "BrokerLogs": {
    "S3": {
      "Bucket": "ExampleBucketName",
      "Prefix": "ExamplePrefix",
      "Enabled": true
    },
    "Firehose": {
      "DeliveryStream": "ExampleDeliveryStreamName",
      "Enabled": true
    },
    "CloudWatchLogs": {
      "Enabled": true,
      "LogGroup": "ExampleLogGroupName"
    }
  }
}

使用 API 設定代理程式日誌

您可以在傳遞給CreateCluster或作業的 JSON 中指定選用loggingInfo結UpdateMonitoring構。

注意

根據預設，啟用代理程式日誌後，Amazon MSK 會記錄 INFO 層級日誌至指定的目的地。然而，Apache Kafka 2.4.X 及更高版本的使用者可以將代理程式日誌層級動態設定為任何 log4j 日誌層級。如需有關動態設定代理程式日誌層級的相關資訊，請參閱 KIP-412: Extend Admin API to support dynamic application log levels。如果您將日誌級別動態設置為DEBUG或TRACE，我們建議您使用 Amazon S3 或 Firehose 作為日誌目的地。如果您使用 Lo CloudWatch gs 做為日誌目的地，並且動態啟用DEBUG或TRACE層級記錄，Amazon MSK 可能會持續提供日誌範例。這可能會大幅影響代理程式效能，只有在 INFO 日誌層級不夠詳細、無法判斷問題的根本原因時才應該使用方法。

使用 AWS CloudTrail記錄 API 呼叫

注意

AWS CloudTrail 只有在您使用時，日誌才可用IAM 存取控制於 Amazon MSK。

Amazon MSK 與服務整合在一起 AWS CloudTrail，該服務可提供 Amazon MSK 中使用者、角色或 AWS 服務所採取的動作記錄。 CloudTrail 擷取做為事件的 API 呼叫。擷取的呼叫包括從 Amazon MSK 主控台執行的呼叫，以及對 Amazon MSK API 操作發出的程式碼呼叫。它也會擷取 Apache Kafka 的動作，例如建立、變更主題和群組。

如果您建立追蹤，您可以啟用持續交付 CloudTrail 事件到 Amazon S3 儲存貯體，包括 Amazon MSK 的事件。如果您未設定追蹤，您仍然可以在 [事件歷程記錄] 中檢視 CloudTrail 主控台中最近的事件。使用收集的資訊 CloudTrail，您可以判斷向 Amazon MSK 或 Apache Kafka 動作提出的請求、提出請求的 IP 位址、提出請求的人員、提出請求的時間以及其他詳細資訊。

若要進一步了解 CloudTrail，包括如何設定和啟用它，請參閱AWS CloudTrail 使用者指南。

Amazon MSK 信息 CloudTrail

CloudTrail 當您創建帳戶時，您的 Amazon Web Services 帳戶已啟用。當受支援的事件活動發生在 MSK 叢集中時，該活動會與事件歷史記錄中的其他 AWS 服務 CloudTrail 事件一起記錄在事件中。您可以檢視、搜尋和下載 Amazon Web Services 帳戶中的最近事件。如需詳細資訊，請參閱檢視具有事 CloudTrail件記錄的事件。

如需 Amazon Web Services 帳戶中正在進行事件的記錄 (包含 Amazon MSK 的事件)，請建立追蹤。追蹤可 CloudTrail 將日誌檔交付到 Amazon S3 儲存貯體。根據預設，當您在主控台建立線索時，線索會套用到所有區域。該追蹤會記錄來自 AWS 分割區中所有區域的事件，並將日誌檔案交付到您指定的 Amazon S3 儲存貯體。此外，您可以設定其他 Amazon 服務，以進一步分析 CloudTrail 日誌中收集的事件資料並採取行動。如需詳細資訊，請參閱下列內容：

Amazon MSK 將所有 Amazon MSK 操作記錄為日 CloudTrail 誌檔中的事件。此外，它會記錄下列 Apache Kafka 動作。

卡夫卡集群：DescribeClusterDynamicConfiguration
卡夫卡集群：AlterClusterDynamicConfiguration
卡夫卡集群：CreateTopic
卡夫卡集群：DescribeTopicDynamicConfiguration
卡夫卡集群：AlterTopic
卡夫卡集群：AlterTopicDynamicConfiguration
卡夫卡集群：DeleteTopic

每一筆事件或日誌專案都會包含產生請求者的資訊。身分資訊可協助您判斷下列事項：

請求是以根使用者還是 AWS Identity and Access Management (IAM) 使用者登入資料提出。
提出該請求時，是否使用了特定角色或聯合身分使用者的暫時安全憑證。
請求是否由其他 AWS 服務提出。

如需詳細資訊，請參閱CloudTrail 使 userIdentity 元素。

範例：Amazon MSK 日誌檔案項目

追蹤是一種組態，可讓事件以日誌檔的形式傳遞到您指定的 Amazon S3 儲存貯體。 CloudTrail 記錄檔包含一或多個記錄項目。一個事件為任何來源提出的單一請求，並包含請求動作、請求的日期和時間、請求參數等資訊。 CloudTrail 日誌文件不是公共 API 調用和 Apache Kafka 操作的有序堆棧跟踪，因此它們不會以任何特定順序顯示。

下列範例顯示示範DescribeCluster和 DeleteCluster Amazon MSK 動作的 CloudTrail 記錄項目。


{
  "Records": [
    {
      "eventVersion": "1.05",
      "userIdentity": {
        "type": "IAMUser",
        "principalId": "ABCDEF0123456789ABCDE",
        "arn": "arn:aws:iam::012345678901:user/Joe",
        "accountId": "012345678901",
        "accessKeyId": "AIDACKCEVSQ6C2EXAMPLE",
        "userName": "Joe"
      },
      "eventTime": "2018-12-12T02:29:24Z",
      "eventSource": "kafka.amazonaws.com",
      "eventName": "DescribeCluster",
      "awsRegion": "us-east-1",
      "sourceIPAddress": "192.0.2.0",
      "userAgent": "aws-cli/1.14.67 Python/3.6.0 Windows/10 botocore/1.9.20",
      "requestParameters": {
        "clusterArn": "arn%3Aaws%3Akafka%3Aus-east-1%3A012345678901%3Acluster%2Fexamplecluster%2F01234567-abcd-0123-abcd-abcd0123efa-2"
      },
      "responseElements": null,
      "requestID": "bd83f636-fdb5-abcd-0123-157e2fbf2bde",
      "eventID": "60052aba-0123-4511-bcde-3e18dbd42aa4",
      "readOnly": true,
      "eventType": "AwsApiCall",
      "recipientAccountId": "012345678901"
    },
    {
      "eventVersion": "1.05",
      "userIdentity": {
        "type": "IAMUser",
        "principalId": "ABCDEF0123456789ABCDE",
        "arn": "arn:aws:iam::012345678901:user/Joe",
        "accountId": "012345678901",
        "accessKeyId": "AIDACKCEVSQ6C2EXAMPLE",
        "userName": "Joe"
      },
      "eventTime": "2018-12-12T02:29:40Z",
      "eventSource": "kafka.amazonaws.com",
      "eventName": "DeleteCluster",
      "awsRegion": "us-east-1",
      "sourceIPAddress": "192.0.2.0",
      "userAgent": "aws-cli/1.14.67 Python/3.6.0 Windows/10 botocore/1.9.20",
      "requestParameters": {
        "clusterArn": "arn%3Aaws%3Akafka%3Aus-east-1%3A012345678901%3Acluster%2Fexamplecluster%2F01234567-abcd-0123-abcd-abcd0123efa-2"
      },
      "responseElements": {
        "clusterArn": "arn:aws:kafka:us-east-1:012345678901:cluster/examplecluster/01234567-abcd-0123-abcd-abcd0123efa-2",
        "state": "DELETING"
      },
      "requestID": "c6bfb3f7-abcd-0123-afa5-293519897703",
      "eventID": "8a7f1fcf-0123-abcd-9bdb-1ebf0663a75c",
      "readOnly": false,
      "eventType": "AwsApiCall",
      "recipientAccountId": "012345678901"
    }
  ]
}

下列範例顯示示範kafka-cluster:CreateTopic動作的 CloudTrail 記錄項目。


{
  "eventVersion": "1.08",
  "userIdentity": {
    "type": "IAMUser",
    "principalId": "ABCDEFGH1IJKLMN2P34Q5",
    "arn": "arn:aws:iam::111122223333:user/Admin",
    "accountId": "111122223333",
    "accessKeyId": "CDEFAB1C2UUUUU3AB4TT",
    "userName": "Admin"
  },
  "eventTime": "2021-03-01T12:51:19Z",
  "eventSource": "kafka-cluster.amazonaws.com",
  "eventName": "CreateTopic",
  "awsRegion": "us-east-1",
  "sourceIPAddress": "198.51.100.0/24",
  "userAgent": "aws-msk-iam-auth/unknown-version/aws-internal/3 aws-sdk-java/1.11.970 Linux/4.14.214-160.339.amzn2.x86_64 OpenJDK_64-Bit_Server_VM/25.272-b10 java/1.8.0_272 scala/2.12.8 vendor/Red_Hat,_Inc.",
  "requestParameters": {
    "kafkaAPI": "CreateTopics",
    "resourceARN": "arn:aws:kafka:us-east-1:111122223333:topic/IamAuthCluster/3ebafd8e-dae9-440d-85db-4ef52679674d-1/Topic9"
  },
  "responseElements": null,
  "requestID": "e7c5e49f-6aac-4c9a-a1d1-c2c46599f5e4",
  "eventID": "be1f93fd-4f14-4634-ab02-b5a79cb833d2",
  "readOnly": false,
  "eventType": "AwsApiCall",
  "managementEvent": true,
  "eventCategory": "Management",
  "recipientAccountId": "111122223333"
}

您的瀏覽器已停用或無法使用 Javascript。

您必須啟用 Javascript，才能使用 AWS 文件。請參閱您的瀏覽器說明頁以取得說明。

文件慣用形式

控制對阿帕奇的存取 ZooKeeper

法規遵循驗證