기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
로깅
Apache Kafka 브로커 로그를 Amazon Logs, Amazon S3, Amazon CloudWatch Data Firehose와 같은 하나 이상의 대상 유형으로 전송할 수 있습니다. 를 사용하여 Amazon MSK API 통화를 기록할 수도 AWS CloudTrail있습니다.
브로커 로그
브로커 로그를 사용하면 Apache Kafka 애플리케이션 문제를 해결하고 클러스터와의 통신을 분석할 수 있습니다. MSK 로그 그룹, S3 버킷, Firehose 전송 스트림 등 하나 이상의 대상 리소스 유형 (예: CloudWatch 로그 그룹, S3 버킷, Firehose 전송 스트림) 에 INFO -레벨 브로커 로그를 전송하도록 새 MSK 클러스터 또는 기존 클러스터를 구성할 수 있습니다. 그러면 Firehose를 통해 전송 스트림의 로그 데이터를 서비스로 전송할 수 있습니다. OpenSearch 클러스터에 브로커 로그를 전달하도록 클러스터를 구성하기 전에 대상 리소스를 생성해야 합니다. MSKAmazon은 이러한 대상 리소스가 아직 존재하지 않는 경우 자동으로 생성하지 않습니다. 이러한 세 가지 유형의 대상 리소스와 이를 생성하는 방법에 대한 자세한 내용은 다음 설명서를 참조하십시오.
필요한 권한
Amazon MSK 브로커 로그의 대상을 구성하려면 Amazon MSK 작업에 사용하는 IAM ID에 AWS 관리형 정책: A mazonMSKFull Access 정책에 설명된 권한이 있어야 합니다.
브로커 로그를 S3 버킷으로 스트리밍하려면 s3:PutBucketPolicy 권한도 필요합니다. S3 버킷 정책에 대한 자세한 내용은 Amazon S3 사용 설명서에서 S3 버킷 정책을 추가하려면 어떻게 해야 하나요?를 참조하세요. 일반적인 IAM 정책에 대한 자세한 내용은 IAM 사용 설명서의 액세스 관리를 참조하십시오.
버킷과 함께 사용하기 위한 필수 KMS 키 정책 SSE - KMS 버킷
고객 관리 키와 함께 AWS KMS-managed keys (SSE-KMS) 를 사용하여 S3 버킷의 서버 측 암호화를 활성화한 경우, Amazon에서 버킷에 브로커 파일을 쓸 MSK 수 있도록 KMS 키의 키 정책에 다음을 추가하십시오.
{ "Sid": "Allow Amazon MSK to use the key.", "Effect": "Allow", "Principal": { "Service": [ "delivery.logs.amazonaws.com" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }
를 사용하여 브로커 로그를 구성합니다. AWS Management Console
새 클러스터를 생성하는 경우 모니터링 섹션에서 브로커 로그 전달 제목을 찾습니다. Amazon에서 브로커 로그를 MSK 전송할 대상을 지정할 수 있습니다.
기존 클러스터의 경우 클러스터 목록에서 클러스터를 선택한 다음 속성 탭을 선택합니다. 모니터링 섹션까지 아래로 스크롤한 다음 편집 버튼을 선택합니다. Amazon에서 브로커 로그를 MSK 전송할 대상을 지정할 수 있습니다.
를 사용하여 브로커 로그를 구성합니다. AWS CLI
create-cluster또는 update-monitoring 명령을 사용할 때 선택적으로 파라미터를 지정하고 다음 예와 같은 JSON 구조를 logging-info 파라미터에 전달할 수 있습니다. 이 JSON 경우 세 가지 대상 유형은 모두 선택 사항입니다.
{ "BrokerLogs": { "S3": { "Bucket": "ExampleBucketName", "Prefix": "ExamplePrefix", "Enabled": true }, "Firehose": { "DeliveryStream": "ExampleDeliveryStreamName", "Enabled": true }, "CloudWatchLogs": { "Enabled": true, "LogGroup": "ExampleLogGroupName" } } }
API을 사용하여 브로커 로그 구성
CreateCluster또는 UpdateMonitoring작업에 전달하는 선택적 loggingInfo 구조체를 에서 JSON 지정할 수 있습니다.
참고
기본적으로 브로커 로깅이 활성화되면 Amazon은 지정된 대상에 INFO 레벨 MSK 로그를 기록합니다. 그러나 Apache Kafka 2.4.X 이상 사용자는 브로커 로그 수준을 log4j log 수준DEBUG 또는 로 동적으로 설정하는 경우 Amazon S3 또는 TRACE Firehose를 로그 대상으로 사용하는 것이 좋습니다. CloudWatch 로그를 로그 대상으로 사용하고 로깅을 동적으로 활성화 DEBUG 또는 TRACE 레벨링하는 경우 Amazon은 지속적으로 로그 샘플을 제공할 MSK 수 있습니다. 이는 브로커 성능에 상당한 영향을 미칠 수 있으므로 INFO 로그 수준이 문제의 근본 원인을 파악하기에 충분히 상세하지 않은 경우에만 사용해야 합니다.
를 사용하여 API 통화를 기록합니다. AWS CloudTrail
참고
AWS CloudTrail Amazon의 로그는 사용하는 MSK 경우에만 사용할 수 IAM액세스 제어 있습니다.
MSKAmazon은 Amazon에서 사용자 AWS CloudTrail, 역할 또는 서비스가 수행한 작업의 기록을 제공하는 AWS 서비스와 통합되어 MSK 있습니다. CloudTrail AS 이벤트에 대한 API 호출을 캡처합니다. 캡처된 호출에는 Amazon MSK 콘솔에서의 호출 및 Amazon MSK API 작업에 대한 코드 호출이 포함됩니다. 또한 주제 및 그룹 생성 및 변경과 같은 Apache Kafka 작업을 캡처합니다.
트레일을 생성하면 Amazon 이벤트를 포함하여 Amazon S3 버킷으로 CloudTrail 이벤트를 지속적으로 전송할 수 MSK 있습니다. 트레일을 구성하지 않아도 CloudTrail 콘솔의 이벤트 기록에서 가장 최근 이벤트를 계속 볼 수 있습니다. 에서 수집한 CloudTrail 정보를 사용하여 Amazon MSK 또는 Apache Kafka 작업에 이루어진 요청, 요청이 이루어진 IP 주소, 요청한 사람, 요청 시기 및 추가 세부 정보를 확인할 수 있습니다.
구성 및 활성화 방법을 CloudTrail 포함하여 자세한 내용은 사용 설명서를 참조하십시오.AWS CloudTrail
아마존 MSK 정보 입력 CloudTrail
CloudTrail 계정을 생성하면 Amazon Web Services 계정에서 활성화됩니다. MSK클러스터에서 지원되는 이벤트 활동이 발생하면 해당 활동이 CloudTrail 이벤트 기록의 다른 AWS 서비스 이벤트와 함께 이벤트에 기록됩니다. Amazon Web Services 계정에서 최신 이벤트를 확인, 검색 및 다운로드할 수 있습니다. 자세한 내용은 이벤트 기록과 함께 CloudTrail 이벤트 보기를 참조하십시오.
Amazon 이벤트를 포함하여 Amazon Web Services 계정에서 진행 중인 이벤트 기록을 보려면 MSK 트레일을 생성하십시오. 트레일을 사용하면 CloudTrail Amazon S3 버킷으로 로그 파일을 전송할 수 있습니다. 콘솔에서 추적을 생성하면 기본적으로 모든 지역에 추적이 적용됩니다. 추적은 AWS 파티션에 있는 모든 지역의 이벤트를 로깅하고 지정된 Amazon S3 버킷으로 로그 파일을 전송합니다. 또한 CloudTrail 로그에서 수집된 이벤트 데이터를 추가로 분석하고 이에 따라 조치를 취하도록 다른 Amazon 서비스를 구성할 수 있습니다. 자세한 내용은 다음 자료를 참조하십시오.
MSKAmazon은 모든 Amazon MSK 작업을 CloudTrail 로그 파일에 이벤트로 기록합니다. 또한 다음과 같은 Apache Kafka 작업을 기록합니다.
-
카프카 클러스터: DescribeClusterDynamicConfiguration
-
카프카 클러스터: AlterClusterDynamicConfiguration
-
카프카 클러스터: CreateTopic
-
카프카 클러스터: DescribeTopicDynamicConfiguration
-
카프카 클러스터: AlterTopic
-
카프카 클러스터: AlterTopicDynamicConfiguration
-
카프카 클러스터: DeleteTopic
모든 이벤트 및 로그 항목에는 요청을 생성한 사용자에 대한 정보가 들어 있습니다. 보안 인증 정보를 이용하면 다음을 쉽게 판단할 수 있습니다.
-
요청이 루트 사용자 자격 증명으로 이루어졌는지 AWS Identity and Access Management () IAM 사용자 자격 증명으로 이루어졌는지 여부.
-
역할 또는 페더레이션 사용자에 대한 임시 보안 보안 인증을 사용하여 요청이 생성되었는지 여부.
-
다른 AWS 서비스에서 요청했는지 여부.
자세한 내용은 CloudTrail userIdentity요소를 참조하십시오.
예: Amazon MSK 로그 파일 항목
트레일은 지정한 Amazon S3 버킷에 이벤트를 로그 파일로 전송할 수 있는 구성입니다. CloudTrail 로그 파일에는 하나 이상의 로그 항목이 포함되어 있습니다. 이벤트는 모든 소스로부터의 단일 요청을 나타내며 요청 작업, 작업 날짜와 시간, 요청 파라미터 등에 대한 정보가 들어 있습니다. CloudTrail 로그 파일은 공개 API 호출 및 Apache Kafka 작업의 정렬된 스택 추적이 아니므로 특정 순서로 표시되지 않습니다.
다음 예는 DescribeCluster 및 DeleteCluster Amazon MSK 작업을 보여주는 CloudTrail 로그 항목을 보여줍니다.
{ "Records": [ { "eventVersion": "1.05", "userIdentity": { "type": "IAMUser", "principalId": "ABCDEF0123456789ABCDE", "arn": "arn:aws:iam::012345678901:user/Joe", "accountId": "012345678901", "accessKeyId": "AIDACKCEVSQ6C2EXAMPLE", "userName": "Joe" }, "eventTime": "2018-12-12T02:29:24Z", "eventSource": "kafka.amazonaws.com", "eventName": "DescribeCluster", "awsRegion": "us-east-1", "sourceIPAddress": "192.0.2.0", "userAgent": "aws-cli/1.14.67 Python/3.6.0 Windows/10 botocore/1.9.20", "requestParameters": { "clusterArn": "arn%3Aaws%3Akafka%3Aus-east-1%3A012345678901%3Acluster%2Fexamplecluster%2F01234567-abcd-0123-abcd-abcd0123efa-2" }, "responseElements": null, "requestID": "bd83f636-fdb5-abcd-0123-157e2fbf2bde", "eventID": "60052aba-0123-4511-bcde-3e18dbd42aa4", "readOnly": true, "eventType": "AwsApiCall", "recipientAccountId": "012345678901" }, { "eventVersion": "1.05", "userIdentity": { "type": "IAMUser", "principalId": "ABCDEF0123456789ABCDE", "arn": "arn:aws:iam::012345678901:user/Joe", "accountId": "012345678901", "accessKeyId": "AIDACKCEVSQ6C2EXAMPLE", "userName": "Joe" }, "eventTime": "2018-12-12T02:29:40Z", "eventSource": "kafka.amazonaws.com", "eventName": "DeleteCluster", "awsRegion": "us-east-1", "sourceIPAddress": "192.0.2.0", "userAgent": "aws-cli/1.14.67 Python/3.6.0 Windows/10 botocore/1.9.20", "requestParameters": { "clusterArn": "arn%3Aaws%3Akafka%3Aus-east-1%3A012345678901%3Acluster%2Fexamplecluster%2F01234567-abcd-0123-abcd-abcd0123efa-2" }, "responseElements": { "clusterArn": "arn:aws:kafka:us-east-1:012345678901:cluster/examplecluster/01234567-abcd-0123-abcd-abcd0123efa-2", "state": "DELETING" }, "requestID": "c6bfb3f7-abcd-0123-afa5-293519897703", "eventID": "8a7f1fcf-0123-abcd-9bdb-1ebf0663a75c", "readOnly": false, "eventType": "AwsApiCall", "recipientAccountId": "012345678901" } ] }
다음 예제는 kafka-cluster:CreateTopic 작업을 보여주는 CloudTrail 로그 항목을 보여줍니다.
{ "eventVersion": "1.08", "userIdentity": { "type": "IAMUser", "principalId": "ABCDEFGH1IJKLMN2P34Q5", "arn": "arn:aws:iam::111122223333:user/Admin", "accountId": "111122223333", "accessKeyId": "CDEFAB1C2UUUUU3AB4TT", "userName": "Admin" }, "eventTime": "2021-03-01T12:51:19Z", "eventSource": "kafka-cluster.amazonaws.com", "eventName": "CreateTopic", "awsRegion": "us-east-1", "sourceIPAddress": "198.51.100.0/24", "userAgent": "aws-msk-iam-auth/unknown-version/aws-internal/3 aws-sdk-java/1.11.970 Linux/4.14.214-160.339.amzn2.x86_64 OpenJDK_64-Bit_Server_VM/25.272-b10 java/1.8.0_272 scala/2.12.8 vendor/Red_Hat,_Inc.", "requestParameters": { "kafkaAPI": "CreateTopics", "resourceARN": "arn:aws:kafka:us-east-1:111122223333:topic/IamAuthCluster/3ebafd8e-dae9-440d-85db-4ef52679674d-1/Topic9" }, "responseElements": null, "requestID": "e7c5e49f-6aac-4c9a-a1d1-c2c46599f5e4", "eventID": "be1f93fd-4f14-4634-ab02-b5a79cb833d2", "readOnly": false, "eventType": "AwsApiCall", "managementEvent": true, "eventCategory": "Management", "recipientAccountId": "111122223333" }
