MSK Connect 로깅 - Amazon Managed Streaming for Apache Kafka
커넥터 로그에 비밀이 표시되지 않도록 하기

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

MSK Connect 로깅

MSK Connect는 커넥터 디버깅에 사용할 수 있는 로그 이벤트를 작성할 수 있습니다. 커넥터를 생성할 때 다음 로그 대상을 0개 이상 지정할 수 있습니다.

  • Amazon CloudWatch Logs: MSK Connect에서 커넥터의 로그 이벤트를 전송할 로그 그룹을 지정합니다. 로그 그룹을 생성하는 방법에 대한 자세한 내용은 Logs User Guide의 CloudWatch 로그 그룹 생성을 참조하십시오.

  • Amazon S3: MSK Connect가 커넥터의 로그 이벤트를 전송할 S3 버킷을 지정합니다. S3 버킷을 생성하는 방법에 대한 자세한 내용은 Amazon S3 사용 설명서에서 버킷 생성을 참조하세요.

  • Amazon Data Firehose: MSK Connect에서 커넥터의 로그 이벤트를 전송할 전송 스트림을 지정합니다. 전송 스트림을 생성하는 방법에 대한 자세한 내용은 Firehose 사용 설명서의 Amazon Data Firehose 전송 스트림 생성을 참조하십시오.

로깅 설정에 대해 자세히 알아보려면 Amazon CloudWatch Logs 사용 설명서의 특정 AWS 서비스에서 로깅 활성화를 참조하세요.

MSK Connect는 다음 유형의 로그 이벤트를 내보냅니다.

수준 설명
INFO 시작과 종료 시 관심 있는 런타임 이벤트
WARN 오류는 아니지만 바람직하지 않거나 예상하지 못한 런타임 상황
FATAL 조기 종료의 원인이 되는 심각한 오류
ERROR 치명적이지 않은 예상하지 못한 조건 및 런타임 오류

다음은 Logs로 CloudWatch 전송되는 로그 이벤트의 예입니다.

[Worker-0bb8afa0b01391c41] [2021-09-06 16:02:54,151] WARN [Producer clientId=producer-1] Connection to node 1 (b-1.my-test-cluster.twwhtj.c2.kafka.us-east-1.amazonaws.com/INTERNAL_IP) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient:782)

커넥터 로그에 비밀이 표시되지 않도록 하기

참고

플러그인이 해당 값을 보안 암호로 정의하지 않은 경우 커넥터 로그에 민감한 구성 값이 표시될 수 있습니다. Kafka Connect는 정의되지 않은 구성 값을 기타 일반 텍스트 값과 동일하게 취급합니다.

플러그인에서 속성을 비밀로 정의하는 경우 Kafka Connect는 커넥터 로그에서 속성 값을 삭제합니다. 예를 들어 다음 커넥터 로그는 플러그인이 aws.secret.key를 PASSWORD 유형으로 정의하면 해당 값이 [hidden]으로 대체됨을 보여줍니다.

    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] [2022-01-11 15:18:55,150] INFO SecretsManagerConfigProviderConfig values:
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.access.key = my_access_key
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.region = us-east-1
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.secret.key = [hidden]
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.prefix =
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.ttl.ms = 300000
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] (com.github.jcustenborder.kafka.config.aws.SecretsManagerConfigProviderConfig:361)

커넥터 로그 파일에 비밀이 표시되지 않도록 하려면 플러그인 개발자는 Kafka Connect 열거형 상수 ConfigDef.Type.PASSWORD를 사용하여 민감한 속성을 정의해야 합니다. 속성이 ConfigDef.Type.PASSWORD 유형인 경우 값이 일반 텍스트로 전송되더라도 Kafka Connect는 해당 값을 커넥터 로그에서 제외합니다.