为 MSK Connect 进行日志记录

MSK Connect 可以写入可用于调试连接器的日志事件。创建连接器时，您可以指定零个或多个以下日志目标：

• Amazon CloudWatch 日志：您可以指定希望 MSK Connect 将连接器的日志事件发送到哪个日志组。有关如何创建日志组的信息，请参阅《日志用户指南》中的创建CloudWatch 日志组。

• Amazon S3：您可以指定希望 MSK Connect 向其发送连接器日志事件的 S3 存储桶。有关如何创建 S3 存储桶的信息，请参阅《Amazon S3 用户指南》中的创建存储桶。

• Amazon Data Firehose：您可以指定希望 MSK Connect 将连接器日志事件发送到的传输流。有关如何创建传输流的信息，请参阅 Firehose 用户指南中的创建 Amazon Data Firehose 传输流。

要了解有关设置日志记录的更多信息，请参阅《Amazon CloudWatch Logs 用户指南》中的启用从某些 AWS 服务进行日志记录。

MSK Connect 会发出以下类型的日志事件：

级别	描述
INFO	启动和关闭时感兴趣的运行时系统事件。
WARN	不是错误但不希望出现或意外的运行时系统情况。
FATAL	导致过早终止的严重错误。
ERROR	非致命的意外情况和运行时系统错误。

以下是发送到 Log CloudWatch s 的日志事件的示例：

[Worker-0bb8afa0b01391c41] [2021-09-06 16:02:54,151] WARN [Producer clientId=producer-1] Connection to node 1 (b-1.my-test-cluster.twwhtj.c2.kafka.us-east-1.amazonaws.com/INTERNAL_IP) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient:782)

防止连接器日志中出现秘密

注意

如果插件未将敏感配置值定义为秘密，则这些值可能会出现在连接器日志中。Kafka Connect 对未定义的配置值的处理方式与任何其他明文值相同。

如果您的插件将某个属性定义为秘密，则 Kafka Connect 会从连接器日志中编辑该属性的值。例如，以下连接器日志表明，如果插件将 aws.secret.key 定义为 PASSWORD 类型，则其值将替换为 [hidden]。

    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] [2022-01-11 15:18:55,150] INFO SecretsManagerConfigProviderConfig values:
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.access.key = my_access_key
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.region = us-east-1
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.secret.key = [hidden]
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.prefix =
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.ttl.ms = 300000
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] (com.github.jcustenborder.kafka.config.aws.SecretsManagerConfigProviderConfig:361)

为防止连接器日志文件中出现秘密，插件开发人员必须使用 Kafka Connect 枚举常量 ConfigDef.Type.PASSWORD 来定义敏感属性。当属性为类型 ConfigDef.Type.PASSWORD 时，Kafka Connect 会将其值从连接器日志中排除，即使该值以明文形式发送也一样。