MSK Connect のロギング - Amazon Managed Streaming for Apache Kafka
シークレットがコネクタログに表示されないようにする

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

MSK Connect のロギング

MSK Connect は、コネクタのデバッグに使用できるログイベントを書き込むことができます。コネクタを作成するときに、次のログの宛先を 0 個以上指定できます。

  • Amazon CloudWatch Logs: MSK Connect がコネクタのログイベントを送信するロググループを指定します。ロググループの作成方法については、「 ログユーザーガイド」の「ロググループCloudWatch の作成」を参照してください。

  • Amazon S3: MSK Connect がコネクタのログイベントを送信する S3 バケットを指定します。S3 バケットを作成する方法については、「Amazon S3 ユーザーガイド」の「バケットの作成」を参照してください。

  • Amazon Data Firehose: MSK Connect がコネクタのログイベントを送信する配信ストリームを指定します。配信ストリームを作成する方法については、Firehose ユーザーガイドの「Amazon Data Firehose 配信ストリームの作成」を参照してください。

ロギングの設定について詳しくは、「Amazon CloudWatch Logs ユーザーガイド」の「特定の AWS サービスからのログの記録を有効にする」を参照してください。

MSK Connect は、次のタイプのログイベントを発行します。

レベル 説明
INFO スタートアップとシャットダウン時の対象となるランタイムイベント。
WARN エラーではないが、望ましくない、または予期しないランタイムの状況。
FATAL 早期終了の原因となる重大なエラー。
ERROR 致命的ではない予期しない状態とランタイムエラー。

以下は、 ログに送信される CloudWatch ログイベントの例です。

[Worker-0bb8afa0b01391c41] [2021-09-06 16:02:54,151] WARN [Producer clientId=producer-1] Connection to node 1 (b-1.my-test-cluster.twwhtj.c2.kafka.us-east-1.amazonaws.com/INTERNAL_IP) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient:782)

シークレットがコネクタログに表示されないようにする

注記

プラグインで機密設定値をシークレットとして定義していない場合、機密設定値がコネクタログに表示される可能性があります。Kafka Connect は、未定義の設定値を他のプレーンテキスト値と同じように扱います。

プラグインがプロパティをシークレットとして定義する場合、Kafka Connect はコネクタログからプロパティの値を削除します。例えば、以下のコネクタログは、プラグインによって aws.secret.key が PASSWORD タイプとして定義されている場合、その値が [hidden] に置き換えられることを示しています。

    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] [2022-01-11 15:18:55,150] INFO SecretsManagerConfigProviderConfig values:
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.access.key = my_access_key
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.region = us-east-1
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.secret.key = [hidden]
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.prefix =
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.ttl.ms = 300000
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] (com.github.jcustenborder.kafka.config.aws.SecretsManagerConfigProviderConfig:361)

シークレットがコネクタログファイルに表示されないようにするには、プラグイン開発者は Kafka Connect の列挙定数 ConfigDef.Type.PASSWORD を使用して機密プロパティを定義する必要があります。プロパティがタイプ ConfigDef.Type.PASSWORD の場合、値がプレーンテキストとして送信された場合でも、Kafka Connect はその値をコネクタログから除外します。