Logging untuk MSK Connect

MSK Connect dapat menulis peristiwa log yang dapat Anda gunakan untuk men-debug konektor Anda. Saat Anda membuat konektor, Anda dapat menentukan nol atau lebih dari tujuan log berikut:

• Amazon CloudWatch Logs: Anda menentukan grup log yang Anda inginkan MSK Connect untuk mengirim peristiwa log konektor Anda. Untuk informasi tentang cara membuat grup log, lihat Membuat grup CloudWatch log di Panduan Pengguna Log.

• Amazon S3: Anda menentukan bucket S3 yang Anda inginkan MSK Connect untuk mengirim peristiwa log konektor Anda. Untuk informasi tentang cara membuat bucket S3, lihat Membuat bucket di Panduan Pengguna Amazon S3.

• Amazon Data Firehose: Anda menentukan aliran pengiriman yang Anda inginkan MSK Connect untuk mengirim peristiwa log konektor Anda. Untuk informasi tentang cara membuat aliran pengiriman, lihat Membuat aliran pengiriman Amazon Data Firehose di Panduan Pengguna Firehose.

Untuk mempelajari lebih lanjut tentang mengatur logging, lihat Mengaktifkan logging dari AWS layanan tertentu di Panduan Amazon CloudWatch Logs Pengguna.

MSK Connect memancarkan jenis peristiwa log berikut:

Tingkat	Deskripsi
INFO	Acara runtime yang menarik saat startup dan shutdown.
WARN	Situasi runtime yang bukan kesalahan tetapi tidak diinginkan atau tidak terduga.
FATAL	Kesalahan parah yang menyebabkan penghentian prematur.
ERROR	Kondisi tak terduga dan kesalahan runtime yang tidak fatal.

Berikut ini adalah contoh peristiwa log yang dikirim ke CloudWatch Log:

[Worker-0bb8afa0b01391c41] [2021-09-06 16:02:54,151] WARN [Producer clientId=producer-1] Connection to node 1 (b-1.my-test-cluster.twwhtj.c2.kafka.us-east-1.amazonaws.com/INTERNAL_IP) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient:782)

Mencegah rahasia muncul di log konektor

catatan

Nilai konfigurasi sensitif dapat muncul di log konektor jika plugin tidak mendefinisikan nilai-nilai tersebut sebagai rahasia. Kafka Connect memperlakukan nilai konfigurasi yang tidak ditentukan sama dengan nilai plaintext lainnya.

Jika plugin Anda mendefinisikan properti sebagai rahasia, Kafka Connect menyunting nilai properti dari log konektor. Misalnya, log konektor berikut menunjukkan bahwa jika plugin mendefinisikan aws.secret.key sebagai PASSWORD tipe, maka nilainya diganti dengan[hidden].

    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] [2022-01-11 15:18:55,150] INFO SecretsManagerConfigProviderConfig values:
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.access.key = my_access_key
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.region = us-east-1
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.secret.key = [hidden]
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.prefix =
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.ttl.ms = 300000
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] (com.github.jcustenborder.kafka.config.aws.SecretsManagerConfigProviderConfig:361)

Untuk mencegah rahasia muncul di file log konektor, pengembang plugin harus menggunakan konstanta enum Kafka Connect ConfigDef.Type.PASSWORDuntuk menentukan properti sensitif. Ketika properti adalah tipeConfigDef.Type.PASSWORD, Kafka Connect mengecualikan nilainya dari log konektor bahkan jika nilai dikirim sebagai plaintext.