Registrazione per MSK Connect

MSK Connect è in grado di scrivere eventi di log che è possibile utilizzare per eseguire il debug del connettore. Quando crei un connettore, puoi specificare zero o più delle seguenti destinazioni di log:

• Amazon CloudWatch registri: È possibile specificare il gruppo di log a cui si desidera che MSK Connect invii gli eventi di log del connettore. Per informazioni su come creare un gruppo di log, consultaCreazione di un gruppo di lognellaGuida per l'utente di CloudWatch Logs.

• Amazon S3: Specificare il bucket S3 a cui si desidera che MSK Connect invii gli eventi di log del connettore. Per informazioni su come creare un bucket S3, consultare.Creazione di un bucketnellaGuida per l'utente di Amazon S3.

• Amazon Kinesis Data Firehose: Specificare il flusso di distribuzione a cui si desidera che MSK Connect invii gli eventi di log del connettore. Per informazioni su come creare un flusso di distribuzione, consultaCreazione di un flusso di distribuzione di Amazon Kinesis Data FirehosenellaGuida per l'utente di Kinesis Data Firehose.

Per ulteriori informazioni su come impostare la registrazione, consultaAbilitazione della registrazione da determinatiAWSservizinellaAmazon CloudWatch LogsGuida per l’utente di.

MSK Connect emette i seguenti tipi di eventi di log:

Level	Descrizione
INFO	Eventi di runtime di interesse all'avvio e allo spegnimento.
WARN	Situazioni di runtime che non sono errori ma indesiderate o impreviste.
FATAL	Errori gravi che causano la cessazione prematura.
ERROR	Condizioni impreviste e errori di runtime che non sono fatali.

Di seguito è riportato un esempio di evento di log inviato a CloudWatch registri:

[Worker-0bb8afa0b01391c41] [2021-09-06 16:02:54,151] WARN [Producer clientId=producer-1] Connection to node 1 (b-1.my-test-cluster.twwhtj.c2.kafka.us-east-1.amazonaws.com/INTERNAL_IP) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient:782)

Impedire la comparsa di segreti nei registri dei connettori

Nota

I valori di configurazione sensibili possono essere visualizzati nei log dei connettori se un plugin non definisce tali valori come segreti. Kafka Connect tratta i valori di configurazione non definiti allo stesso modo di qualsiasi altro valore in testo normale.

Se il plugin definisce una proprietà come segreta, Kafka Connect revoca il valore della proprietà dai registri dei connettori. Ad esempio, i seguenti registri dei connettori dimostrano che se un plugin definisceaws.secret.keycome aPASSWORDtype, quindi il suo valore viene sostituito con[hidden].

    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] [2022-01-11 15:18:55,150] INFO SecretsManagerConfigProviderConfig values:
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.access.key = my_access_key
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.region = us-east-1
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.secret.key = [hidden]
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.prefix =
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.ttl.ms = 300000
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] (com.github.jcustenborder.kafka.config.aws.SecretsManagerConfigProviderConfig:361)

Per evitare che i segreti appaiano nei file di registro dei connettori, uno sviluppatore di plugin deve utilizzare la costante enum di Kafka ConnectConfigDef.Type.PASSWORDper definire proprietà sensibili. Quando una proprietà è di tipoConfigDef.Type.PASSWORD, Kafka Connect esclude il suo valore dai log dei connettori anche se il valore viene inviato come testo normale.