Registro de MSK Connect

MSK Connect puede escribir eventos de registro que puede usar para depurar el conector. Al crear un conector, puede especificar ninguno o varios de los siguientes destinos de registro:

• Amazon CloudWatch Logs: usted especifica el grupo de registros al que quiere que MSK Connect envíe los eventos de registro de su conector. Para obtener información sobre cómo crear un grupo de registros, consulte Crear un grupo de CloudWatch registros en la Guía del usuario de Logs.

• Amazon S3: usted especifica el bucket de S3 al que quiere que MSK Connect envíe los eventos de registro de su conector. Para obtener más información sobre la creación de un bucket de S3, consulte Crear un bucket en la Guía del usuario de Amazon S3.

• Amazon Data Firehose: Usted especifica el flujo de entrega al que quiere que MSK Connect envíe los eventos de registro de su conector. Para obtener información sobre cómo crear una transmisión de entrega, consulte Creación de una transmisión de entrega de Amazon Data Firehose en la Guía del usuario de Firehose.

Para obtener más información sobre la configuración del registro, consulte Habilitar el registro desde determinados servicios de AWS en la Guía del usuario de Amazon CloudWatch Logs .

MSK Connect emite los siguientes tipos de eventos de registro:

Nivel	Descripción
INFO	Eventos de tiempo de ejecución de interés durante el inicio y el cierre.
WARN	Situaciones de tiempo de ejecución que no son errores pero que son indeseables o inesperadas.
FATAL	Errores graves que provocan una terminación prematura.
ERROR	Condiciones inesperadas y errores de tiempo de ejecución que no son irrecuperables.

El siguiente es un ejemplo de un evento de registro enviado a CloudWatch Logs:

[Worker-0bb8afa0b01391c41] [2021-09-06 16:02:54,151] WARN [Producer clientId=producer-1] Connection to node 1 (b-1.my-test-cluster.twwhtj.c2.kafka.us-east-1.amazonaws.com/INTERNAL_IP) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient:782)

Impedir que los secretos aparezcan en los registros de los conectores

nota

Los valores de configuración confidenciales pueden aparecer en los registros de los conectores si un complemento no los define como secretos. Kafka Connect trata los valores de configuración indefinidos de la misma manera que cualquier otro valor de texto sin formato.

Si su complemento define una propiedad como secreta, Kafka Connect redacta el valor de la propiedad de los registros del conector. Por ejemplo, los siguientes registros de conectores demuestran que si un complemento define aws.secret.key como un tipo PASSWORD, su valor se sustituye por [hidden].

    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] [2022-01-11 15:18:55,150] INFO SecretsManagerConfigProviderConfig values:
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.access.key = my_access_key
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.region = us-east-1
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.secret.key = [hidden]
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.prefix =
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.ttl.ms = 300000
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] (com.github.jcustenborder.kafka.config.aws.SecretsManagerConfigProviderConfig:361)

Para evitar que los secretos aparezcan en los archivos de registro de los conectores, el desarrollador de un complemento debe usar la constante de enumeración de Kafka Connect ConfigDef.Type.PASSWORD para definir las propiedades confidenciales. Cuando una propiedad es del tipo ConfigDef.Type.PASSWORD, Kafka Connect excluye su valor de los registros del conector incluso si el valor se envía como texto sin formato.