Registro em log no MSK Connect

O MSK Connect pode gravar eventos de log que você pode usar para depurar seu conector. Ao criar um conector, você pode especificar zero ou mais dos seguintes destinos de log:

• Amazon CloudWatch Logs: você especifica o grupo de logs para o qual deseja que o MSK Connect envie os eventos de log do seu conector. Para obter informações sobre como criar um grupo de registros, consulte Criar um grupo de registros no Guia do usuário de CloudWatch registros.

• Amazon S3: você especifica o bucket do S3 para o qual deseja que o MSK Connect envie os eventos de log do seu conector. Para obter mais informações sobre como criar um bucket do S3, consulte Criar um bucket, no Guia do usuário do Amazon S3.

• Amazon Data Firehose: você especifica o stream de entrega para o qual deseja que o MSK Connect envie os eventos de log do seu conector. Para obter informações sobre como criar um stream de entrega, consulte Criação de um stream de entrega do Amazon Data Firehose no Guia do usuário do Firehose.

Para saber mais sobre como configurar o registro em log, consulte Habilitar o registro em log de determinados serviços da AWS no Guia do usuário do Amazon CloudWatch Logs .

O MSK Connect emite os seguintes tipos de eventos de log:

Nível	Descrição
INFO	Eventos de runtime de interesse na inicialização e no desligamento.
WARN	Situações de runtime que não são erros, mas são indesejáveis ou inesperadas.
FATAL	Erros graves que causam encerramento prematuro.
ERROR	Condições inesperadas e erros de runtime que não são fatais.

Veja a seguir um exemplo de um evento de registro enviado para o CloudWatch Logs:

[Worker-0bb8afa0b01391c41] [2021-09-06 16:02:54,151] WARN [Producer clientId=producer-1] Connection to node 1 (b-1.my-test-cluster.twwhtj.c2.kafka.us-east-1.amazonaws.com/INTERNAL_IP) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient:782)

Como evitar que segredos apareçam nos logs do conector

nota

Valores confidenciais de configuração podem aparecer nos registros do conector se um plug-in não definir esses valores como secretos. O Kafka Connect trata valores de configuração indefinidos da mesma forma que qualquer outro valor de texto simples.

Se seu plug-in definir uma propriedade como secreta, o Kafka Connect editará o valor da propriedade nos registros do conector. Por exemplo, os registros de conectores a seguir demonstram que o valor será substituído por [hidden] se um plug-in definir aws.secret.key como um tipo PASSWORD.

    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] [2022-01-11 15:18:55,150] INFO SecretsManagerConfigProviderConfig values:
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.access.key = my_access_key
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.region = us-east-1
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.secret.key = [hidden]
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.prefix =
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.ttl.ms = 300000
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] (com.github.jcustenborder.kafka.config.aws.SecretsManagerConfigProviderConfig:361)

Para evitar que segredos apareçam nos arquivos de log do conector, um desenvolvedor de plug-ins deve usar a constante de enumeração ConfigDef.Type.PASSWORD do Kafka Connect para definir propriedades confidenciais. Quando uma propriedade for do tipo ConfigDef.Type.PASSWORD, o Kafka Connect excluirá seu valor dos registros do conector, mesmo que o valor seja enviado como texto simples.