Arquivos de log do banco de dados do RDS para PostgreSQL - Amazon Relational Database Service

Arquivos de log do banco de dados do RDS para PostgreSQL

O RDS para PostgreSQL registra as atividades do banco de dados no arquivo de log padrão do PostgreSQL. Para uma instância de banco de dados PostgreSQL on-premises, essas mensagens são armazenadas localmente em log/postgresql.log. Para uma instância de banco de dados do RDS para PostgreSQL, o arquivo de log está disponível na instância do Amazon RDS. Além disso, você deve usar o console do Amazon RDS para visualizar ou baixar seu conteúdo. O nível de registro em log padrão captura falhas de login, erros fatais do servidor, deadlocks e falhas de consulta.

Para ter mais informações sobre a visualização, o download e os logs de banco de dados baseados no monitoramento de arquivos, consulte Monitorar arquivos de log do Amazon RDS. Para saber mais sobre logs do PostgreSQL, consulte Working with Amazon RDS and Aurora PostgreSQL logs: Part 1 (Trabalhar com o Amazon RDS e logs do Aurora PostgreSQL: parte 1) e Working with RDS and Aurora PostgreSQL logs: Part 2 (Trabalhar com o Amazon RDS e logs do Aurora PostgreSQL: parte 2).

Além dos logs padrão do PostgreSQL abordados neste tópico, o RDS para PostgreSQL também é compatível com a extensão Audit do PostgreSQL (pgAudit). A maioria dos setores regulamentados e agências governamentais precisa manter um log de auditoria ou uma trilha de auditoria das alterações feitas nos dados para cumprir os requisitos legais. Para obter informações sobre a instalação e o uso de pgAudit, consulte Usar pgAudit para registrar a atividade do banco de dados.

Parâmetros que afetam o comportamento do registro em log

Você pode personalizar o comportamento do registro em log da instância de banco de dados do RDS para PostgreSQL modificando vários parâmetros. Na tabela a seguir, você encontra os parâmetros que afetam por quanto tempo os logs são armazenados, quando alternar o log e se ele deve ser gerado no formato CSV (valor separado por vírgula). Você também pode encontrar a saída de texto enviada para STDERR, entre outras configurações. Para alterar as configurações dos parâmetros que podem ser modificados, use um grupo de parâmetros de banco de dados para o Instância do RDS para PostgreSQL. Para ter mais informações, consulte Como trabalhar com grupos de parâmetros de banco de dados em uma instância de banco de dados. Conforme observado na tabela, o log_line_prefix não pode ser alterado.

Parâmetro Padrão Descrição

log_destination

stderr

Define o formato de saída para o log. O padrão é stderr, mas você também pode especificar valores separados por vírgula (CSV) adicionando csvlog à configuração. Para ter mais informações, consulte Definir o destino dos logs (stderr, csvlog)

log_filename

postgresql.log.%Y-%m-%d-%H%M

Especifica o padrão para o nome do arquivo de log. Além do padrão, esse parâmetro é compatível com postgresql.log.%Y-%m-%d para o padrão de nome de arquivo.

log_line_prefix

%t:%r:%u@%d:[%p]:

Define o prefixo para cada linha de log que é gravada em stderr, para anotar a hora (%t), o host remoto (%r), o usuário (%u), o banco de dados (%d) e o ID do processo (%p). Não é possível modificar esse parâmetro.

log_rotation_age

60

Minutos após os quais o arquivo de log é alternado automaticamente. Você pode alterar esse valor para qualquer número entre 1 e 1.440 minutos. Para ter mais informações, consulte Configurar a alternância do arquivo de log.

log_rotation_size

O tamanho (kB) no qual o log é alternado automaticamente. Por padrão, esse parâmetro não é usado porque os logs são alternados com base no parâmetro log_rotation_age. Para saber mais, consulte Configurar a alternância do arquivo de log.

rds.log_retention_period

4320

Os logs do PostgreSQL mais antigos que o número especificado de minutos são excluídos. O valor padrão de 4.320 minutos exclui os arquivos de log após três dias. Para ter mais informações, consulte Definir o período de retenção de log.

Para identificar problemas de aplicações, você pode procurar falhas de consulta, falhas de login, deadlocks e erros fatais de servidor no log. Por exemplo, suponha que você converta uma aplicação herdada do Oracle no Amazon RDS PostgreSQL, mas nem todas as consultas foram convertidas corretamente. Essas consultas formatadas incorretamente geram mensagens de erro nos logs, que você pode usar para identificar problemas. Para ter mais informações sobre o registro em log de consultas, consulte Ativar o registro em log de consultas para sua instância de banco de dados do RDS para PostgreSQL.

Nos tópicos a seguir, você encontrará informações sobre como definir vários parâmetros que controlam os detalhes básicos de seus logs do PostgreSQL.

Definir o período de retenção de log

O parâmetro rds.log_retention_period especifica por quanto tempo sua instância de banco de dados do Aurora PostgreSQL mantém seus arquivos de log. A configuração padrão é de três dias (4.320 minutos), mas você pode definir esse valor de um dia (1.440 minutos) a sete dias (10.080 minutos). Seu cluster de banco de dados do Aurora PostgreSQLSua instância de banco de dados do RDS para PostgreSQL deve ter armazenamento suficiente para armazenar os arquivos de log durante o período.

Recomendamos que você publique habitualmente seus logs no Amazon CloudWatch Logs para que possa visualizar e analisar os dados do sistema muito tempo depois que os logs tiverem sido removidos do Instância de banco de dados do RDS para PostgreSQL. Para ter mais informações, consulte Publicação de logs do PostgreSQL no Amazon CloudWatch Logs.

Configurar a alternância do arquivo de log

Por padrão, o Amazon RDS cria arquivos de log a cada hora. O tempo é controlado pelo parâmetro log_rotation_age. Esse parâmetro tem um valor padrão de 60 (minutos), mas você pode definir qualquer valor entre 1 minuto e 24 horas (1.440 minutos). Quando chegar o momento da alternância, será criado um novo arquivo de log distinto. O arquivo é nomeado de acordo com o padrão especificado pelo parâmetro log_filename.

Também é possível alternar os arquivos de log de acordo com o tamanho, conforme especificado no parâmetro log_rotation_size. Esse parâmetro especifica que o log deva ser alternado quando atingir o tamanho determinado (em kilobytes). Para uma instância de banco de dados do RDS para PostgreSQL, log_rotation_size não é definido, ou seja, não há valor especificado. No entanto, é possível definir o parâmetro de 0 a 2.097.151 kB (kilobytes).

Os nomes dos arquivos de log são baseados no padrão de nome do arquivo do parâmetro log_filename. As configurações disponíveis para esse parâmetro são as seguintes:

  • postgresql.log.%Y-%m-%d: formato padrão do nome do arquivo de log. Inclui o ano, o mês e a data no nome do arquivo de log.

  • postgresql.log.%Y-%m-%d-%H: inclui a hora no formato do nome do arquivo de log.

Para ter mais informações, consulte log_rotation_age e log_rotation_size na documentação do PostgreSQL.

Definir o destino dos logs (stderr, csvlog)

Por padrão, o Amazon RDS PostgreSQL gera logs no formato de erro padrão (stderr). Esse formato é a configuração padrão do parâmetro log_destination. Cada mensagem é prefixada usando o padrão especificado no parâmetro log_line_prefix. Para ter mais informações, consulte Noções básicas sobre o parâmetro log_line_prefix.

O RDS para PostgreSQL também pode gerar os registros no formato csvlog. O csvlog é útil para analisar os dados de log como dados de valores separados por vírgula (CSV). Por exemplo, digamos que você use a extensão log_fdw para trabalhar com seus logs como tabelas externas. A tabela externa criada nos arquivos de log do stderr contém uma única coluna com dados de eventos de log. Ao adicionar csvlog ao parâmetro log_destination, você obtém o arquivo de log no formato CSV com demarcações para as várias colunas da tabela externa. Agora você pode classificar e analisar os logs com maior facilidade. Para saber como usar o log_fdw com o csvlog, consulte Usar a extensão log_fdw para acessar o log de banco de dados usando SQL.

Se você especificar csvlog para esse parâmetro, lembre-se de que os arquivos stderr e csvlog são gerados. Monitore o armazenamento consumido pelos logs, levando em consideração o rds.log_retention_period e outras configurações que afetam o armazenamento e a rotatividade dos logs. O uso de stderr e csvlog mais do que dobra o armazenamento consumido pelos logs.

Se você adicionar csvlog a log_destination e quiser reverter para o stderr, precisará redefinir o parâmetro. Para fazer isso, use o console do Amazon RDS e, depois, abra o grupo de parâmetros do banco de dados para sua instância. Selecione o parâmetro log_destination, Edit parameter (Editar parâmetro) e depois Reset (Redefinir).

Para ter mais informações sobre como configurar o registro em log, consulte Trabalhar com logs do Amazon RDS e do Aurora PostgreSQL: parte 1.

Noções básicas sobre o parâmetro log_line_prefix

O formato de log stderr prefixa cada mensagem de log com os detalhes especificados pelo parâmetro log_line_prefix, da seguinte forma.

%t:%r:%u@%d:[%p]:t

Você não pode alterar essa configuração. Cada entrada de log enviada a stderr inclui as informações a seguir.

  • %t: hora da entrada do log.

  • %r: endereço do host remoto.

  • %u@%d: nome de usuário no nome do banco de dados.

  • [%p]: ID do processo, se disponível.

Ativar o registro em log de consultas para sua instância de banco de dados do RDS para PostgreSQL

Você pode coletar informações mais detalhadas sobre suas atividades de banco de dados, inclusive consultas, consultas à espera de bloqueios, pontos de verificação e muitos outros detalhes definindo alguns dos parâmetros listados na tabela a seguir. Este tópico se concentra no registro em log de consultas.

Parâmetro Padrão Descrição

log_connections

Registra cada conexão bem-sucedida.

log_disconnections

Registra o final de cada sessão e sua duração.

log_checkpoints

1

Registra cada verificação.

log_lock_waits

Registra esperas de bloqueio longas. Por padrão, esse parâmetro não está definido.

log_min_duration_sample

(ms) Define o tempo de execução mínimo acima do qual uma amostra de declarações será registrada. O tamanho da amostra é definido usando o parâmetro log_statement_sample_rate.

log_min_duration_statement

Todas as instruções SQL executadas pelo menos por um período especificado ou mais é registrada. Por padrão, esse parâmetro não está definido. Ativar esse parâmetro pode ajudar a encontrar consultas não otimizadas.

log_statement

Define o tipo de instruções registradas. Por padrão, esse parâmetro não está definido, mas você pode alterá-lo para all, ddl ou mod para especificar os tipos de declaração SQL que você deseja registrar. Se você especificar algo diferente de none para esse parâmetro, você também deve tomar medidas adicionais para evitar a exposição de senhas nos arquivos de log. Para ter mais informações, consulte Reduzir o risco de exposição de senhas ao usar o registro em log de consultas.

log_statement_sample_rate

A porcentagem de declarações que excedem o tempo especificado em log_min_duration_sample para serem registradas, expressa como um valor de ponto flutuante entre 0,0 e 1,0.

log_statement_stats

Grava estatísticas de performance cumulativas no log do servidor.

Usar o registro em log para encontrar consultas de baixa performance

Você pode registrar consultas e declarações SQL para ajudar a encontrar consultas com a performance lenta. Você ativa esse recurso modificando as configurações dos parâmetros log_statement e log_min_duration conforme descrito nesta seção. Antes de ativar o registro em log de consultas para sua instância de banco de dados do RDS para PostgreSQL, você deve estar ciente da possível exposição de senhas nos logs e de como reduzir os riscos. Para ter mais informações, consulte Reduzir o risco de exposição de senhas ao usar o registro em log de consultas.

A seguir, você encontrará informações de referência sobre os parâmetros log_statement e log_min_duration.

log_statement

Esse parâmetro especifica o tipo de declarações SQL que devem ser enviadas ao log. O valor padrão é none. Se você alterar esse parâmetro para all, ddl ou mod, realize algumas das ações recomendadas para reduzir o risco de expor senhas nos logs. Para ter mais informações, consulte Reduzir o risco de exposição de senhas ao usar o registro em log de consultas.

tudo

Registra todas as declarações. Essa configuração é recomendada para fins de depuração.

ddl

Registra todas as declarações de linguagem de definição de dados (DDL), como CREATE, ALTER, DROP etc.

mod

Registra todas as declarações DDL e declarações de linguagem de manipulação de dados (INSERT, UPDATE e DELETE) que modificam os dados.

nenhum

Nenhuma declaração SQL é registrada. Recomendamos essa configuração para evitar o risco de expor senhas nos logs.

log_min_duration_statement

Todas as instruções SQL executadas pelo menos por um período especificado ou mais é registrada. Por padrão, esse parâmetro não está definido. Ativar esse parâmetro pode ajudar a encontrar consultas não otimizadas.

–1–2147483647

O número de milissegundos (ms) de tempo de execução durante o qual uma declaração é registrada.

Como configurar o registro em log de consultas

Essas etapas pressupõem que o A instância de banco de dados do RDS para PostgreSQL usa um grupo de parâmetros de banco de dados personalizado.

  1. Defina o parâmetro log_statement como all. O exemplo a seguir mostra a informação gravada no arquivo postgresql.logcom essa configuração de parâmetro.

    2022-10-05 22:05:52 UTC:52.95.4.1(11335):postgres@labdb:[3639]:LOG: statement: SELECT feedback, s.sentiment,s.confidence FROM support,aws_comprehend.detect_sentiment(feedback, 'en') s ORDER BY s.confidence DESC; 2022-10-05 22:05:52 UTC:52.95.4.1(11335):postgres@labdb:[3639]:LOG: QUERY STATISTICS 2022-10-05 22:05:52 UTC:52.95.4.1(11335):postgres@labdb:[3639]:DETAIL: ! system usage stats: ! 0.017355 s user, 0.000000 s system, 0.168593 s elapsed ! [0.025146 s user, 0.000000 s system total] ! 36644 kB max resident size ! 0/8 [0/8] filesystem blocks in/out ! 0/733 [0/1364] page faults/reclaims, 0 [0] swaps ! 0 [0] signals rcvd, 0/0 [0/0] messages rcvd/sent ! 19/0 [27/0] voluntary/involuntary context switches 2022-10-05 22:05:52 UTC:52.95.4.1(11335):postgres@labdb:[3639]:STATEMENT: SELECT feedback, s.sentiment,s.confidence FROM support,aws_comprehend.detect_sentiment(feedback, 'en') s ORDER BY s.confidence DESC; 2022-10-05 22:05:56 UTC:52.95.4.1(11335):postgres@labdb:[3639]:ERROR: syntax error at or near "ORDER" at character 1 2022-10-05 22:05:56 UTC:52.95.4.1(11335):postgres@labdb:[3639]:STATEMENT: ORDER BY s.confidence DESC; ----------------------- END OF LOG ----------------------
  2. Defina o parâmetro log_min_duration_statement. O exemplo a seguir mostra a informação gravada no arquivo postgresql.log quando o parâmetro estiver definido como 1.

    As consultas que excedem a duração especificada no parâmetro log_min_duration_statement são registradas. Por exemplo: Você pode visualizar o arquivo de log de sua instância de banco de dados do RDS para PostgreSQL no console do Amazon RDS.

    2022-10-05 19:05:19 UTC:52.95.4.1(6461):postgres@labdb:[6144]:LOG: statement: DROP table comments; 2022-10-05 19:05:19 UTC:52.95.4.1(6461):postgres@labdb:[6144]:LOG: duration: 167.754 ms 2022-10-05 19:08:07 UTC::@:[355]:LOG: checkpoint starting: time 2022-10-05 19:08:08 UTC::@:[355]:LOG: checkpoint complete: wrote 11 buffers (0.0%); 0 WAL file(s) added, 0 removed, 0 recycled; write=1.013 s, sync=0.006 s, total=1.033 s; sync files=8, longest=0.004 s, average=0.001 s; distance=131028 kB, estimate=131028 kB ----------------------- END OF LOG ----------------------

Reduzir o risco de exposição de senhas ao usar o registro em log de consultas

Recomendamos manter log_statement definido como none para evitar a exposição de senhas. Se você definir log_statement como all, ddl oumod, recomendamos que você siga uma ou mais destas etapas.

  • Para o cliente, criptografe informações confidenciais. Para ter mais informações consulte Encryption Options (Opções de criptografia) na documentação do PostgreSQL. Use as opções ENCRYPTED (e UNENCRYPTED) das declarações CREATE e ALTER. Para ter mais informações, consulte CREATE USER na documentação do PostgreSQL.

  • Para instância de banco de dados do RDS para PostgreSQL, configure e use a extensão de auditoria do PostgreSQL (pgAudit). Essa extensão remove informações confidenciais das declarações CREATE e ALTER enviadas ao log. Para ter mais informações, consulte Usar pgAudit para registrar a atividade do banco de dados.

  • Restringir o acesso aos logs CloudWatch.

  • Use mecanismos de autenticação mais fortes, como IAM.

Publicação de logs do PostgreSQL no Amazon CloudWatch Logs

Para armazenar os registros de log do PostgreSQL em armazenamento resiliente, você pode usar o Amazon CloudWatch Logs. Com o CloudWatch Logs, é possível realizar análise em tempo real de dados e usar o CloudWatch para visualizar métricas e criar alarmes. Por exemplo, se você definir log_statement como ddl, poderá configurar um alarme para alertar sempre que uma declaração DDL for executada. Você pode optar por fazer upload dos logs do PostgreSQL no CloudWatch Logs durante o processo de criação de sua instância de banco de dados do RDS para PostgreSQL. Se você optar por não fazer upload de logs no momento, poderá modificar sua instância posteriormente para começar a fazer upload dos logs a partir desse momento. Em outras palavras, não é feito upload dos logs existentes. Só é feito upload de novos logs, pois eles são criados em sua instância de banco de dados do RDS para PostgreSQL modificada.

Todas as versões do RDS para PostgreSQL atualmente disponíveis são compatíveis com a publicação de arquivos de log no CloudWatch Logs. Para obter informações, consulte Amazon RDS for PostgreSQL updates (Atualizações do Amazon RDS para PostgreSQL) nas Amazon RDS for PostgreSQL Release Notes (Notas de versão do Amazon RDS para PostgreSQL).

Para trabalhar com o CloudWatch Logs, configure o RDS para a instância de banco de dados do PostgreSQL para publicar dados de log a um grupo de log.

Você pode publicar os seguintes tipos de log no CloudWatch Logs do RDS do PostgreSQL:

  • Log do Postgresql

  • Log de atualização

Depois que você concluir a configuração, o Amazon RDS publicará os eventos de log em fluxos de logs dentro de um grupo de logs do CloudWatch. Por exemplo, os dados de log do PostgreSQL são armazenados no grupo de logs /aws/rds/instance/my_instance/postgresql. Para visualizar os logs, abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/.

Para publicar logs do PostgreSQL no CloudWatch Logs usando o console
  1. Abra o console do Amazon RDS em https://console.aws.amazon.com/rds/.

  2. No painel de navegação, escolha Databases (Bancos de dados).

  3. Escolha a instância de banco de dados que você deseja modificar e escolha Modify (Modificar).

  4. Na seção Log exports (Exportações de log), escolha os logs que deseja começar a publicar no CloudWatch Logs.

    A seção Log exports (Exportações de log) só está disponível para versões do PostgreSQL compatível com a publicação no CloudWatch Logs.

  5. Escolha Continue (Continuar) e depois escolha Modify DB Instance (Modificar instância de banco de dados) na página de resumo.

Publique logs do PostgreSQL com a AWS CLI. Você pode chamar o comando modify-db-instance com os parâmetros a seguir.

  • --db-instance-identifier

  • --cloudwatch-logs-export-configuration

nota

Uma alteração feita na opção --cloudwatch-logs-export-configuration sempre é aplicada imediatamente na instância de banco de dados. Por isso, as opções --apply-immediately e --no-apply-immediately não entram em vigor.

Também publique logs do PostgreSQL chamando os seguintes comandos de CLI:

Execute um destes comandos da CLI com as seguintes opções:

  • --db-instance-identifier

  • --enable-cloudwatch-logs-exports

  • --db-instance-class

  • --engine

Outras opções podem ser obrigatórias, dependendo do comando da CLI executado.

exemplo Modificar uma instância para publicar logs no CloudWatch Logs

O exemplo a seguir modifica uma instância de banco de dados PostgreSQL existente para publicar arquivos de log em CloudWatch Logs. O valor --cloudwatch-logs-export-configuration é um objeto JSON. A chave desse objeto é EnableLogTypes, e o valor é uma matriz de strings com uma combinação qualquer de postgresql e upgrade.

Para Linux, macOS ou Unix:

aws rds modify-db-instance \ --db-instance-identifier mydbinstance \ --cloudwatch-logs-export-configuration '{"EnableLogTypes":["postgresql", "upgrade"]}'

Para Windows:

aws rds modify-db-instance ^ --db-instance-identifier mydbinstance ^ --cloudwatch-logs-export-configuration '{"EnableLogTypes":["postgresql","upgrade"]}'
exemplo Criar uma instância para publicar logs no CloudWatch Logs

O exemplo a seguir cria uma instância de banco de dados PostgreSQL e publica arquivos de log em CloudWatch Logs. O valor --enable-cloudwatch-logs-exports é uma matriz de strings JSON. As strings podem ser uma combinação qualquer de postgresql e upgrade.

Para Linux, macOS ou Unix:

aws rds create-db-instance \ --db-instance-identifier mydbinstance \ --enable-cloudwatch-logs-exports '["postgresql","upgrade"]' \ --db-instance-class db.m4.large \ --engine postgres

Para Windows:

aws rds create-db-instance ^ --db-instance-identifier mydbinstance ^ --enable-cloudwatch-logs-exports '["postgresql","upgrade"]' ^ --db-instance-class db.m4.large ^ --engine postgres

Publique logs do PostgreSQL com a API do RDS. Você pode chamar a ação ModifyDBInstance com os seguintes parâmetros:

  • DBInstanceIdentifier

  • CloudwatchLogsExportConfiguration

nota

Uma alteração feita no parâmetro CloudwatchLogsExportConfiguration sempre é aplicada imediatamente na instância de banco de dados. Por isso, o parâmetro ApplyImmediately não entra em vigor.

Também é possível publicar logs do PostgreSQL chamando as seguintes operações da API do RDS:

Execute uma destas operações da API do RDS com os seguintes parâmetros:

  • DBInstanceIdentifier

  • EnableCloudwatchLogsExports

  • Engine

  • DBInstanceClass

Outros parâmetros podem ser obrigatórios, dependendo da operação executada.