Arquivos de log do banco de dados do RDS para PostgreSQL
O RDS para PostgreSQL registra as atividades do banco de dados no arquivo de log padrão do PostgreSQL. Para uma instância de banco de dados PostgreSQL on-premises, essas mensagens são armazenadas localmente em log/postgresql.log
. Para uma instância de banco de dados do RDS para PostgreSQL, o arquivo de log está disponível na instância do Amazon RDS. Além disso, você deve usar o console do Amazon RDS para visualizar ou baixar seu conteúdo. O nível de registro em log padrão captura falhas de login, erros fatais do servidor, deadlocks e falhas de consulta.
Para ter mais informações sobre a visualização, o download e os logs de banco de dados baseados no monitoramento de arquivos, consulte Monitorar arquivos de log do Amazon RDS. Para saber mais sobre logs do PostgreSQL, consulte Working with Amazon RDS and Aurora PostgreSQL logs: Part 1
Além dos logs padrão do PostgreSQL abordados neste tópico, o RDS para PostgreSQL também é compatível com a extensão Audit do PostgreSQL (pgAudit
). A maioria dos setores regulamentados e agências governamentais precisa manter um log de auditoria ou uma trilha de auditoria das alterações feitas nos dados para cumprir os requisitos legais. Para obter informações sobre a instalação e o uso de pgAudit, consulte Usar pgAudit para registrar a atividade do banco de dados.
Tópicos
Parâmetros que afetam o comportamento do registro em log
Você pode personalizar o comportamento do registro em log da instância de banco de dados do RDS para PostgreSQL modificando vários parâmetros. Na tabela a seguir, você encontra os parâmetros que afetam por quanto tempo os logs são armazenados, quando alternar o log e se ele deve ser gerado no formato CSV (valor separado por vírgula). Você também pode encontrar a saída de texto enviada para STDERR, entre outras configurações. Para alterar as configurações dos parâmetros que podem ser modificados, use um grupo de parâmetros de banco de dados para o Instância do RDS para PostgreSQL. Para ter mais informações, consulte Como trabalhar com grupos de parâmetros de banco de dados em uma instância de banco de dados. Conforme observado na tabela, o log_line_prefix
não pode ser alterado.
Parâmetro | Padrão | Descrição |
---|---|---|
log_destination | stderr | Define o formato de saída para o log. O padrão é |
log_filename |
postgresql.log.%Y-%m-%d-%H%M |
Especifica o padrão para o nome do arquivo de log. Além do padrão, esse parâmetro é compatível com |
log_line_prefix | %t:%r:%u@%d:[%p]: | Define o prefixo para cada linha de log que é gravada em |
log_rotation_age | 60 | Minutos após os quais o arquivo de log é alternado automaticamente. Você pode alterar esse valor para qualquer número entre 1 e 1.440 minutos. Para ter mais informações, consulte Configurar a alternância do arquivo de log. |
log_rotation_size | – | O tamanho (kB) no qual o log é alternado automaticamente. Por padrão, esse parâmetro não é usado porque os logs são alternados com base no parâmetro |
rds.log_retention_period | 4320 | Os logs do PostgreSQL mais antigos que o número especificado de minutos são excluídos. O valor padrão de 4.320 minutos exclui os arquivos de log após três dias. Para ter mais informações, consulte Definir o período de retenção de log. |
Para identificar problemas de aplicações, você pode procurar falhas de consulta, falhas de login, deadlocks e erros fatais de servidor no log. Por exemplo, suponha que você converta uma aplicação herdada do Oracle no Amazon RDS PostgreSQL, mas nem todas as consultas foram convertidas corretamente. Essas consultas formatadas incorretamente geram mensagens de erro nos logs, que você pode usar para identificar problemas. Para ter mais informações sobre o registro em log de consultas, consulte Ativar o registro em log de consultas para sua instância de banco de dados do RDS para PostgreSQL.
Nos tópicos a seguir, você encontrará informações sobre como definir vários parâmetros que controlam os detalhes básicos de seus logs do PostgreSQL.
Tópicos
Definir o período de retenção de log
O parâmetro rds.log_retention_period
especifica por quanto tempo sua instância de banco de dados do Aurora PostgreSQL mantém seus arquivos de log. A configuração padrão é de três dias (4.320 minutos), mas você pode definir esse valor de um dia (1.440 minutos) a sete dias (10.080 minutos). Seu cluster de banco de dados do Aurora PostgreSQLSua instância de banco de dados do RDS para PostgreSQL deve ter armazenamento suficiente para armazenar os arquivos de log durante o período.
Recomendamos que você publique habitualmente seus logs no Amazon CloudWatch Logs para que possa visualizar e analisar os dados do sistema muito tempo depois que os logs tiverem sido removidos do Instância de banco de dados do RDS para PostgreSQL. Para ter mais informações, consulte Publicação de logs do PostgreSQL no Amazon CloudWatch Logs.
Configurar a alternância do arquivo de log
Por padrão, o Amazon RDS cria arquivos de log a cada hora. O tempo é controlado pelo parâmetro log_rotation_age
. Esse parâmetro tem um valor padrão de 60 (minutos), mas você pode definir qualquer valor entre 1 minuto e 24 horas (1.440 minutos). Quando chegar o momento da alternância, será criado um novo arquivo de log distinto. O arquivo é nomeado de acordo com o padrão especificado pelo parâmetro log_filename
.
Também é possível alternar os arquivos de log de acordo com o tamanho, conforme especificado no parâmetro log_rotation_size
. Esse parâmetro especifica que o log deva ser alternado quando atingir o tamanho determinado (em kilobytes). Para uma instância de banco de dados do RDS para PostgreSQL, log_rotation_size
não é definido, ou seja, não há valor especificado. No entanto, é possível definir o parâmetro de 0 a 2.097.151 kB (kilobytes).
Os nomes dos arquivos de log são baseados no padrão de nome do arquivo do parâmetro log_filename
. As configurações disponíveis para esse parâmetro são as seguintes:
postgresql.log.%Y-%m-%d
: formato padrão do nome do arquivo de log. Inclui o ano, o mês e a data no nome do arquivo de log.postgresql.log.%Y-%m-%d-%H
: inclui a hora no formato do nome do arquivo de log.
Para ter mais informações, consulte log_rotation_age
log_rotation_size
Definir o destino dos logs (stderr
, csvlog
)
Por padrão, o Amazon RDS PostgreSQL gera logs no formato de erro padrão (stderr). Esse formato é a configuração padrão do parâmetro log_destination
. Cada mensagem é prefixada usando o padrão especificado no parâmetro log_line_prefix
. Para ter mais informações, consulte Noções básicas sobre o parâmetro log_line_prefix.
O RDS para PostgreSQL também pode gerar os registros no formato csvlog
. O csvlog
é útil para analisar os dados de log como dados de valores separados por vírgula (CSV). Por exemplo, digamos que você use a extensão log_fdw
para trabalhar com seus logs como tabelas externas. A tabela externa criada nos arquivos de log do stderr
contém uma única coluna com dados de eventos de log. Ao adicionar csvlog
ao parâmetro log_destination
, você obtém o arquivo de log no formato CSV com demarcações para as várias colunas da tabela externa. Agora você pode classificar e analisar os logs com maior facilidade. Para saber como usar o log_fdw
com o csvlog
, consulte Usar a extensão log_fdw para acessar o log de banco de dados usando SQL.
Se você especificar csvlog
para esse parâmetro, lembre-se de que os arquivos stderr
e csvlog
são gerados. Monitore o armazenamento consumido pelos logs, levando em consideração o rds.log_retention_period
e outras configurações que afetam o armazenamento e a rotatividade dos logs. O uso de stderr
e csvlog
mais do que dobra o armazenamento consumido pelos logs.
Se você adicionar csvlog
a log_destination
e quiser reverter para o stderr
, precisará redefinir o parâmetro. Para fazer isso, use o console do Amazon RDS e, depois, abra o grupo de parâmetros do banco de dados para sua instância. Selecione o parâmetro log_destination
, Edit parameter (Editar parâmetro) e depois Reset (Redefinir).
Para ter mais informações sobre como configurar o registro em log, consulte Trabalhar com logs do Amazon RDS e do Aurora PostgreSQL: parte 1
Noções básicas sobre o parâmetro log_line_prefix
O formato de log stderr
prefixa cada mensagem de log com os detalhes especificados pelo parâmetro log_line_prefix
, da seguinte forma.
%t:%r:%u@%d:[%p]:t
Você não pode alterar essa configuração. Cada entrada de log enviada a stderr
inclui as informações a seguir.
-
%t
: hora da entrada do log. -
%r
: endereço do host remoto. -
%u@%d
: nome de usuário no nome do banco de dados. -
[%p]
: ID do processo, se disponível.
Ativar o registro em log de consultas para sua instância de banco de dados do RDS para PostgreSQL
Você pode coletar informações mais detalhadas sobre suas atividades de banco de dados, inclusive consultas, consultas à espera de bloqueios, pontos de verificação e muitos outros detalhes definindo alguns dos parâmetros listados na tabela a seguir. Este tópico se concentra no registro em log de consultas.
Parâmetro | Padrão | Descrição |
---|---|---|
log_connections | – | Registra cada conexão bem-sucedida. |
log_disconnections | – | Registra o final de cada sessão e sua duração. |
log_checkpoints | 1 | Registra cada verificação. |
log_lock_waits | – | Registra esperas de bloqueio longas. Por padrão, esse parâmetro não está definido. |
log_min_duration_sample | – | (ms) Define o tempo de execução mínimo acima do qual uma amostra de declarações será registrada. O tamanho da amostra é definido usando o parâmetro log_statement_sample_rate . |
log_min_duration_statement | – | Todas as instruções SQL executadas pelo menos por um período especificado ou mais é registrada. Por padrão, esse parâmetro não está definido. Ativar esse parâmetro pode ajudar a encontrar consultas não otimizadas. |
log_statement | – | Define o tipo de instruções registradas. Por padrão, esse parâmetro não está definido, mas você pode alterá-lo para |
log_statement_sample_rate | – | A porcentagem de declarações que excedem o tempo especificado em |
log_statement_stats | – | Grava estatísticas de performance cumulativas no log do servidor. |
Usar o registro em log para encontrar consultas de baixa performance
Você pode registrar consultas e declarações SQL para ajudar a encontrar consultas com a performance lenta. Você ativa esse recurso modificando as configurações dos parâmetros log_statement
e log_min_duration
conforme descrito nesta seção. Antes de ativar o registro em log de consultas para sua instância de banco de dados do RDS para PostgreSQL, você deve estar ciente da possível exposição de senhas nos logs e de como reduzir os riscos. Para ter mais informações, consulte Reduzir o risco de exposição de senhas ao usar o registro em log de consultas.
A seguir, você encontrará informações de referência sobre os parâmetros log_statement
e log_min_duration
.
log_statement
Esse parâmetro especifica o tipo de declarações SQL que devem ser enviadas ao log. O valor padrão é none
. Se você alterar esse parâmetro para all
, ddl
ou mod
, realize algumas das ações recomendadas para reduzir o risco de expor senhas nos logs. Para ter mais informações, consulte Reduzir o risco de exposição de senhas ao usar o registro em log de consultas.
- tudo
-
Registra todas as declarações. Essa configuração é recomendada para fins de depuração.
- ddl
-
Registra todas as declarações de linguagem de definição de dados (DDL), como CREATE, ALTER, DROP etc.
- mod
-
Registra todas as declarações DDL e declarações de linguagem de manipulação de dados (INSERT, UPDATE e DELETE) que modificam os dados.
- nenhum
-
Nenhuma declaração SQL é registrada. Recomendamos essa configuração para evitar o risco de expor senhas nos logs.
log_min_duration_statement
Todas as instruções SQL executadas pelo menos por um período especificado ou mais é registrada. Por padrão, esse parâmetro não está definido. Ativar esse parâmetro pode ajudar a encontrar consultas não otimizadas.
- –1–2147483647
-
O número de milissegundos (ms) de tempo de execução durante o qual uma declaração é registrada.
Como configurar o registro em log de consultas
Essas etapas pressupõem que o A instância de banco de dados do RDS para PostgreSQL usa um grupo de parâmetros de banco de dados personalizado.
Defina o parâmetro
log_statement
comoall
. O exemplo a seguir mostra a informação gravada no arquivopostgresql.log
com essa configuração de parâmetro.2022-10-05 22:05:52 UTC:52.95.4.1(11335):postgres@labdb:[3639]:LOG: statement: SELECT feedback, s.sentiment,s.confidence FROM support,aws_comprehend.detect_sentiment(feedback, 'en') s ORDER BY s.confidence DESC; 2022-10-05 22:05:52 UTC:52.95.4.1(11335):postgres@labdb:[3639]:LOG: QUERY STATISTICS 2022-10-05 22:05:52 UTC:52.95.4.1(11335):postgres@labdb:[3639]:DETAIL: ! system usage stats: ! 0.017355 s user, 0.000000 s system, 0.168593 s elapsed ! [0.025146 s user, 0.000000 s system total] ! 36644 kB max resident size ! 0/8 [0/8] filesystem blocks in/out ! 0/733 [0/1364] page faults/reclaims, 0 [0] swaps ! 0 [0] signals rcvd, 0/0 [0/0] messages rcvd/sent ! 19/0 [27/0] voluntary/involuntary context switches 2022-10-05 22:05:52 UTC:52.95.4.1(11335):postgres@labdb:[3639]:STATEMENT: SELECT feedback, s.sentiment,s.confidence FROM support,aws_comprehend.detect_sentiment(feedback, 'en') s ORDER BY s.confidence DESC; 2022-10-05 22:05:56 UTC:52.95.4.1(11335):postgres@labdb:[3639]:ERROR: syntax error at or near "ORDER" at character 1 2022-10-05 22:05:56 UTC:52.95.4.1(11335):postgres@labdb:[3639]:STATEMENT: ORDER BY s.confidence DESC; ----------------------- END OF LOG ----------------------
Defina o parâmetro
log_min_duration_statement
. O exemplo a seguir mostra a informação gravada no arquivopostgresql.log
quando o parâmetro estiver definido como1
.As consultas que excedem a duração especificada no parâmetro
log_min_duration_statement
são registradas. Por exemplo: Você pode visualizar o arquivo de log de sua instância de banco de dados do RDS para PostgreSQL no console do Amazon RDS.2022-10-05 19:05:19 UTC:52.95.4.1(6461):postgres@labdb:[6144]:LOG: statement: DROP table comments; 2022-10-05 19:05:19 UTC:52.95.4.1(6461):postgres@labdb:[6144]:LOG: duration: 167.754 ms 2022-10-05 19:08:07 UTC::@:[355]:LOG: checkpoint starting: time 2022-10-05 19:08:08 UTC::@:[355]:LOG: checkpoint complete: wrote 11 buffers (0.0%); 0 WAL file(s) added, 0 removed, 0 recycled; write=1.013 s, sync=0.006 s, total=1.033 s; sync files=8, longest=0.004 s, average=0.001 s; distance=131028 kB, estimate=131028 kB ----------------------- END OF LOG ----------------------
Reduzir o risco de exposição de senhas ao usar o registro em log de consultas
Recomendamos manter log_statement
definido como none
para evitar a exposição de senhas. Se você definir log_statement
como all
, ddl
oumod
, recomendamos que você siga uma ou mais destas etapas.
-
Para o cliente, criptografe informações confidenciais. Para ter mais informações consulte Encryption Options
(Opções de criptografia) na documentação do PostgreSQL. Use as opções ENCRYPTED
(eUNENCRYPTED
) das declaraçõesCREATE
eALTER
. Para ter mais informações, consulte CREATE USERna documentação do PostgreSQL. Para instância de banco de dados do RDS para PostgreSQL, configure e use a extensão de auditoria do PostgreSQL (pgAudit). Essa extensão remove informações confidenciais das declarações CREATE e ALTER enviadas ao log. Para ter mais informações, consulte Usar pgAudit para registrar a atividade do banco de dados.
-
Restringir o acesso aos logs CloudWatch.
-
Use mecanismos de autenticação mais fortes, como IAM.
Publicação de logs do PostgreSQL no Amazon CloudWatch Logs
Para armazenar os registros de log do PostgreSQL em armazenamento resiliente, você pode usar o Amazon CloudWatch Logs. Com o CloudWatch Logs, é possível realizar análise em tempo real de dados e usar o CloudWatch para visualizar métricas e criar alarmes. Por exemplo, se você definir log_statement
como ddl
, poderá configurar um alarme para alertar sempre que uma declaração DDL for executada. Você pode optar por fazer upload dos logs do PostgreSQL no CloudWatch Logs durante o processo de criação de sua instância de banco de dados do RDS para PostgreSQL. Se você optar por não fazer upload de logs no momento, poderá modificar sua instância posteriormente para começar a fazer upload dos logs a partir desse momento. Em outras palavras, não é feito upload dos logs existentes. Só é feito upload de novos logs, pois eles são criados em sua instância de banco de dados do RDS para PostgreSQL modificada.
Todas as versões do RDS para PostgreSQL atualmente disponíveis são compatíveis com a publicação de arquivos de log no CloudWatch Logs. Para obter informações, consulte Amazon RDS for PostgreSQL updates (Atualizações do Amazon RDS para PostgreSQL) nas Amazon RDS for PostgreSQL Release Notes (Notas de versão do Amazon RDS para PostgreSQL).
Para trabalhar com o CloudWatch Logs, configure o RDS para a instância de banco de dados do PostgreSQL para publicar dados de log a um grupo de log.
Você pode publicar os seguintes tipos de log no CloudWatch Logs do RDS do PostgreSQL:
-
Log do Postgresql
-
Log de atualização
Depois que você concluir a configuração, o Amazon RDS publicará os eventos de log em fluxos de logs dentro de um grupo de logs do CloudWatch. Por exemplo, os dados de log do PostgreSQL são armazenados no grupo de logs /aws/rds/instance/
. Para visualizar os logs, abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/my_instance
/postgresql
Para publicar logs do PostgreSQL no CloudWatch Logs usando o console
Abra o console do Amazon RDS em https://console.aws.amazon.com/rds/
. -
No painel de navegação, escolha Databases (Bancos de dados).
-
Escolha a instância de banco de dados que você deseja modificar e escolha Modify (Modificar).
-
Na seção Log exports (Exportações de log), escolha os logs que deseja começar a publicar no CloudWatch Logs.
A seção Log exports (Exportações de log) só está disponível para versões do PostgreSQL compatível com a publicação no CloudWatch Logs.
-
Escolha Continue (Continuar) e depois escolha Modify DB Instance (Modificar instância de banco de dados) na página de resumo.
Publique logs do PostgreSQL com a AWS CLI. Você pode chamar o comando modify-db-instance
com os parâmetros a seguir.
-
--db-instance-identifier
-
--cloudwatch-logs-export-configuration
nota
Uma alteração feita na opção --cloudwatch-logs-export-configuration
sempre é aplicada imediatamente na instância de banco de dados. Por isso, as opções --apply-immediately
e --no-apply-immediately
não entram em vigor.
Também publique logs do PostgreSQL chamando os seguintes comandos de CLI:
Execute um destes comandos da CLI com as seguintes opções:
-
--db-instance-identifier
-
--enable-cloudwatch-logs-exports
-
--db-instance-class
-
--engine
Outras opções podem ser obrigatórias, dependendo do comando da CLI executado.
exemplo Modificar uma instância para publicar logs no CloudWatch Logs
O exemplo a seguir modifica uma instância de banco de dados PostgreSQL existente para publicar arquivos de log em CloudWatch Logs. O valor --cloudwatch-logs-export-configuration
é um objeto JSON. A chave desse objeto é EnableLogTypes
, e o valor é uma matriz de strings com uma combinação qualquer de postgresql
e upgrade
.
Para Linux, macOS ou Unix:
aws rds modify-db-instance \ --db-instance-identifier
mydbinstance
\ --cloudwatch-logs-export-configuration '{"EnableLogTypes":["postgresql", "upgrade"]}'
Para Windows:
aws rds modify-db-instance ^ --db-instance-identifier
mydbinstance
^ --cloudwatch-logs-export-configuration '{"EnableLogTypes":["postgresql","upgrade"]}'
exemplo Criar uma instância para publicar logs no CloudWatch Logs
O exemplo a seguir cria uma instância de banco de dados PostgreSQL e publica arquivos de log em CloudWatch Logs. O valor --enable-cloudwatch-logs-exports
é uma matriz de strings JSON. As strings podem ser uma combinação qualquer de postgresql
e upgrade
.
Para Linux, macOS ou Unix:
aws rds create-db-instance \ --db-instance-identifier
mydbinstance
\ --enable-cloudwatch-logs-exports '["postgresql","upgrade"]' \ --db-instance-classdb.m4.large
\ --enginepostgres
Para Windows:
aws rds create-db-instance ^ --db-instance-identifier
mydbinstance
^ --enable-cloudwatch-logs-exports '["postgresql","upgrade"]' ^ --db-instance-classdb.m4.large
^ --enginepostgres
Publique logs do PostgreSQL com a API do RDS. Você pode chamar a ação ModifyDBInstance
com os seguintes parâmetros:
-
DBInstanceIdentifier
-
CloudwatchLogsExportConfiguration
nota
Uma alteração feita no parâmetro CloudwatchLogsExportConfiguration
sempre é aplicada imediatamente na instância de banco de dados. Por isso, o parâmetro ApplyImmediately
não entra em vigor.
Também é possível publicar logs do PostgreSQL chamando as seguintes operações da API do RDS:
Execute uma destas operações da API do RDS com os seguintes parâmetros:
-
DBInstanceIdentifier
-
EnableCloudwatchLogsExports
-
Engine
-
DBInstanceClass
Outros parâmetros podem ser obrigatórios, dependendo da operação executada.