Coletar e processar logs

O CloudWatch Logs pode ser usado para monitorar, armazenar e acessar seus arquivos de log de instâncias do Amazon EC2, do AWS CloudTrail, do Route 53 e de outras fontes. Consulte a página de documentação dos Serviços da AWS que publicam logs no CloudWatch Logs.

As informações de logs incluem, por exemplo:

• Registro em log de acesso detalhado a objetos do Amazon S3

• Informações detalhadas sobre fluxos na rede por meio dos logs de fluxo da VPC

• Verificação de configuração baseada em regras e ações com regras do AWS Config

• Filtragem e monitoramento de acesso HTTP a aplicações com funções de firewall de aplicação Web (WAF) no CloudFront

Métricas e logs de aplicações personalizados também podem ser publicados no CloudWatch Logs instalando o CloudWatch Agent em instâncias do Amazon EC2 ou em servidores on-premises.

Os logs podem ser analisados interativamente usando o CloudWatch Logs Insights, realizando consultas para ajudar você a responder de forma mais eficiente e eficaz a problemas operacionais.

O CloudWatch Logs pode ser processado praticamente em tempo real configurando filtros de assinatura e entregue a outros serviços, como um cluster do Amazon OpenSearch Service (OpenSearch Service), um stream do Amazon Kinesis, um stream do Amazon Kinesis Data Firehose ou Lambda para processamento personalizado, análise ou carregamento para outros sistemas.

Os filtros de métrica do CloudWatch podem ser usados para definir padrões a serem procurados em dados de log, transformá-los em métricas numéricas do CloudWatch e configurar alarmes com base em seus requisitos de negócios. Por exemplo, seguindo a recomendação da AWS de não usar o usuário raiz para tarefas diárias, é possível configurar um filtro de métrica específico do CloudWatch em um log do CloudTrail (entregue ao CloudWatch Logs) para criar uma métrica personalizada e configurar um alarme para notificar as partes interessadas quando as credenciais raiz são usadas para acessar sua conta da AWS.

Logs como logs de acesso ao servidor do Amazon S3, logs de acesso do Elastic Load Balancing, logs de fluxo da VPC e logs de fluxo do AWS Global Accelerator podem ser entregues diretamente a um bucket do Amazon S3. Por exemplo, quando você habilita os logs de acesso ao servidor do Amazon Simple Storage Service, você pode obter informações detalhadas sobre as solicitações feitas ao seu bucket do Amazon S3. Um registro de log de acesso contém detalhes sobre a solicitação, como o tipo de solicitação, os recursos especificados na solicitação e a data e a hora na qual a solicitação foi processada. Para obter mais informações sobre o conteúdo de uma mensagem de log, consulte o Formato de log de acesso a servidor do Amazon Simple Storage Service no Guia do desenvolvedor do Amazon Simple Storage Service. Logs de acesso ao servidor são úteis para muitas aplicações, porque fornecem aos proprietários de buckets insights sobre a natureza das solicitações feitas por clientes fora de seu controle. Por padrão, o Amazon S3 não coleta logs de acesso ao serviço. No entanto, quando você habilita o registro em log, o Amazon S3 geralmente fornece logs de acesso ao bucket em algumas horas. Se você precisar de uma entrega mais rápida ou precisar entregar logs para vários destinos, considere usar logs do CloudTrail ou uma combinação de logs do CloudTrail e do Amazon S3. Os logs podem ser criptografados em repouso configurando a criptografia de objeto padrão no bucket de destino. Os objetos são criptografados usando a criptografia no lado do servidor com as chaves gerenciadas pelo Amazon S3 (SSE-S3) ou as chaves primárias de cliente (CMKs) armazenadas no AWS Key Management Service (AWS KMS).

Os logs armazenados em um bucket do Amazon S3 podem ser consultados e analisados usando o Amazon Athena. O Amazon Athena é um serviço de consultas interativas que permite analisar dados no S3 usando SQL. Você pode usar o Athena para executar consultas pontuais com ANSI SQL, sem necessidade de agregar ou carregar os dados no Athena. O Athena pode processar conjuntos de dados não estruturados, semiestruturados e estruturados e integra-se ao Amazon QuickSight para facilitar a visualização.

Os logs também são uma fonte útil de informações para a detecção de ameaças automatizada. O Amazon GuardDuty é um serviço de monitoramento contínuo de segurança que analisa e processa eventos de várias fontes, como logs de fluxo da VPC, logs de eventos de gerenciamento do CloudTrail, logs de eventos de dados do Amazon S3 do CloudTrail e logs de DNS. Ele usa feeds de inteligência contra ameaças, como listas de endereços IP e domínios mal-intencionados, e machine learning para identificar atividades inesperadas, maliciosas e possivelmente não autorizadas no seu ambiente da AWS. Quando você habilita o GuardDuty em uma região, ele começa imediatamente a analisar seus logs de eventos do CloudTrail. Ele consome o gerenciamento do CloudTrail e os eventos de dados do Amazon S3 diretamente do CloudTrail por meio de um fluxo de eventos independente e duplicado.