Configurando o CloudWatch agente para EC2 instâncias e servidores locais

Muitas organizações executam cargas de trabalho em servidores físicos e máquinas virtuais (VMs). Essas cargas de trabalho geralmente são executadas de forma diferenteOSs, cada uma com requisitos exclusivos de instalação e configuração para capturar e ingerir métricas.

Se você optar por usar EC2 instâncias, poderá ter um alto nível de controle sobre a configuração da instância e do sistema operacional. No entanto, esse nível mais alto de controle e responsabilidade exige que você monitore e ajuste as configurações para obter um uso mais eficiente. Você pode melhorar sua eficácia operacional estabelecendo padrões para registro e monitoramento e aplicando uma abordagem padrão de instalação e configuração para capturar e ingerir registros e métricas.

Organizações que migram ou ampliam seus investimentos em TI para a AWS nuvem podem aproveitar CloudWatch para obter uma solução unificada de registro e monitoramento. CloudWatch o preço significa que você paga incrementalmente pelas métricas e registros que deseja capturar. Você também pode capturar registros e métricas para servidores locais usando um processo de instalação de CloudWatch agentes semelhante ao da AmazonEC2.

Antes de começar a instalar e implantar CloudWatch, certifique-se de avaliar as configurações de registro e métricas para seus sistemas e aplicativos. Certifique-se de definir os registros e métricas padrão que você precisa capturar para o OSs que você deseja usar. Os registros e métricas do sistema são a base e o padrão de uma solução de registro e monitoramento porque são gerados pelo sistema operacional e são diferentes para Linux e Windows. Há métricas e arquivos de log importantes disponíveis em todas as distribuições Linux, além daqueles que são específicos para uma versão ou distribuição Linux. Essa variação também ocorre entre diferentes versões do Windows.

Configurando o agente CloudWatch

CloudWatch captura métricas e registros da Amazon EC2 e de servidores locais usando CloudWatch agentes e arquivos de configuração de agentes que são específicos para cada sistema operacional. Recomendamos que você defina a métrica padrão e a configuração de captura de registros da sua organização antes de começar a instalar o CloudWatch agente em grande escala em suas contas.

Você pode combinar várias configurações de CloudWatch agente para formar uma configuração de CloudWatch agente composta. Uma abordagem recomendada é definir e dividir configurações para seus registros e métricas no nível do sistema e do aplicativo. O diagrama a seguir ilustra como vários tipos de arquivo de CloudWatch configuração para diferentes requisitos podem ser combinados para formar uma configuração composta CloudWatch:

Esses registros e métricas também podem ser classificados e configurados posteriormente para ambientes ou requisitos específicos. Por exemplo, você pode definir um subconjunto menor de registros e métricas com menor precisão para ambientes de desenvolvimento não regulamentados e um conjunto maior e mais completo com maior precisão para ambientes de produção regulamentados.

Configurando a captura de registros para instâncias EC2

Por padrão, a Amazon EC2 não monitora nem captura arquivos de log. Em vez disso, os arquivos de log são capturados e inseridos no CloudWatch Logs pelo software do CloudWatch agente instalado na sua EC2 instância AWS API, ou AWS Command Line Interface (AWS CLI). Recomendamos usar o CloudWatch agente para ingerir arquivos de log no CloudWatch Logs for Amazon EC2 e em servidores locais.

Você pode pesquisar e filtrar registros, bem como extrair métricas e executar automação com base na correção de padrões dos arquivos de log. CloudWatch CloudWatch suporta opções de filtro e sintaxe de padrão de texto simples, delimitado por espaço e JSON formatado, com JSON registros formatados em -fornecendo a maior flexibilidade. Para aumentar as opções de filtragem e análise, você deve usar uma saída de log formatada em vez de texto sem formatação.

O CloudWatch agente usa um arquivo de configuração que define os registros e métricas para os quais enviar CloudWatch. CloudWatch em seguida, captura cada arquivo de log como um fluxo de log e agrupa esses fluxos de log em um grupo de log. Isso ajuda você a realizar operações nos registros de suas EC2 instâncias, como pesquisar uma string correspondente.

O nome padrão do stream de registros é igual ao ID da EC2 instância e o nome padrão do grupo de registros é o mesmo do caminho do arquivo de log. O nome do fluxo de registros deve ser exclusivo dentro do grupo de CloudWatch registros. Você pode usarinstance_id,, hostnamelocal_hostname, ou ip_address para substituição dinâmica nos nomes do stream de log e do grupo de log, o que significa que você pode usar o mesmo arquivo de configuração do CloudWatch agente em várias EC2 instâncias.

O diagrama a seguir mostra a configuração de um CloudWatch agente para capturar registros. O grupo de registros é definido pelos arquivos de log capturados e contém fluxos de log separados para cada EC2 instância porque a {instance_id} variável é usada para o nome do fluxo de log e a EC2 instância IDs é exclusiva.

Os grupos de registros definem a retenção, as tags, a segurança, os filtros métricos e o escopo de pesquisa dos fluxos de registros que eles contêm. O comportamento de agrupamento padrão com base no nome do arquivo de log ajuda você a pesquisar, criar métricas e alertar sobre dados específicos de um arquivo de log entre EC2 instâncias em uma conta e região. Você deve avaliar se é necessário um refinamento adicional do grupo de registros. Por exemplo, sua conta pode ser compartilhada por várias unidades de negócios e ter diferentes proprietários técnicos ou operacionais. Isso significa que você deve refinar ainda mais o nome do grupo de registros para refletir a separação e a propriedade. Essa abordagem permite que você concentre sua análise e solução de problemas na EC2 instância relevante.

Se vários ambientes usarem uma conta, você poderá separar o registro das cargas de trabalho que são executadas em cada ambiente. A tabela a seguir mostra uma convenção de nomenclatura de grupos de registros que inclui a unidade de negócios, o projeto ou o aplicativo e o ambiente.

Nome do grupo de logs	/<Business unit>/<Project or application name>/<Environment>/<Log file name>
Nome do fluxo de logs	<EC2 instance ID>

Você também pode agrupar todos os arquivos de log de uma EC2 instância no mesmo grupo de log. Isso facilita a pesquisa e a análise em um conjunto de arquivos de log para uma única EC2 instância. Isso é útil se a maioria das suas EC2 instâncias atende a um aplicativo ou carga de trabalho e cada EC2 instância serve a uma finalidade específica. A tabela a seguir mostra como a nomenclatura do grupo de registros e do fluxo de registros pode ser formatada para oferecer suporte a essa abordagem.

Nome do grupo de logs	/<Business unit>/<Project or application name>/<Environment>/<EC2 instance ID>
Nome do fluxo de logs	<Log file name>

Configurando a captura de métricas para instâncias EC2

Por padrão, suas EC2 instâncias são habilitadas para monitoramento básico e um conjunto padrão de métricas (por exemploCPU, métricas relacionadas à rede ou ao armazenamento) é enviado automaticamente a CloudWatch cada cinco minutos. CloudWatch as métricas podem variar dependendo da família de instâncias, por exemplo, instâncias de desempenho intermitente têm métricas para CPU créditos. As métricas EC2 padrão da Amazon estão incluídas no preço da sua instância. Se você ativar o monitoramento detalhado de suas EC2 instâncias, poderá receber dados em períodos de um minuto. A frequência do período afeta seus CloudWatch custos, portanto, certifique-se de avaliar se o monitoramento detalhado é necessário para todas ou apenas algumas de suas EC2 instâncias. Por exemplo, você pode ativar o monitoramento detalhado para cargas de trabalho de produção, mas usar o monitoramento básico para cargas de trabalho que não sejam de produção.

Os servidores locais não incluem nenhuma métrica padrão CloudWatch e devem usar o CloudWatch agente ou AWS SDK capturar métricas. AWS CLI Isso significa que você deve definir as métricas que deseja capturar (por exemplo, CPU utilização) no arquivo de CloudWatch configuração. Você pode criar um arquivo de CloudWatch configuração exclusivo que inclua as métricas de EC2 instância padrão para seus servidores locais e aplicá-lo além da CloudWatch configuração padrão.

As métricas em CloudWatch são definidas exclusivamente pelo nome da métrica e por zero ou mais dimensões, e são agrupadas de forma exclusiva em um namespace métrico. As métricas fornecidas por um AWS serviço têm um namespace que começa com AWS (por exemplo,AWS/EC2), e as métricas não AWS métricas são consideradas métricas personalizadas. As métricas que você configura e captura com o CloudWatch agente são todas consideradas métricas personalizadas. Como o número de métricas criadas afeta seus CloudWatch custos, você deve avaliar se cada métrica é necessária para todas ou apenas algumas de suas EC2 instâncias. Por exemplo, você pode definir um conjunto completo de métricas para cargas de trabalho de produção, mas usar um subconjunto menor dessas métricas para cargas de trabalho que não sejam de produção.

CWAgenté o namespace padrão para métricas publicadas pelo CloudWatch agente. Semelhante aos grupos de registros, o namespace métrico organiza um conjunto de métricas para que elas possam ser encontradas juntas em um só lugar. Você deve modificar o namespace para refletir uma unidade de negócios, projeto ou aplicativo e ambiente (por exemplo,/<Business unit>/<Project or application name>/<Environment>). Essa abordagem é útil se várias cargas de trabalho não relacionadas usarem a mesma conta. Você também pode correlacionar a convenção de nomenclatura do namespace com a convenção de nomenclatura do grupo de CloudWatch registros.

As métricas também são identificadas por suas dimensões, que ajudam você a analisá-las em relação a um conjunto de condições e são as propriedades nas quais as observações são registradas. A Amazon EC2 inclui métricas separadas para EC2 instâncias com AutoScalingGroupName dimensões InstanceId e. Você também recebe métricas com as InstanceType dimensões ImageId e se ativar o monitoramento detalhado. Por exemplo, a Amazon EC2 fornece uma métrica de EC2 instância separada para a CPU utilização com as InstanceId dimensões, além de uma métrica de CPU utilização separada para a InstanceType dimensão. Isso ajuda você a analisar a CPU utilização de cada EC2 instância exclusiva, além de todas as EC2 instâncias de um tipo de instância específico.

Adicionar mais dimensões aumenta sua capacidade de análise, mas também aumenta seus custos gerais, porque cada combinação de métrica e valor de dimensão exclusiva resulta em uma nova métrica. Por exemplo, se você criar uma métrica para a porcentagem de utilização de memória em relação à InstanceId dimensão, essa será uma nova métrica para cada EC2 instância. Se sua organização executa milhares de EC2 instâncias, isso gera milhares de métricas e resulta em custos mais altos. Para controlar e prever custos, certifique-se de determinar a cardinalidade da métrica e quais dimensões agregam mais valor. Por exemplo, você pode definir um conjunto completo de dimensões para suas métricas de carga de trabalho de produção, mas um subconjunto menor dessas dimensões para cargas de trabalho que não sejam de produção.

Você pode usar a append_dimensions propriedade para adicionar dimensões a uma ou a todas as métricas definidas na sua CloudWatch configuração. Você também pode anexar dinamicamente oImageId,, InstanceIdInstanceType, e AutoScalingGroupName a todas as métricas em sua configuração. CloudWatch Como alternativa, você pode acrescentar um nome e um valor de dimensão arbitrários para métricas específicas usando a append_dimensions propriedade dessa métrica. CloudWatch também pode agregar estatísticas sobre dimensões métricas que você definiu com a aggregation_dimensions propriedade.

Por exemplo, você pode agregar a memória usada em relação à InstanceType dimensão para ver a memória média usada por todas as EC2 instâncias para cada tipo de instância. Se você usar t2.micro instâncias em execução em uma região, poderá determinar se as cargas de trabalho que usam a t2.micro classe estão superutilizando ou subutilizando a memória fornecida. A subutilização pode ser um sinal de que as cargas de trabalho estão usando EC2 classes com uma capacidade de memória não necessária. Por outro lado, a sobreutilização pode ser um sinal de cargas de trabalho usando EC2 classes da Amazon com memória insuficiente.

O diagrama a seguir mostra um exemplo de configuração de CloudWatch métricas que usa um namespace personalizado, dimensões adicionadas e agregação por. InstanceType