Amazon CloudWatch Logs
Guia do usuário

Streaming dados do CloudWatch Logs para Amazon Elasticsearch Service

Você pode configurar um grupo de logs do CloudWatch Logs para fazer streaming de dados recebidos para o cluster do Amazon Elasticsearch Service (Amazon ES) em tempo quase real por meio de uma assinatura do CloudWatch Logs. Para obter mais informações, consulte Processamento em tempo real de dados de log com assinaturas.

nota

O streaming de grandes volumes de dados do CloudWatch Logs para o Amazon ES pode resultar em altas cobranças de uso. Recomendamos que você monitore sua conta da AWS para ajudar a evitar cobranças maiores do que as esperadas. Para obter mais informações, consulte Monitorar suas estimativas de gastos usando o CloudWatch.

Pré-requisitos

Antes de começar, crie um domínio do Amazon ES. O domínio do Amazon ES pode ter acesso público ou acesso à VPC, mas você não poderá modificar o tipo de acesso depois que o domínio for criado. Você pode querer revisar as configurações do domínio do Amazon ES mais tarde e modificar a configuração do cluster com base na quantidade de dados que seu cluster processará.

Para obter mais informações sobre Amazon ES, consulte Guia do desenvolvedor do Amazon Elasticsearch Service.

Para criar um domínio do Amazon ES

No prompt de comando, use o seguinte comando create-elasticsearch-domain:

aws es create-elasticsearch-domain --domain-name my-domain

Inscrever um grupo de logs no Amazon ES

Você pode usar o console do CloudWatch para inscrever um grupo de logs no Amazon ES.

Para inscrever um grupo de logs no Amazon ES

  1. Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/.

  2. No painel de navegação, selecione Logs.

  3. Selecione o grupo de logs para assinar.

  4. Escolha Actions (Ações), Stream to (Transmitir para) Amazon Elasticsearch Service.

  5. Na tela Iniciar streaming para Amazon Elasticsearch Service, no cluster do Amazon ES, escolha o cluster criado na etapa anterior e, em seguida, escolha Next (Próximo).

  6. Sob Função do Lambda, em Função de execução do Lambda para IAM, escolha a função do IAM que o Lambda deve usar ao executar chamadas para o Amazon ES e selecione Next (Próximo).

    A função do IAM escolhida deve atender a estes requisitos:

    • Ela deve possuir lambda.amazonaws.com na relação de confiança.

    • Ela deve incluir a seguinte política:

      { "Version": "2012-10-17", "Statement": [ { "Action": [ "es:*" ], "Effect": "Allow", "Resource": "arn:aws:es:region:account-id:domain/target-domain-name/*" } ] }
    • Se o domínio do Amazon ES de destino usar o acesso à VPC, a função deverá ter a política AWSLambdaVPCAccessExecutionRole anexada. Essa política gerenciada pela Amazon concede ao Lambda acesso à VPC do cliente, permitindo que o Lambda grave no endpoint do Amazon ES na VPC.

  7. Na tela Configurar formato de log e filtros, em Formato de log, escolha um formato de log.

  8. Em Padrão de filtro da assinatura, digite os termos ou o padrão a ser localizado nos seus eventos de log. Dessa forma, você garante que enviará somente os dados que o interessam para o cluster do Amazon ES. Para obter mais informações, consulte Pesquisa e filtragem de dados de log.

  9. (Opcional) Em Selecionar dados de log para teste, selecione um fluxo de log e clique em Testar padrão para verificar se o filtro de pesquisa está retornando os resultados que você espera.

  10. Escolha Next (Próximo) e, em seguida, na tela Revisar e iniciar streaming para Amazon Elasticsearch Service, escolha Start Streaming (Iniciar streaming).