Menu
Logs do Amazon CloudWatch
Guia do usuário

Streaming de dados do CloudWatch Logs para o Amazon Elasticsearch Service

Você pode configurar um grupo de logs do CloudWatch Logs para fazer streaming de dados recebidos para o cluster do Amazon Elasticsearch Service (Amazon ES) quase em tempo quase real por meio de uma assinatura do CloudWatch Logs. Para obter mais informações, consulte Processamento em tempo real de dados de log com assinaturas.

nota

O streaming de grandes volumes de dados do CloudWatch Logs para o Amazon ES pode resultar em altas cobranças de uso. Recomendamos que você monitore sua conta da AWS para ajudar a evitar cobranças maiores do que as esperadas. Para obter mais informações, consulte Monitorar suas estimativas de gastos usando o CloudWatch.

Pré-requisitos

Antes de começar, crie um domínio do Amazon ES. O domínio do Amazon ES pode ter acesso público ou acesso VPC, mas você não poderá modificar o tipo de acesso depois que o domínio for criado. Você pode querer revisar as configurações do domínio do Amazon ES mais tarde e modificar a configuração do cluster com base na quantidade de dados que seu cluster processará.

Para obter mais informações sobre o Amazon ES, consulte o Guia do desenvolvedor do Amazon Elasticsearch Service.

Para criar um domínio do Amazon ES

No prompt de comando, use o seguinte comando create-elasticsearch-domain:

aws es create-elasticsearch-domain --domain-name my-domain

Assinar um grupo de logs para o Amazon ES

Você pode usar o console do CloudWatch para assinar um grupo de logs para o Amazon ES.

Para cancelar a assinatura de um grupo de logs para o Amazon ES

  1. Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/.

  2. No painel de navegação, selecione Logs.

  3. Selecione o grupo de logs para assinar.

  4. Escolha Ações, Fluxo para Amazon Elasticsearch Service.

  5. Na tela Iniciar streaming para Amazon Elasticsearch Service, em Cluster do Amazon ES, escolha o cluster criado na etapa anterior e, em seguida, escolha Próximo.

  6. Em Função do Lambda, para Função de execução do IAM para Lambda, escolha a função do IAM que o Lambda deve usar ao executar chamadas para o Amazon ES e selecione Próximo.

    A função do IAM escolhida deve atender a estes requisitos:

    • Ela deve possuir lambda.amazonaws.com na relação de confiança.

    • Ela deve incluir a seguinte política:

      { "Version": "2012-10-17", "Statement": [ { "Action": [ "es:*" ], "Effect": "Allow", "Resource": "arn:aws:es:region:account-id:domain/target-domain-name/*" } ] }
    • Se o domínio do Amazon ES de destino usar o acesso VPC, a função deverá ter a política AWSLambdaVPCAccessExecutionRole anexada. Essa política gerenciada pela Amazon concede ao Lambda acesso ao VPC do cliente, permitindo que o Lambda grave no endpoint do Amazon ES no VPC.

  7. Na tela Configurar formato de log e filtros, em Formato de log, escolha um formato de log.

  8. Em Padrão de filtro da assinatura, digite os termos ou o padrão a ser localizado nos seus eventos de log. Isso garante que você envie somente os dados de interesse para o cluster do Amazon ES. Para obter mais informações, consulte Pesquisa e filtragem de dados de log.

  9. (Opcional) Em Selecionar dados de log para teste, selecione um fluxo de log e clique em Testar padrão para verificar se o filtro de pesquisa está retornando os resultados que você espera.

  10. Escolha Próximo e, em seguida, na tela Revisar e iniciar streaming para Amazon Elasticsearch Service, escolha Iniciar streaming.