Fazer uma transmissão de dados do CloudWatch Logs para o Amazon OpenSearch Service

Você pode configurar um grupo de logs do CloudWatch Logs para fazer a transmissão de dados recebidos para o cluster do Amazon OpenSearch Service quase em tempo real por meio de uma assinatura do CloudWatch Logs. Para obter mais informações, consulte Processamento em tempo real de dados de log com assinaturas.

Dependendo da quantidade de dados de log que estão sendo enviados por streaming, você pode definir um limite de execução simultânea no nível da função. Para obter mais informações, consulte Escalabilidade de funções do Lambda.

nota

O streaming de grandes quantidades de dados do CloudWatch Logs para o OpenSearch Service pode resultar em altas cobranças de uso. Recomendamos que você crie um orçamento no console AWS Billing and Cost Management. Para obter mais informações, consulte Gerenciar seus custos com o AWS Budgets.

Pré-requisitos

Antes de começar, crie um domínio do OpenSearch Service. O domínio pode ter acesso público ou acesso à VPC, mas você não poderá modificar o tipo de acesso depois que o domínio for criado. Talvez você queira revisar as configurações de domínio do serviço OpenSearch mais tarde e modificar a configuração do cluster com base na quantidade de dados que o cluster processará. Para obter instruções sobre como criar um domínio, consulte Criar domínios do OpenSearch Service.

Para obter mais informações sobre o serviço OpenSearch, consulte o Guia do desenvolvedor do Amazon OpenSearch Service.

Inscreva um grupo de logs no OpenSearch Service

Você pode usar o console do CloudWatch para inscrever um grupo de logs no OpenSearch Service.

Para inscrever um grupo de logs no OpenSearch Service

1. Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, escolha Log groups (Grupos de logs).

3. Selecione o nome do grupo de logs.

4. Escolha Ações, filtros de assinatura, Criar filtro de assinatura do Amazon OpenSearch Service.

5. Escolha se deseja fazer streaming para um cluster nessa conta ou em outra conta.

   • Se você escolheu essa conta, selecione o domínio que criou na etapa anterior.

   • Caso tenha escolhido outra conta, forneça o ARN do domínio e o endpoint.

6. Em Lambda IAM Execution Role (Função de execução do IAM do Lambda), escolha a função do IAM que o Lambda deverá usar ao executar chamadas para o OpenSearch.

   A função do IAM escolhida deve atender a estes requisitos:

   • Ela deve possuir lambda.amazonaws.com na relação de confiança.

   • Ela deve incluir a seguinte política:

     {
         "Version": "2012-10-17",
         "Statement": [
             {
                 "Action": [
                     "es:*"
                 ],
                 "Effect": "Allow",
                 "Resource": "arn:aws:es:region:account-id:domain/target-domain-name/*"
             }
         ]
     }

   • Se o domínio do OpenSearch Service de destino usar acesso VPC, a função deverá ter a política AWSLambdaVPCAccessExecutionRole anexada. Essa política gerenciada pela Amazon concede ao Lambda acesso à VPC do cliente, permitindo que o Lambda grave no endpoint do OpenSearch na VPC.

7. Em Log format, escolha um formato de log.

8. Em Subscription filter pattern (Padrão de filtro de assinatura), digite os termos ou o padrão a ser localizado nos eventos de log. Isso garante que você envie para o cluster do OpenSearch apenas os dados que interessam. Para obter mais informações, consulte Criar métricas de eventos de log usando filtros.

9. (Opcional) Em Select log data to test (Selecionar dados de log para testar), selecione um fluxo de logs e escolha Test pattern (Testar padrão) para verificar se o filtro de pesquisa está retornando os resultados esperados.

10. Selecione Start streaming (Iniciar transmissão).