Streaming de dados de CloudWatch registros para o Amazon OpenSearch Service

Você pode configurar um grupo de CloudWatch logs no Amazon Logs, para que você possa transmitir dados para o seu cluster do Amazon OpenSearch Service quase em tempo real. Para obter mais informações, consulte Processamento em tempo real de dados de log com assinaturas.

nota

O streaming para o OpenSearch serviço é suportado somente para grupos de registros na classe de log Standard. Para obter mais informações sobre classes de log, consulteClasses de log.

Dependendo da quantidade de dados de log transmitidos, considere definir um limite de simultaneidade em nível de função. Para obter mais informações, consulte Escalabilidade de funções do Lambda.

nota

Como o streaming de grandes quantidades de dados do CloudWatch Logs para o OpenSearch Serviço pode resultar em altas cobranças de uso, recomendamos que você crie um orçamento no AWS Billing and Cost Management console. Para obter mais informações, consulte Gerenciando seus custos com AWS orçamentos.

Esta seção descreve os pré-requisitos que você deve preencher antes de inscrever um grupo de registros no Serviço. OpenSearch Também descreve como inscrever um grupo de registros no OpenSearch Serviço.

Pré-requisitos

Antes de começar, crie um domínio OpenSearch de serviço. O domínio pode ter acesso público ou VPC acesso, mas você não pode modificar o tipo de acesso após a criação do domínio. Talvez você queira revisar as configurações do domínio de OpenSearch serviço posteriormente e modificar a configuração do cluster com base na quantidade de dados que o cluster processará. Para obter instruções sobre como criar um domínio, consulte Criação OpenSearch de domínios de serviço.

Para obter mais informações sobre o OpenSearch serviço, consulte o Amazon OpenSearch Service Developer Guide.

Inscrever um grupo de registros no OpenSearch Serviço

Você pode usar o CloudWatch console para inscrever um grupo de registros no OpenSearch Serviço.

Para inscrever um grupo de registros no OpenSearch Serviço

1. Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, escolha Grupos de logs.

3. Selecione o nome do grupo de logs.

4. Escolha Ações, Filtros de assinatura, Criar filtro OpenSearch de assinatura do Amazon Service.

5. Escolha se deseja fazer streaming para um cluster nessa conta ou em outra conta.

   • Se você escolheu essa conta, selecione o domínio que criou na etapa anterior.

   • Se você escolheu outra conta, forneça o domínio ARN e o endpoint.

6. Para o Lambda IAM Execution Role, escolha a IAM função que o Lambda deve usar ao executar chamadas. OpenSearch

   A IAM função que você escolher deve atender aos seguintes requisitos:

   • Ela deve possuir lambda.amazonaws.com na relação de confiança.

   • Ela deve incluir a seguinte política:

     {
         "Version": "2012-10-17",
         "Statement": [
             {
                 "Action": [
                     "es:*"
                 ],
                 "Effect": "Allow",
                 "Resource": "arn:aws:es:region:account-id:domain/target-domain-name/*"
             }
         ]
     }

   • Se o domínio do OpenSearch serviço de destino usar o VPC acesso, a função deverá ter a AWSLambdaVPCAccessExecutionRolepolítica anexada. Essa política gerenciada pela Amazon concede ao Lambda acesso ao cliente, VPC permitindo que o Lambda grave no endpoint no. OpenSearch VPC

7. Em Log format, escolha um formato de log.

8. Em Subscription filter pattern (Padrão de filtro de assinatura), digite os termos ou o padrão a ser localizado nos eventos de log. Isso garante que você envie somente os dados de seu interesse para o seu OpenSearch cluster. Para obter mais informações, consulte Criar métricas de eventos de log usando filtros.

9. (Opcional) Em Select log data to test (Selecionar dados de log para testar), selecione um fluxo de logs e escolha Test pattern (Testar padrão) para verificar se o filtro de pesquisa está retornando os resultados esperados.

10. Selecione Start streaming (Iniciar transmissão).