Streaming de dados de CloudWatch registros para o Amazon OpenSearch Service

Você pode configurar um grupo de CloudWatch logs no Amazon Logs, para que você possa transmitir dados para o seu cluster do Amazon OpenSearch Service quase em tempo real. Para obter mais informações, consulte Processamento em tempo real de dados de log com assinaturas.

nota

O streaming para o OpenSearch serviço é suportado somente para grupos de registros na classe de log Standard. Para obter mais informações sobre classes de logs, consulte Classes de logs.

Dependendo da quantidade de dados de log transmitidos no fluxo, considere definir um limite de simultaneidade ao nível da função. Para obter mais informações, consulte Escalabilidade de funções do Lambda.

nota

Como o streaming de grandes quantidades de dados do CloudWatch Logs para o OpenSearch Serviço pode resultar em altas cobranças de uso, recomendamos que você crie um orçamento no Gerenciamento de Faturamento e Custos da AWS console. Para obter mais informações, consulte Gerenciando seus custos com AWS orçamentos.

Esta seção descreve os pré-requisitos que você deve preencher antes de inscrever um grupo de registros no Serviço. OpenSearch Também descreve como inscrever um grupo de registros no OpenSearch Serviço.

Pré-requisitos

Antes de começar, crie um domínio OpenSearch de serviço. O domínio pode ter acesso público ou acesso à VPC, mas você não poderá modificar o tipo de acesso depois que o domínio for criado. Talvez você queira revisar as configurações do domínio de OpenSearch serviço posteriormente e modificar a configuração do cluster com base na quantidade de dados que o cluster processará. Para obter instruções sobre como criar um domínio, consulte Criação OpenSearch de domínios de serviço.

Para obter mais informações sobre o OpenSearch serviço, consulte o Amazon OpenSearch Service Developer Guide.

Inscrever um grupo de registros no OpenSearch Serviço

Você pode usar o CloudWatch console para inscrever um grupo de registros no OpenSearch Serviço.

Para inscrever um grupo de registros no OpenSearch Serviço

1. Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, escolha Grupos de logs.

3. Selecione o nome do grupo de logs.

4. Escolha Ações, Filtros de assinatura, Criar filtro OpenSearch de assinatura do Amazon Service.

5. Escolha se deseja fazer streaming para um cluster nessa conta ou em outra conta.

   • Se você escolheu essa conta, selecione o domínio que criou na etapa anterior.

   • Caso tenha escolhido outra conta, forneça o ARN do domínio e o endpoint.

6. Para a função de execução do Lambda IAM, escolha a função do IAM que o Lambda deve usar ao executar chamadas. OpenSearch

   A função do IAM escolhida deve atender a estes requisitos:

   • Ela deve possuir lambda.amazonaws.com na relação de confiança.

   • Ela deve incluir a seguinte política:

     {
         "Version": "2012-10-17",
         "Statement": [
             {
                 "Action": [
                     "es:*"
                 ],
                 "Effect": "Allow",
                 "Resource": "arn:aws:es:region:account-id:domain/target-domain-name/*"
             }
         ]
     }

   • Se o domínio OpenSearch de serviço de destino usar acesso à VPC, a função deverá ter a AWSLambdaVPCAccessExecutionRolepolítica anexada. Essa política gerenciada pela Amazon concede ao Lambda acesso à VPC do cliente, permitindo que a Lambda grave no endpoint na VPC. OpenSearch

7. Em Log format, escolha um formato de log.

8. Em Subscription filter pattern (Padrão de filtro de assinatura), digite os termos ou o padrão a ser localizado nos eventos de log. Isso garante que você envie somente os dados de seu interesse para o seu OpenSearch cluster. Para obter mais informações, consulte Criar métricas de eventos de log usando filtros.

9. (Opcional) Em Select log data to test (Selecionar dados de log para testar), selecione um fluxo de logs e escolha Test pattern (Testar padrão) para verificar se o filtro de pesquisa está retornando os resultados esperados.

10. Selecione Start streaming (Iniciar transmissão).