Implantar e inscrever o pipeline de pesquisa e análise de eventos para o Amazon SNS

Para arquivamento e análise de eventos, o Amazon SNS agora recomenda o uso de sua integração nativa com o Amazon Data Firehose. Você pode inscrever streams de entrega do Firehose em tópicos do SNS, o que permite enviar notificações para endpoints de arquivamento e análise, como buckets do Amazon Simple Storage Service (Amazon S3), tabelas do Amazon Redshift, Amazon Service (Service) e muito mais. OpenSearch OpenSearch Usar o Amazon SNS com os streams de entrega do Firehose é uma solução totalmente gerenciada e sem código que não exige o uso de funções. AWS Lambda Para obter mais informações, consulte Fanout de fluxos de entrega do Firehose.

Esta página mostra como implantar o pipeline de pesquisa e análise de eventos e inscrevê-lo em um tópico do Amazon SNS. Esse processo transforma automaticamente o AWS SAM modelo associado ao pipeline em uma AWS CloudFormation pilha e, em seguida, implanta a pilha na sua. Conta da AWS Esse processo também cria e configura o conjunto de recursos que compõe o pipeline de pesquisa e análise de eventos, incluindo o seguinte:

• Fila do Amazon SQS

• Função do Lambda

• Fluxo de entrega do Firehose

• Domínio do Amazon OpenSearch Service

• Bucket de mensagens mortas do Amazon S3

Para obter mais informações sobre como configurar um fluxo com um índice como um destino, consulte ElasticsearchDestinationConfiguration na Referência de API do Amazon Data Firehose.

Para obter mais informações sobre como transformar eventos e configurar o buffer de eventos, a compactação de eventos e a criptografia de eventos, consulte Como criar um fluxo de entrega no Amazon Data Firehose Developer Guide.

Para obter mais informações sobre como filtrar eventos, consulte Políticas de filtro de assinatura do Amazon SNS neste guia.

1. Faça login no console do AWS Lambda.

2. No painel de navegação, escolha Functions (Funções) e selecione Create function (Criar função).

3. Na página Create function (Criar função), faça o seguinte:

   1. Escolha Browse serverless app repository (Procurar no repositório de aplicações sem servidor), Public applications (Aplicações públicas), Show apps that create custom IAM roles or resource policies (Mostrar aplicações que criam funções do IAM ou políticas de recursos).

   2. Procure fork-event-search-analytics-pipeline e escolha o aplicativo.

4. Na página fork-event-search-analytics-pipeline, faça o seguinte:

   1. Na seção Application settings (Configurações do aplicativo), insira um Application name (Nome de aplicativo) (por exemplo, my-app-search).

      nota

      Para cada implantação, o nome do aplicativo deve ser exclusivo. Se você reutilizar o nome de um aplicativo, a implantação atualizará somente a AWS CloudFormation pilha implantada anteriormente (em vez de criar uma nova).

   2. (Opcional) Para DataTransformationFunctionArn, insira o ARN da função Lambda usada para transformar eventos recebidos. Se você não inserir um valor, a transformação de dados será desativada.

   3. (Opcional) Insira uma das seguintes LogLevelconfigurações para a execução da função Lambda do seu aplicativo:

      • DEBUG

      • ERROR

      • INFO (padrão)

      • WARNING

   4. (Opcional) Em SearchDomainArn, insira o ARN do domínio de OpenSearch serviço, um cluster que configura a funcionalidade necessária de computação e armazenamento. Se você não inserir um valor, um novo domínio será criado com a configuração padrão.

   5. Para TopicArn, insira o ARN do tópico do Amazon SNS no qual essa instância do fork pipeline deve ser assinada.

   6. Para SearchIndexName, insira o nome do índice de OpenSearch serviços para pesquisa e análise de eventos.

      nota

      As seguintes cotas se aplicam a nomes de índice:

      • Não é possível incluir letras maiúsculas

      • Não é possível incluir os seguintes caracteres: \ / * ? " < > | ` , #

      • Não é possível começar com os seguintes caracteres: - + _

      • Não podem ser o seguinte: . ..

      • Não podem ter mais que 80 caracteres

      • Não podem ter mais que 255 bytes

      • Não é possível conter dois pontos (do OpenSearch Serviço 7.0)

   7. (Opcional) Insira uma das seguintes SearchIndexRotationPeriodconfigurações para o período de rotação do índice de OpenSearch serviços:

      • NoRotation (padrão)

      • OneDay

      • OneHour

      • OneMonth

      • OneWeek

      A rotação de índice anexa um timestamp ao nome do índice, facilitando a expiração de dados antigos.

   8. Para SearchTypeName, insira o nome do tipo de OpenSearch serviço para organizar os eventos em um índice.

      nota

      • OpenSearch Os nomes dos tipos de serviço podem conter qualquer caractere (exceto bytes nulos), mas não podem começar com _ eles.

      • Para o OpenSearch Service 6.x, só pode haver um tipo por índice. Se você especificar um novo tipo para um índice existente que já tem outro tipo, o Firehose retornará um erro runtime.

   9. (Opcional) StreamBufferingSizeInMBsEm StreamBufferingIntervalInSecondse, insira os valores para configurar o armazenamento em buffer de eventos recebidos. Se nenhum valor for inserido, são usados 300 segundos e 5 MB.

   10. (Opcional) Insira uma das seguintes StreamCompressionFormatconfigurações para compactar eventos recebidos:

       • GZIP

       • SNAPPY

       • UNCOMPRESSED (padrão)

       • ZIP

   11. (Opcional) Para StreamPrefix, insira o prefixo da string para nomear os arquivos armazenados no bucket de cartas mortas do Amazon S3. Se você não inserir um valor, nenhum prefixo será usado.

   12. (Opcional) Para StreamRetryDurationInSecons, insira a duração da nova tentativa para casos em que o Firehose não consegue indexar eventos OpenSearch no índice de serviços. Se você não inserir um valor, será usado 300 segundos.

   13. (Opcional) Para SubscriptionFilterPolicy, insira a política de filtro de assinatura do Amazon SNS, no formato JSON, a ser usada para filtrar eventos recebidos. A política de filtro decide quais eventos são indexados no índice OpenSearch de serviços. Se nenhum valor for inserido, nenhuma filtragem será usada (todos os eventos serão indexados).

   14. Escolha I acknowledge that this app creates custom IAM roles, resource policies and deploys nested applications. (Eu reconheço que este aplicativo cria funções personalizadas do IAM, políticas de recursos e implanta aplicativos aninhados.) e selecione Deploy (Implantar).

Na my-app-search página Status de implantação para, o Lambda exibe o status Seu aplicativo está sendo implantado.

Na seção Recursos, AWS CloudFormation começa a criar a pilha e exibe o status CREATE_IN_PROGRESS de cada recurso. Quando o processo estiver concluído, AWS CloudFormation exibirá o status CREATE_COMPLETE.

Quando a implantação for concluída, o Lambda exibirá o status Your application has been deployed (Sua aplicação foi implantada).

As mensagens publicadas em seu tópico do Amazon SNS são indexadas automaticamente no índice de OpenSearch serviços provisionado pelo pipeline de pesquisa e análise de eventos. Se o pipeline não puder indexar um evento, ele o armazenará em um bucket de cartas mortas do Amazon S3.