Implantar e inscrever o pipeline de armazenamento e backup de eventos para o Amazon SNS

Para arquivamento e análise de eventos, o Amazon SNS agora recomenda o uso de sua integração nativa com o Amazon Data Firehose. Você pode inscrever streams de entrega do Firehose em tópicos do SNS, o que permite enviar notificações para endpoints de arquivamento e análise, como buckets do Amazon Simple Storage Service (Amazon S3), tabelas do Amazon Redshift, Amazon Service (Service) e muito mais. OpenSearch OpenSearch Usar o Amazon SNS com os streams de entrega do Firehose é uma solução totalmente gerenciada e sem código que não exige o uso de funções. AWS Lambda Para obter mais informações, consulte Fanout de fluxos de entrega do Firehose.

Este tutorial mostra como implantar o pipeline de armazenamento e backup de eventos e inscrevê-lo em um tópico do Amazon SNS. Esse processo transforma automaticamente o AWS SAM modelo associado ao pipeline em uma AWS CloudFormation pilha e, em seguida, implanta a pilha na sua. Conta da AWS Esse processo também cria e configura o conjunto de recursos que compõe o pipeline de armazenamento e backup de eventos, incluindo o seguinte:

• Fila do Amazon SQS

• Função do Lambda

• Fluxo de entrega do Firehose

• Bucket de backup do Amazon S3

Para obter mais informações sobre como configurar um stream com um bucket do Amazon S3 como destino, S3DestinationConfiguration consulte a Amazon Data Firehose API Reference.

Para obter mais informações sobre como transformar eventos e configurar o armazenamento em buffer, a compactação e a criptografia de eventos, consulte Criar um fluxo de entrega do Amazon Kinesis Data Firehose no Guia do desenvolvedor do Amazon Data Firehose.

Para obter mais informações sobre como filtrar eventos, consulte Políticas de filtro de assinatura do Amazon SNS neste guia.

1. Faça login no console do AWS Lambda.

2. No painel de navegação, escolha Functions (Funções) e selecione Create function (Criar função).

3. Na página Create function (Criar função), faça o seguinte:

   1. Escolha Browse serverless app repository (Procurar no repositório de aplicações sem servidor), Public applications (Aplicações públicas), Show apps that create custom IAM roles or resource policies (Mostrar aplicações que criam funções do IAM ou políticas de recursos).

   2. Procure fork-event-storage-backup-pipeline e escolha o aplicativo.

4. Na página fork-event-storage-backup-pipeline, faça o seguinte:

   1. Na seção Application settings (Configurações do aplicativo), insira um Application name (Nome de aplicativo) (por exemplo, my-app-backup).

      nota

      • Para cada implantação, o nome do aplicativo deve ser exclusivo. Se você reutilizar o nome de um aplicativo, a implantação atualizará somente a AWS CloudFormation pilha implantada anteriormente (em vez de criar uma nova).

   2. (Opcional) Para BucketArn, insira o ARN do bucket do Amazon S3 no qual os eventos recebidos são carregados. Se você não inserir um valor, um novo bucket do Amazon S3 será criado em sua AWS conta.

   3. (Opcional) Para DataTransformationFunctionArn, insira o ARN da função Lambda por meio da qual os eventos recebidos são transformados. Se você não inserir um valor, a transformação de dados será desativada.

   4. (Opcional) Insira uma das seguintes LogLevelconfigurações para a execução da função Lambda do seu aplicativo:

      • DEBUG

      • ERROR

      • INFO (padrão)

      • WARNING

   5. Para TopicArn, insira o ARN do tópico do Amazon SNS no qual essa instância do fork pipeline deve ser assinada.

   6. (Opcional) StreamBufferingSizeInMBsEm StreamBufferingIntervalInSecondse, insira os valores para configurar o armazenamento em buffer de eventos recebidos. Se nenhum valor for inserido, são usados 300 segundos e 5 MB.

   7. (Opcional) Insira uma das seguintes StreamCompressionFormatconfigurações para compactar eventos recebidos:

      • GZIP

      • SNAPPY

      • UNCOMPRESSED (padrão)

      • ZIP

   8. (Opcional) Para StreamPrefix, insira o prefixo da string para nomear os arquivos armazenados no bucket de backup do Amazon S3. Se você não inserir um valor, nenhum prefixo será usado.

   9. (Opcional) Para SubscriptionFilterPolicy, insira a política de filtro de assinatura do Amazon SNS, no formato JSON, a ser usada para filtrar eventos recebidos. A política de filtro decide quais eventos são indexados no índice OpenSearch de serviços. Se nenhum valor for inserido, nenhuma filtragem será usada (todos os eventos serão indexados).

   10. (Opcional) Para SubscriptionFilterPolicyScope, insira a string MessageBody ou habilite MessageAttributes a filtragem de mensagens baseada em carga ou atributo.

   11. Escolha I acknowledge that this app creates custom IAM roles, resource policies and deploys nested applications. (Eu reconheço que este aplicativo cria funções personalizadas do IAM, políticas de recursos e implanta aplicativos aninhados.) e selecione Deploy (Implantar).

Na my-app página Status de implantação para, o Lambda exibe o status Seu aplicativo está sendo implantado.

Na seção Recursos, AWS CloudFormation começa a criar a pilha e exibe o status CREATE_IN_PROGRESS de cada recurso. Quando o processo estiver concluído, AWS CloudFormation exibirá o status CREATE_COMPLETE.

Quando a implantação for concluída, o Lambda exibirá o status Your application has been deployed (Sua aplicação foi implantada).

As mensagens publicadas em seu tópico do Amazon SNS são armazenadas automaticamente no bucket de backup do Amazon S3 provisionado pelo pipeline de armazenamento de eventos e backup.