Pour déployer et abonner le pipeline de stockage et de sauvegarde d'événements - Amazon Simple Notification Service

Pour déployer et abonner le pipeline de stockage et de sauvegarde d'événements

Pour l'archivage et l'analyse des événements, Amazon SNS recommande désormais d'utiliser son intégration native avec Amazon Kinesis Data Firehose. Vous pouvez abonner les flux de diffusion Kinesis Data Firehose aux rubriques SNS, ce qui vous permet d'envoyer des notifications aux points de terminaison d'archivage et d'analyse, tels que les compartiments Amazon Simple Storage Service (Amazon S3), les tables Amazon Redshift, Amazon OpenSearch Service (OpenSearch Service), et plus encore. L'utilisation d'Amazon SNS avec les flux de diffusion Kinesis Data Firehose est une solution entièrement gérée et sans code qui ne vous oblige pas à utiliser les fonctions AWS Lambda. Pour de plus amples informations, consultez la section Distribution ramifiée vers le flux de diffusion Kinesis Data Firehose.

Ce didacticiel montre comment déployer le Pipeline de stockage et de sauvegarde d'événements et l'abonner à une rubrique Amazon SNS. Ce processus transforme automatiquement le modèle AWS SAM associé au pipeline en pile AWS CloudFormation, puis déploie la pile dans votre Compte AWS. De plus, ce processus crée et configure l'ensemble de ressources qui comprennent le pipeline de stockage et de sauvegarde des événements, y compris ce qui suit :

  • File d'attente Amazon SQS

  • Fonction Lambda

  • Flux de diffusion Kinesis Data Firehose

  • Compartiment de sauvegarde Amazon S3

Pour plus d'informations sur la configuration d'un flux avec un compartiment S3 en tant que destination, consultez la section S3DestinationConfiguration dans la Référence d'API Amazon Kinesis Data Firehose.

Pour plus d'informations sur la transformation des événements, la configuration de la mise en mémoire tampon des événements, la compression des événements et le chiffrement des événements, consultez la section Création d'un flux de diffusion dans le Guide du développeur Amazon Kinesis Data Firehose.

Pour plus d'informations sur le filtrage des événements, consultez la section Stratégies de filtre d'abonnement Amazon SNS dans le présent guide.

  1. Connectez-vous à la AWS Lambdaconsole.

  2. Dans le panneau de navigation, choisissez Fonctions, puis Créer une fonction.

  3. Sur la page Créer une fonction, procédez de la façon suivante :

    1. Choisissez Parcourir le référentiel d'applications sans serveur, Applications publiques, Afficher les applications qui créent des politiques de rôles ou de ressources IAM personnalisées.

    2. Recherchez fork-event-storage-backup-pipeline et choisissez l'application.

  4. Sur la page fork-event-storage-backup-pipeline, procédez comme suit :

    1. Dans la section Paramètres de l'application, entrez un Nom d'application (par exemple, my-app-backup).

      Note

      • Pour chaque déploiement, le nom de l'application doit être unique. Si vous réutilisez un nom d'application, le déploiement met à jour uniquement la pile AWS CloudFormation déployée précédemment (au lieu d'en créer une autre).

    2. (Facultatif) Pour BucketArn, saisissez l'ARN du compartiment S3 dans lequel les événements entrants sont chargés. Si vous ne saisissez pas de valeur, un nouveau compartiment S3 est créé dans votre compte AWS.

    3. (Facultatif) Pour DataTransformationFunctionArn, saisissez l'ARN de la fonction Lambda via laquelle les événements entrants sont transformés. Si vous ne spécifiez pas de valeur, la transformation des données est désactivée.

    4. (Facultatif) Saisissez l'un des paramètres LogLevel suivants pour l'exécution de la fonction Lambda de votre application :

      • DEBUG

      • ERROR

      • INFO (default)

      • WARNING

    5. Pour TopicArn, saisissez l'ARN de la rubrique Amazon SNS dans laquelle cette instance du pipeline fork doit être inscrite.

    6. (Facultatif) Pour StreamBufferingIntervalInSeconds et StreamBufferingSizeInMBs, entrez les valeurs de la configuration de la mise en mémoire tampon des événements entrants. Si vous n'entrez aucune valeur, 300 secondes et 5 Mo sont utilisés.

    7. (Facultatif) Entrez l'une des valeurs suivantes pour les paramètres StreamCompressionFormat pour compresser les événements entrants :

      • GZIP

      • SNAPPY

      • UNCOMPRESSED (default)

      • ZIP

    8. (Facultatif) Pour StreamPrefix, saisissez le préfixe de chaîne pour nommer les fichiers stockés dans le compartiment S3 de sauvegarde. Si vous ne spécifiez pas de valeur, aucun préfixe n'est utilisé.

    9. (Facultatif) Pour SubscriptionFilterPolicy, saisissez la politique de filtre d'abonnement à Amazon SNS, au format JSON, à utiliser pour filtrer les événements entrants. La politique de filtre décide quels événements sont indexés dans l'index OpenSearch Service. Si vous ne spécifiez pas de valeur, aucun filtrage n'est utilisé (tous les événements sont indexés).

    10. (Facultatif) Pour SubscriptionFilterPolicyScope, entrez la chaîne MessageBody ou MessageAttributes pour activer le filtrage des messages basé sur la charge utile ou sur les attributs.

    11. Choisissez Je comprends que cette application crée des rôles IAM et des politiques de ressources personnalisés, et déploie des applications imbriquées., puis choisissez Déployer.

Sur la page État de déploiement pour my-app, Lambda affiche l'état Votre application est en cours de déploiement.

Dans la section Ressources, AWS CloudFormation commence à créer la pile et affiche l'état CREATE_IN_PROGRESS pour chaque ressource. Lorsque le processus est terminé, AWS CloudFormation affiche l'état CREATE_COMPLETE.

Une fois le déploiement terminé, Lambda affiche l'état Votre application a été déployée.

Les messages publiés dans votre rubrique Amazon SNS sont stockés dans le compartiment S3 de sauvegarde mis en service automatiquement par le pipeline de stockage et de sauvegarde d'événements.