Traitement en temps réel des données du journal avec les abonnements - Amazon CloudWatch Logs

Traitement en temps réel des données du journal avec les abonnements

Vous pouvez utiliser des abonnements pour accéder à un flux d'événements du journal en temps réel fourni par CloudWatch Logs et le transmettre à d'autres services tels qu'un flux Amazon Kinesis, un flux Amazon Kinesis Data Firehose ou AWS Lambda afin d'effectuer une analyse ou un traitement personnalisé, ou pour le charger dans d'autres systèmes. Lorsque les événements du journal sont envoyés au service récepteur, ils sont encodés en base64 et compressés au format gzip.

Pour commencer à s'abonner à des événements du journal, créez la ressource de réception, telle qu'un flux Kinesis, où les événements seront transférés. Un filtre d'abonnement définit le modèle de filtrage à utiliser pour filtrer les événements du journal à transférer à votre ressources AWS, ainsi que les informations sur la destination de ces événements.

Chaque groupe de journaux peut avoir jusqu'à deux filtres d'abonnement associés.

Note

Si le service de destination renvoie une erreur réessayable, telle qu'une exception de limitation ou une exception de service réessayable (HTTP 5xx, par exemple), CloudWatch Logs continue de faire des tentatives de transmission pendant un maximum de 24 heures. CloudWatch Logs n'essaie pas de relancer la transmission si l'erreur est une erreur non réessayable, telle que AccessDeniedException ou ResourceNotFoundException.

CloudWatch Logs produit également des métriques CloudWatch concernant le transfert des événements du journal vers les abonnements. Pour plus d'informations, consultez Métriques et dimensions d'Amazon CloudWatch Logs.

Note

Kinesis Data Firehose n'est pas disponible en Asie-Pacifique (Osaka).

Concepts

Chaque filtre d'abonnement est composé des principaux éléments suivants :

nom du groupe de journaux

Le groupe de journaux auquel associer le filtre d'abonnement. Tous les événements du journal téléchargés vers ce groupe de journaux sont soumis au filtre d'abonnement. Ceux qui correspondent au filtre sont envoyés au service de destination qui reçoit les événements du journal correspondants.

modèle de filtre

Une description symbolique de la manière dont CloudWatch Logs doit interpréter les données de chaque événement de journal, avec les expressions de filtrage qui limitent le contenu remis à la ressource AWS de destination. Pour plus d'informations sur la syntaxe du modèle de filtre, consultez la section Syntaxe de filtre et de modèle.

arn de destination

L'Amazon Resource Name (ARN) du flux Kinesis, du flux Kinesis Data Firehose ou de la fonction Lambda que vous souhaitez utiliser comme destination du flux d'abonnement.

ARN de rôle

Un rôle IAM qui accorde à CloudWatch Logs les autorisations nécessaires pour placer les données dans la destination choisie. Ce rôle n'est pas nécessaire pour les destinations Lambda, car CloudWatch Logs peut obtenir les autorisations nécessaires à partir des paramètres de contrôle d'accès de la fonction Lambda elle-même.

distribution

Méthode utilisée pour distribuer les données du journal à la destination, lorsque la destination est le flux Amazon Kinesis. Par défaut, les données du journal sont regroupées par flux de journaux. Pour assurer une meilleure répartition de la distribution, vous pouvez regrouper les données du journal de manière aléatoire.