Traitement en temps réel des données du journal avec les abonnements - Amazon CloudWatch Logs

Traitement en temps réel des données du journal avec les abonnements

Vous pouvez utiliser des abonnements pour accéder à un flux d'événements du journal en temps réel fourni par CloudWatch Logs et le transmettre à d'autres services tels qu'un flux Amazon Kinesis, un flux Amazon Kinesis Data Firehose ou AWS Lambda afin d'effectuer une analyse ou un traitement personnalisé, ou pour le charger dans d'autres systèmes. Lorsque les événements du journal sont envoyés au service récepteur, ils sont codés en base64 et compressés au format gzip.

Pour commencer à s'abonner à des événements du journal, créez la ressource de réception, telle qu'un flux Kinesis, où les événements seront transférés. Un filtre d'abonnement définit le modèle de filtrage à utiliser pour filtrer les événements du journal à transférer à votre ressources AWS, ainsi que les informations sur la destination de ces événements.

Chaque groupe de journaux peut avoir jusqu'à deux filtres d'abonnement associés.

Note

Si le service de destination renvoie une erreur réessayable, telle qu'une exception de limitation ou une exception de service réessayable (HTTP 5xx, par exemple), CloudWatch Logs continue de faire des tentatives de transmission pendant un maximum de 24 heures. CloudWatch Logs n'essaie pas de relancer la transmission si l'erreur est une erreur non réessayable, telle que AccessDeniedException ou ResourceNotFoundException.

CloudWatch Logs produit également des métriques CloudWatch concernant le transfert des événements du journal vers les abonnements. Pour plus d'informations, consultez Métriques et dimensions d'Amazon CloudWatch Logs.

Vous pouvez également utiliser un abonnement CloudWatch Logs pour diffuser les données des journaux en temps quasi réel vers un cluster Amazon OpenSearch Service. Pour en savoir plus, consultez Diffusion de données de CloudWatch Logs vers Amazon OpenSearch Service.

Concepts

Chaque filtre d'abonnement est composé des principaux éléments suivants :

log group name

Le groupe de journaux auquel associer le filtre d'abonnement. Tous les événements du journal téléchargés vers ce groupe de journaux sont soumis au filtre d'abonnement. Ceux qui correspondent au filtre sont envoyés au service de destination qui reçoit les événements du journal correspondants.

filter pattern

Une description symbolique de la manière dont CloudWatch Logs doit interpréter les données de chaque événement de journal, avec les expressions de filtrage qui limitent le contenu remis à la ressource AWS de destination. Pour plus d'informations sur la syntaxe des modèles de filtrage, consultez Syntaxe de filtre et de modèle.

destination arn

L'Amazon Resource Name (ARN) du flux Kinesis, du flux Kinesis Data Firehose ou de la fonction Lambda que vous souhaitez utiliser comme destination du flux d'abonnement.

ARN de rôle

Un rôle IAM qui accorde à CloudWatch Logs les autorisations nécessaires pour placer les données dans la destination choisie. Ce rôle n'est pas nécessaire pour les destinations Lambda, car CloudWatch Logs peut obtenir les autorisations nécessaires à partir des paramètres de contrôle d'accès de la fonction Lambda elle-même.

distribution

Méthode utilisée pour distribuer les données du journal à la destination, lorsque la destination est le flux Amazon Kinesis. Par défaut, les données des journaux sont regroupées par flux de journaux. Pour assurer une meilleure répartition de la distribution, vous pouvez regrouper les données des journaux de manière aléatoire.