Collecte et traitement des journaux

CloudWatch Logs peut être utilisé pour surveiller et stocker vos fichiers journaux, et y accéder, à partir d'instances Amazon EC2, AWS CloudTrail, Route 53 et d'autres sources. Consultez la page de documentation sur les services AWS qui publient des journaux dans CloudWatch Logs.

Les informations dans les fichiers journaux incluent, par exemple :

• la journalisation granulaire des accès aux objets Amazon S3 ;

• des informations détaillées sur les flux du réseau via VPC-FlowLogs ;

• la vérification de la configuration basée sur des règles et les actions avec des règles AWS Config ;

• le filtrage et la surveillance de l'accès HTTP aux applications avec les fonctions de pare-feu d'application web (WAF) dans CloudFront.

Les métriques et les journaux d'application personnalisés peuvent également être publiés dans CloudWatch Logs en installant CloudWatch Agent sur des instances Amazon EC2 ou des serveurs sur site.

Les journaux peuvent être analysés de manière interactive à l'aide de CloudWatch Logs Insights, en effectuant des requêtes pour vous aider à répondre plus efficacement aux problèmes opérationnels.

Les journaux CloudWatch Logs peuvent être traités en quasi-temps réel en configurant des filtres d'abonnement et transmis à d'autres services tels qu'un cluster Amazon OpenSearch Service (OpenSearch Service), un flux Amazon Kinesis, un flux Amazon Kinesis Data Firehose ou une fonction Lambda pour des applications personnalisées de traitement, d'analyse ou de chargement vers d'autres systèmes.

Les filtres de métriques CloudWatch peuvent être utilisés pour définir des modèles à rechercher dans les données de journal, les transformer en métriques CloudWatch numériques et configurer des alarmes en fonction des besoins de votre entreprise. Par exemple, conformément à la recommandation d'AWS de ne pas utiliser l'utilisateur racine pour les tâches quotidiennes, il est possible de configurer un filtre de métrique CloudWatch spécifique sur un journal CloudTrail (envoyé à CloudWatch Logs) afin de créer une métrique personnalisée et de configurer une alarme pour notifier le parties prenantes lorsque les informations d'identification racine sont utilisées pour accéder à votre compte AWS.

Les journaux tels que les journaux d'accès au serveur Amazon S3, les journaux d'accès Elastic Load Balancing, les journaux de flux VPC et les journaux de flux AWS Global Accelerator peuvent être envoyés directement dans un compartiment Amazon S3. Par exemple, lorsque vous activez les journaux d'accès au serveur Amazon Simple Storage Service, vous pouvez obtenir des informations détaillées concernant les demandes adressées à votre compartiment Amazon S3. Un enregistrement du journal d'accès contient des détails sur la demande, tels que le type de demande, les ressources spécifiées dans la demande, ainsi que l'heure et la date du traitement de la demande. Pour en savoir plus sur les contenus d'un fichier journal, consultez Format des journaux d'accès au serveur Amazon Simple Storage Service dans le manuel du développeur Amazon Simple Storage Service. Les journaux d'accès au serveur sont utiles pour de nombreuses applications, car ils fournissent aux propriétaires du compartiment des renseignements sur la nature des demandes effectuées par les clients qu'ils ne contrôlent pas. Par défaut, Amazon S3 ne collecte pas les journaux d'accès au service. Toutefois, lorsque vous activez la journalisation, Amazon S3 transmet habituellement les journaux d'accès à votre compartiment en quelques heures. Si vous avez besoin d'une livraison plus rapide ou si vous devez envoyer des journaux vers plusieurs destinations, envisagez d'utiliser des journaux CloudTrail ou une combinaison de journaux CloudTrail et Amazon S3. Les journaux peuvent être chiffrés au repos en configurant le chiffrement des objets par défaut dans le compartiment de destination. Les objets sont chiffrés au moyen du chiffrement côté serveur avec des clés gérées par Amazon S3 (SSE-S3) ou des clés principales client (clés CMK) stockées dans AWS Key Management Service (AWS KMS).

Les journaux stockés dans un compartiment Amazon S3 peuvent être interrogés et analysés à l'aide d'Amazon Athena. Amazon Athena est un service d'interrogation interactif qui permet d'analyser des données dans Amazon S3 à l'aide d'une requête SQL standard. Vous pouvez utiliser Athena pour exécuter des requêtes ad hoc à l'aide du langage SQL ANSI, sans avoir besoin d'agréger ou de charger les données dans Athena. Athena peut traiter des jeux de données non structurés, semi-structurés et structurés et s'intègre à Amazon QuickSight pour une visualisation facile.

Les journaux constituent également une source d'informations utile pour la détection automatique des menaces. Amazon GuardDuty est un service de surveillance continue de la sécurité qui analyse et traite les événements provenant de plusieurs sources, telles que les journaux de flux VPC, les journaux d'événements de gestion CloudTrail, les journaux d'événements de données CloudTrail Amazon S3 et les journaux DNS. Il utilise des flux de détection de menaces, comme les listes d'adresses IP et de domaines malveillants, ainsi que le machine learning pour identifier toute activité inattendue et potentiellement non autorisée et malveillante au sein de votre environnement AWS. Lorsque vous activez GuardDuty dans une région, il commence immédiatement à analyser vos journaux d'événements CloudTrail. Il consomme la gestion CloudTrail et les événements de données Amazon S3 directement à partir de CloudTrail via un flux d'événements indépendant et dupliqué.