Enregistrements des journaux de flux des passerelles de transit dans Amazon S3

Les journaux de flux peuvent publier des données de journal de flux vers Amazon S3.

Lors de la publication vers Amazon S3, les données de journal de flux sont publiées dans un compartiment Amazon S3 existant que vous indiquez. Les enregistrements de journaux de flux pour toutes les passerelles de transit surveillées sont publiés dans une série d'objets de fichier journal qui sont stockés dans le compartiment.

Des frais d'ingestion de données et d'archivage sont appliqués aux journaux vendus lorsque vous publiez des journaux de flux sur Amazon S3. Amazon CloudWatch Pour plus d'informations sur la CloudWatch tarification des journaux vendus, ouvrez Amazon CloudWatch Pricing, choisissez Logs, puis recherchez Vended Logs.

Pour créer un compartiment Amazon S3 à utiliser avec les journaux de flux, reportez-vous à Créer un compartiment dans le Guide de l'utilisateur Amazon Simple Storage Service.

Pour plus d'informations sur la journalisation de plusieurs comptes, veuillez consulter Journalisation centrale dans la bibliothèque de solutions AWS .

Pour plus d'informations sur CloudWatch les journaux, consultez la section Journaux envoyés à Amazon S3 dans le guide de l'utilisateur Amazon CloudWatch Logs.

Table des matières

• Fichiers journaux de flux
• IAMpolitique pour les IAM directeurs qui publient des journaux de flux sur Amazon S3
• Autorisations du compartiment Amazon S3 pour les journaux de flux
• Politique clé requise pour une utilisation avec SSE - KMS
• Autorisations pour les fichiers journaux Amazon S3
• Création du rôle du compte source
• Créer un journal de flux qui publie vers Amazon S3
• Afficher les enregistrements des journaux de flux
• Enregistrements du journal de flux traités dans Amazon S3

Fichiers journaux de flux

VPCLes journaux de flux sont une fonctionnalité qui collecte les enregistrements des journaux de flux, les consolide dans des fichiers journaux, puis les publie dans le compartiment Amazon S3 à intervalles de 5 minutes. Chaque fichier journal contient des enregistrements de journaux de flux pour le trafic IP enregistré au cours des cinq dernières minutes.

La taille maximale d'un fichier journal est de 75 Mo. Si le fichier journal atteint la limite maximale de taille au cours de la période de 5 minutes, le journal de flux cesse de lui ajouter des enregistrements de journal de flux. Ensuite, il publie le journal de flux dans le compartiment Amazon S3, puis crée un fichier journal.

Dans Amazon S3, le champ Last modified (Dernière modification) du fichier de journal de flux indique la date et l'heure du téléchargement du fichier dans le compartiment Amazon S3. Cette date est postérieure à l'horodatage du nom du fichier et diffère par le temps nécessaire pour charger le fichier vers le compartiment Amazon S3.

Format de fichier journal

Vous pouvez spécifier l'un des formats suivants pour les fichiers journaux. Chaque fichier est compressé dans un seul fichier Gzip.

• Text : texte brut. Il s'agit du format par défaut.

• Parquet : Apache Parquet est un format de données en colonnes. Les requêtes sur les données au format Parquet sont 10 à 100 fois plus rapides que les requêtes sur des données en texte brut. Les données au format Parquet avec compression Gzip occupent 20 % moins d'espace de stockage que le texte brut avec compression Gzip.

Options de fichier journal

Le cas échéant, vous pouvez spécifier les options suivantes :

• Hive-compatible S3 prefixes (Préfixes S3 compatibles Hive) : activez les préfixes compatibles Hive au lieu d'importer des partitions dans vos outils compatibles Hive. Avant d'exécuter des requêtes, utilisez la commande MSCK REPAIR TABLE.

• Hourly partitions (Partitions horaires) : si vous disposez d'un grand volume de journaux et que vous ciblez généralement les requêtes à une heure spécifique, vous pouvez obtenir des résultats plus rapidement et économiser sur les coûts des requêtes en partitionnant les journaux toutes les heures.

Structure du compartiment S3 du fichier journal

Les fichiers journaux sont enregistrés dans le compartiment Amazon S3 indiqué à l'aide d'une structure de dossiers qui est déterminée par l'ID du journal de flux, sa région, sa date de création et ses options de destination.

Par défaut, les fichiers sont distribués vers l'emplacement suivant.

bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/

Si vous activez les préfixes S3 compatibles Hive, les fichiers sont envoyés à l'emplacement suivant.

bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/

Si vous activez les partitions horaires, les fichiers sont envoyés à l'emplacement suivant.

bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/hour/

Si vous activez les partitions compatibles Hive et que vous partitionnez le journal de flux par heure, les fichiers sont envoyés à l'emplacement suivant.

bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/hour=hour/

Noms des fichiers journaux

Le nom de fichier d'un fichier journal est basé sur l'ID du journal de flux, la région et la date et l'heure de création. Les noms de fichier utilisent le format suivant.

aws_account_id_vpcflowlogs_region_flow_log_id_YYYYMMDDTHHmmZ_hash.log.gz

Voici un exemple de fichier journal pour un journal de flux créé par le Compte AWS 123456789012, pour une ressource dans la région us-east-1, le June 20, 2018 à 16:20 UTC. Le fichier contient les enregistrements de journaux de flux avec une heure de fin comprise entre 16:20:00 et 16:24:59.

123456789012_vpcflowlogs_us-east-1_fl-1234abcd_20180620T1620Z_fe123456.log.gz

IAMpolitique pour les IAM directeurs qui publient des journaux de flux sur Amazon S3

Le IAM principal qui crée le journal de flux doit disposer des autorisations suivantes, qui sont requises pour publier les journaux de flux dans le compartiment Amazon S3 de destination.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogDelivery",
        "logs:DeleteLogDelivery"
        ],
      "Resource": "*"
    }
  ]
}

Autorisations du compartiment Amazon S3 pour les journaux de flux

Par défaut, les compartiments Amazon S3 et les objets qu'ils contiennent sont privés. Seul le propriétaire du compartiment peut accéder au compartiment et aux objets qui y sont stockés. Cependant, le propriétaire du compartiment peut accorder l'accès à d'autres ressources et à d'autres utilisateurs en créant une politique d'accès.

Si l'utilisateur qui crée le journal de flux est le propriétaire du compartiment et dispose des autorisations PutBucketPolicy et GetBucketPolicy pour le compartiment, nous attachons automatiquement la stratégie suivante au compartiment. Cette politique remplace toute politique existante attachée au compartiment.

Sinon, le propriétaire du compartiment doit ajouter cette politique au compartiment en spécifiant l'ID du Compte AWS du créateur du journal de flux. Sinon, la création du journal de flux échoue. Pour plus d'informations, consultez Utilisation de stratégies de compartiment dans le Guide de l'utilisateur Amazon Simple Storage Service.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AWSLogDeliveryWrite",
            "Effect": "Allow",
            "Principal": {"Service": "delivery.logs.amazonaws.com"},
            "Action": "s3:PutObject",
            "Resource": "my-s3-arn",
            "Condition": {
                "StringEquals": {
                    "s3:x-amz-acl": "bucket-owner-full-control",
                    "aws:SourceAccount": account_id
                },
                "ArnLike": {
                    "aws:SourceArn": "arn:aws:logs:region:account_id:*"
                }
            }
        },
        {
            "Sid": "AWSLogDeliveryCheck",
            "Effect": "Allow",
            "Principal": {"Service": "delivery.logs.amazonaws.com"},
            "Action": ["s3:GetBucketAcl", "s3:ListBucket"],
            "Resource": "arn:aws:s3:::bucket_name",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": account_id
                },
                "ArnLike": {
                    "aws:SourceArn": "arn:aws:logs:region:account_id:*"
                }
            }
        }
    ]
}

Le pour ARN lequel vous spécifiez my-s3-arn dépend de l'utilisation de préfixes S3 compatibles avec Hive ou non.

• Préfixes par défaut

  arn:aws:s3:::bucket_name/optional_folder/AWSLogs/account_id/*

• Préfixes S3 compatibles avec Hive

  arn:aws:s3:::bucket_name/optional_folder/AWSLogs/aws-account-id=account_id/*

Il est recommandé d'accorder ces autorisations au principal du service de livraison des journaux plutôt qu'à un individu Compte AWS ARNs. Une autre bonne pratique consiste également à utiliser les clés de condition aws:SourceAccount et aws:SourceArn afin de vous protéger contre le problème du député confus. Le compte source est le propriétaire du journal de flux et la source ARN est le caractère générique (*) ARN du service de journaux.

Politique clé requise pour une utilisation avec SSE - KMS

Vous pouvez protéger les données de votre compartiment Amazon S3 en activant le chiffrement côté serveur avec des clés gérées par Amazon SSE S3 (-S3) ou le chiffrement côté serveur avec des clés (-). KMS SSE KMS Pour plus d'informations, consultez la section Protection des données à l'aide d'un chiffrement côté serveur dans le Guide de l'utilisateur d'Amazon S3.

Avec SSE -KMS, vous pouvez utiliser une clé AWS gérée ou une clé gérée par le client. Avec une clé AWS gérée, vous ne pouvez pas utiliser la livraison entre comptes. Les journaux de flux sont diffusés à partir du compte de diffusion des journaux. Vous devez donc accorder l'accès pour la diffusion entre comptes. Pour accorder un accès multicompte à votre compartiment S3, utilisez une clé gérée par le client et spécifiez le nom de ressource Amazon (ARN) de la clé gérée par le client lorsque vous activez le chiffrement du compartiment. Pour plus d'informations, veuillez consulter la section Spécification du chiffrement côté serveur avec AWS KMS du Guide de l'utilisateur d'Amazon S3.

Lorsque vous utilisez SSE - KMS avec une clé gérée par le client, vous devez ajouter ce qui suit à la politique de clé pour votre clé (et non à la politique de compartiment pour votre compartiment S3), afin que les journaux de VPC flux puissent écrire dans votre compartiment S3.

{
    "Sid": "Allow Transit Gateway Flow Logs to use the key",
    "Effect": "Allow",
    "Principal": {
        "Service": [
            "delivery.logs.amazonaws.com"
        ]
    },
   "Action": [
       "kms:Encrypt",
       "kms:Decrypt",
       "kms:ReEncrypt*",
       "kms:GenerateDataKey*",
       "kms:DescribeKey"
    ],
    "Resource": "*"
}

Autorisations pour les fichiers journaux Amazon S3

Outre les politiques de compartiment requises, Amazon S3 utilise des listes de contrôle d'accès (ACLs) pour gérer l'accès aux fichiers journaux créés par un journal de flux. Par défaut, le propriétaire du compartiment dispose d'autorisations FULL_CONTROL sur chaque fichier journal. Si le propriétaire de la diffusion des journaux n'est pas le propriétaire du compartiment, il ne dispose d'aucune autorisation. Le compte de diffusion des journaux possède les autorisations READ et WRITE. Pour plus d'informations, consultez la section Présentation de la liste de contrôle d'accès (ACL) dans le guide de l'utilisateur d'Amazon Simple Storage Service.

Enregistrements du journal de flux traités dans Amazon S3

Les fichiers journaux sont compressés. Si vous ouvrez les fichiers journaux à l'aide de la console Amazon S3, ils sont décompressés et les enregistrements de journal de flux s'affichent. Si vous téléchargez les fichiers, vous devez les décompresser pour afficher les enregistrements de journaux de flux.