흐름 로그 파일 Amazon S3에 흐름 로그를 게시하는 IAM 보안 주체의 권한 Amazon S3 버킷의 흐름 로그에 대한 권한 SSE-KMS를 사용할 경우 필요한 키 정책 Amazon S3 로그 파일 권한 Amazon S3에 게시하는 흐름 로그 생성 흐름 로그 레코드 보기 Amazon S3에서 흐름 로그 레코드 처리

Amazon S3에 흐름 로그 게시

흐름 로그는 흐름 로그 데이터를 Amazon S3에 게시할 수 있습니다.

Amazon S3에 게시하는 경우 흐름 로그 데이터가 지정해 놓은 기존 Amazon S3 버킷에 게시됩니다. 모니터링된 모든 네트워크 인터페이스에 대한 흐름 로그 레코드는 버킷에 저장된 일련의 로그 파일 객체에 게시됩니다. 흐름 로그가 VPC에 대한 데이터를 캡처하면, 흐름 로그가 모든 네트워크 인터페이스에 대한 흐름 로그 레코드를 선택된 VPC에 게시합니다.

흐름 로그와 함께 사용할 Amazon S3 버킷을 만드는 방법은 Amazon Simple Storage Service 사용 설명서의 버킷 생성을 참조하세요.

다중 계정 로깅에 대한 자세한 내용은 AWS 솔루션 라이브러리의 중앙 로깅을 참조하세요.

CloudWatch Logs에 대한 자세한 내용은 Amazon CloudWatch Logs 사용 설명서의 Amazon S3로 전송된 로그를 참조하세요.

요금

Amazon S3에 흐름 로그를 게시할 때는 Vended 로그에 대한 데이터 수집 및 아카이브 요금이 부과됩니다. 자세히 알아보려면 Amazon CloudWatch Pricing(Amazon CloudWatch 요금)을 열고, Logs(로그)를 선택하고, Vended Logs(벤딩 로그)를 찾으세요.

흐름 로그 파일
Amazon S3에 흐름 로그를 게시하는 IAM 보안 주체의 권한
Amazon S3 버킷의 흐름 로그에 대한 권한
SSE-KMS를 사용할 경우 필요한 키 정책
Amazon S3 로그 파일 권한
Amazon S3에 게시하는 흐름 로그 생성
흐름 로그 레코드 보기
Amazon S3에서 흐름 로그 레코드 처리

흐름 로그 파일

VPC 흐름 로그는 흐름 로그 레코드를 수집하여 로그 파일로 통합한 다음 해당 로그 파일을 5분 간격으로 Amazon S3 버킷에 게시합니다. 각 로그 파일에는 이전 5분 동안 기록된 IP 트래픽에 대한 흐름 로그 레코드가 포함됩니다.

로그 파일의 최대 크기는 75MB입니다. 로그 파일이 5분 내에 파일 크기 제한에 도달하면 흐름 로그가 흐름 로그 레코드 추가를 중지합니다. 그런 다음 흐름 로그를 Amazon S3 버킷에 게시하고 새 로그 파일을 만듭니다.

Amazon S3에서 흐름 로그 파일의 마지막 수정(Last modified) 필드는 파일이 Amazon S3 버킷에 업로드된 날짜와 시간을 나타냅니다. 파일 이름의 타임스탬프보다 이후이며 파일을 Amazon S3 버킷에 업로드하는 데 걸리는 시간에 따라 다릅니다.

로그 파일 형식

로그 파일에 대해 다음 형식 중 하나를 지정할 수 있습니다. 각 파일은 단일 Gzip 파일로 압축됩니다.

텍스트(Text) – 일반 텍스트. 이것은 기본 형식입니다.
Parquet – Apache Parquet은 열 기반 데이터 형식입니다. Parquet 형식의 데이터에 대한 쿼리는 일반 텍스트 데이터에 대한 쿼리에 비해 10배에서 100배 빠릅니다. Gzip 압축을 사용하는 Parquet 형식 데이터는 Gzip 압축을 사용하는 일반 텍스트보다 스토리지 공간을 20% 적게 사용합니다.

참고

Gzip 압축을 사용하는 Parquet 형식 데이터가 집계 기간별로 100KB 미만이라면 데이터를 Parquet 형식으로 저장할 경우 Parquet 파일 메모리 요구 사항으로 인해 Gzip 압축을 사용하는 일반 텍스트보다 더 많은 공간을 차지할 수 있습니다.

로그 파일 옵션

필요한 경우 다음과 같은 옵션을 지정할 수 있습니다.

Hive 호환 S3 접두사 – 분할을 Hive 호환 도구로 가져오는 대신 Hive 호환 접두사를 활성화합니다. 쿼리 실행 전에 MSCK REPAIR TABLE 명령을 사용합니다.
시간당 분할 – 대량의 로그가 있고 일반적으로 특정 시간까지 쿼리를 타겟팅하는 경우 로그를 시간별로 분할하여 더 결과를 빠르게 얻고 쿼리 비용을 절감할 수 있습니다.

로그 파일 S3 버킷 구조

로그 파일은 흐름 로그의 ID, 리전, 생성된 날짜 및 대상 옵션에 따라 폴더 구조를 사용하여 지정된 Amazon S3 버킷에 저장됩니다.

기본적으로 파일은 다음 위치로 전달됩니다.


bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/

Hive 호환 S3 접두사를 사용하도록 설정하면 파일이 다음 위치로 전달됩니다.


bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/aws-service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/

시간별 분할을 사용하도록 설정하면 파일이 다음 위치로 전달됩니다.


bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/hour/

Hive 호환 분할을 사용하도록 설정하고 시간당 흐름 로그를 분할하면 파일이 다음 위치로 전달됩니다.


bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/aws-service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/hour=hour/

로그 파일 이름

로그 파일의 파일 이름은 흐름 로그 ID, 리전 및 생성 날짜 및 시간을 기반으로 합니다. 파일 이름은 다음 형식을 사용합니다.


aws_account_id_vpcflowlogs_region_flow_log_id_YYYYMMDDTHHmmZ_hash.log.gz

예를 들어, 다음은 June 20, 2018, 16:20 UTC에 us-east-1 리전의 리소스에 대해 AWS 계정 123456789012에서 생성한 흐름 로그에 대한 로그 파일의 예를 보여 줍니다. 종료 시간이 16:20:00에서 16:24:59 사이인 흐름 로그 레코드가 파일에 포함됩니다.


123456789012_vpcflowlogs_us-east-1_fl-1234abcd_20180620T1620Z_fe123456.log.gz

Amazon S3에 흐름 로그를 게시하는 IAM 보안 주체의 권한

흐름 로그를 생성하는 IAM 보안 주체는 대상 Amazon S3 버킷에 흐름 로그를 게시하는 데 필요한 다음 권한이 있는 IAM 역할을 사용해야 합니다.


{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogDelivery",
        "logs:DeleteLogDelivery"
      ],
      "Resource": "*"
    }
  ]
}

Amazon S3 버킷의 흐름 로그에 대한 권한

기본적으로 Amazon S3 버킷과 버킷에 포함된 객체는 비공개입니다. 버킷 소유자만이 해당 버킷과 그 안에 저장된 객체에 액세스할 수 있습니다. 그러나 버킷 소유자는 액세스 정책을 작성하여 다른 리소스 및 사용자에게 액세스 권한을 부여할 수 있습니다.

흐름 로그를 생성하는 사용자가 버킷을 소유하고 해당 버킷에 대한 PutBucketPolicy 및 GetBucketPolicy 권한을 소유한 경우, 다음 정책을 해당 버킷에 자동으로 연결합니다. 이 정책은 버킷에 연결된 모든 기존 정책을 덮어씁니다.

그렇지 않으면 버킷 소유자가 이 정책을 버킷에 추가하고 흐름 로그 작성자의 AWS 계정 ID 지정 또는 흐름 로그 생성이 실패합니다. 자세한 내용은 Amazon Simple Storage Service 사용 설명서의 버킷 정책 사용을 참조하세요.


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AWSLogDeliveryWrite",
            "Effect": "Allow",
            "Principal": {
                "Service": "delivery.logs.amazonaws.com"
            },
            "Action": "s3:PutObject",
            "Resource": "my-s3-arn/*",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": account_id,
                    "s3:x-amz-acl": "bucket-owner-full-control"
                },
                "ArnLike": {
                    "aws:SourceArn": "arn:aws:logs:region:account_id:*"
                }
            }
        },
        {
            "Sid": "AWSLogDeliveryAclCheck",
            "Effect": "Allow",
            "Principal": {
                "Service": "delivery.logs.amazonaws.com"
            },
            "Action": [
                "s3:GetBucketAcl",
                "s3:ListBucket"
            ],
            "Resource": "arn:aws:s3:::bucket_name",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": account_id
                },
                "ArnLike": {
                    "aws:SourceArn": "arn:aws:logs:region:account_id:*"
                }
            }
        }
    ]
}

my-s3-arn에 지정한 ARN은 Hive 호환 S3 접두사를 사용하는지 여부에 따라 다릅니다.

기본 접두사


arn:aws:s3:::bucket_name/optional_folder/AWSLogs/account_id/*

Hive 호환 S3 접두사


arn:aws:s3:::bucket_name/optional_folder/AWSLogs/aws-account-id=account_id/*

개별 AWS 계정 ARN 대신 로그 전송 서비스 보안 주체에 이 권한들을 부여하는 것이 좋습니다. 또한 혼동된 대리자 문제로부터 보호하려면 aws:SourceAccount 및 aws:SourceArn 조건 키를 사용하는 것 좋습니다. 소스 계정은 흐름 로그의 소유자이고 원본 ARN은 로그 서비스의 와일드카드(*) ARN입니다.

SSE-KMS를 사용할 경우 필요한 키 정책

해당 S3 버킷에서 Amazon S3-관리형 키(SSE-S3)를 사용한 서버 측 암호화 또는 KMS 키(SSE-KMS)를 사용한 서버 측 암호화를 활성화하여 Amazon S3 버킷의 데이터를 보호할 수 있습니다. 자세한 내용은 Amazon S3 사용 설명서의 서버 측 암호화를 사용하여 데이터 보호를 참조하세요.

SSE-S3를 선택하면 추가 구성이 필요하지 않습니다. Amazon S3는 암호화 키를 처리합니다.

SSE-KMS를 선택하면 고객 관리형 키 ARN을 사용해야 합니다. 키 ID를 사용하는 경우 흐름 로그를 생성할 때 LogDestination 전송 불가 오류가 발생할 수 있습니다. 또한 로그 전달 계정이 S3 버킷에 쓸 수 있도록 고객 관리형 키에 대한 키 정책을 업데이트해야 합니다. SSE-KMS와 함께 사용하는 데 필요한 키 정책에 대한 자세한 내용은 Amazon CloudWatch Logs 사용 설명서의 Amazon S3 버킷 서버 측 암호화를 참조하십시오.

Amazon S3 로그 파일 권한

필요한 버킷 정책 외에도, Amazon S3는 ACL(액세스 제어 목록)을 사용하여 흐름 로그에서 생성한 로그 파일에 대한 액세스를 관리합니다. 기본적으로 버킷 소유자는 각 로그 파일에 대한 FULL_CONTROL 권한을 보유합니다. 로그 전송 소유자가 버킷 소유자와 다른 경우에는 권한이 없습니다. 로그 전송 계정에는 READ 및 WRITE 권한이 부여됩니다. 자세한 내용은 Amazon Simple Storage Service 사용 설명서의 액세스 제어 목록(ACL) 개요를 참조하십시오.

Amazon S3에 게시하는 흐름 로그 생성

Amazon S3 버킷을 생성하고 구성한 후에는 네트워크 인터페이스, 서브넷 및 VPC에 대한 흐름 로그를 생성할 수 있습니다.

콘솔을 사용하여 흐름 로그를 생성하는 방법

다음 중 하나를 수행하세요.
- https://console.aws.amazon.com/ec2/에서 Amazon EC2 콘솔을 엽니다. 탐색 창에서 네트워크 인터페이스(Network Interfaces)를 선택합니다. 네트워크 인터페이스의 확인란을 선택합니다.
- https://console.aws.amazon.com/vpc/에서 Amazon VPC 콘솔을 엽니다. 탐색 창에서 Your VPCs(사용자 VPC)를 선택합니다. VPC에 대한 확인란을 선택합니다.
- https://console.aws.amazon.com/vpc/에서 Amazon VPC 콘솔을 엽니다. 탐색 창에서 서브넷(Subnets)을 선택합니다. 서브넷의 확인란을 선택합니다.
작업(Actions), 흐름 로그 생성(Create flow log)을 선택합니다.
필터(Filter)에서 로깅할 IP 트래픽 데이터의 유형을 지정합니다.
- 수락됨 – 허용된 트래픽만 로그합니다.
- 거부됨 – 거부된 트래픽만 로그합니다.
- 모두 – 허용 및 거부된 트래픽을 로그합니다.
최대 집계 간격(Maximum aggregation interval)에서 흐름이 캡처되어 흐름 로그 레코드로 집계되는 최대 기간을 선택합니다.
대상(Destination)에서 S3 버킷으로 전송(Send to an S3 bucket)을 선택합니다.
S3 버킷 ARN(S3 bucket ARN)의 경우 기존 Amazon S3 버킷의 Amazon 리소스 이름(ARN)을 지정합니다. 필요한 경우 하위 폴더를 포함할 수 있습니다. 예를 들어 my-bucket이란 이름의 버킷에 my-logs이란 이름의 하위 폴더를 지정하려면 다음 ARN을 사용하십시오.

arn:aws:s3:::my-bucket/my-logs/

버킷에 AWSLogs를 하위 폴더 이름으로 사용할 수 없습니다. 이것은 예약된 용어입니다.

버킷을 소유한 경우, 자동으로 리소스 정책을 생성하여 버킷에 연결합니다. 자세한 내용은 Amazon S3 버킷의 흐름 로그에 대한 권한 섹션을 참조하세요.
로그 레코드 형식에서 흐름 로그 레코드의 형식을 지정합니다.
- 기본 흐름 로그 레코드 형식을 사용하려면 AWS 기본 형식을 선택하세요.
- 사용자 지정 형식을 만들려면 사용자 지정 형식을 선택하십시오. 로그 형식(Log format)에 대해 흐름 로그 레코드에 포함할 필드를 선택하세요.
로그 파일 형식의 경우 로그 파일의 형식을 지정합니다.
- Text – 일반 텍스트. 이것은 기본 형식입니다.
- Parquet – Apache Parquet은 열 기반 데이터 형식입니다. Parquet 형식의 데이터에 대한 쿼리는 일반 텍스트 데이터에 대한 쿼리에 비해 10배에서 100배 빠릅니다. Gzip 압축을 사용하는 Parquet 형식 데이터는 Gzip 압축을 사용하는 일반 텍스트보다 스토리지 공간을 20% 적게 사용합니다.
(선택 사항) Hive 호환 S3 접두사를 사용하려면 Hive 호환 S3 접두사,활성화를 선택합니다.
(선택 사항) 흐름 로그를 시간당 분할하려면1시간마다 (60분)을 선택합니다.
(선택 사항) 흐름 로그에 태그를 추가하려면새 태그 추가를 선택하여 태그 키와 값을 지정하십시오.
흐름 로그 생성(Create flow log)을 선택합니다.

명령줄 도구를 사용하여 Amazon S3에 게시하는 흐름 로그를 만들려면

다음 명령 중 하나를 사용합니다.

create-flow-logs(AWS CLI)
New-EC2FlowLogs(AWS Tools for Windows PowerShell)

다음 AWS CLI 예시에서는 지정된 VPC의 모든 트래픽을 캡처하고 지정된 Amazon S3 버킷에 흐름 로그를 전송하는 흐름 로그를 생성합니다. --log-format 파라미터는 흐름 로그 레코드의 사용자 지정 형식을 지정합니다.


aws ec2 create-flow-logs --resource-type VPC --resource-ids vpc-00112233344556677 --traffic-type ALL --log-destination-type s3 --log-destination arn:aws:s3:::flow-log-bucket/custom-flow-logs/ --log-format '${version} ${vpc-id} ${subnet-id} ${instance-id} ${srcaddr} ${dstaddr} ${srcport} ${dstport} ${protocol} ${tcp-flags} ${type} ${pkt-srcaddr} ${pkt-dstaddr}'

흐름 로그 레코드 보기

Amazon S3 콘솔을 사용하여 흐름 로그 레코드를 볼 수 있습니다. 흐름 로그를 생성하면 콘솔에 표시되는 데 몇 분 정도 걸릴 수도 있습니다.

Amazon S3에 게시된 흐름 로그 레코드를 보려면

https://console.aws.amazon.com/s3/에서 Amazon S3 콘솔을 엽니다.
버킷 이름을 선택하여 세부 정보 페이지를 엽니다.
로그 파일이 있는 폴더로 이동합니다. 예: prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/.
파일 이름 옆에 있는 확인란을 선택한 다음에 Download(다운로드)를 선택합니다.

Amazon S3에서 흐름 로그 레코드 처리

로그 파일은 압축된 상태입니다. Amazon S3 콘솔을 사용해 로그 파일을 열면 압축이 해제되고 흐름 로그 레코드가 표시됩니다. 파일을 다운로드하는 경우, 압축을 해제해야 흐름 로그 레코드를 볼 수 있습니다.

또한 Amazon Athena를 사용해 로그 파일의 흐름 로그 레코드를 쿼리할 수도 있습니다. Amazon Athena는 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 더 쉽게 분석할 수 있는 대화식 쿼리 서비스입니다. 자세한 내용은 Amazon Athena 사용 설명서의 Amazon VPC 흐름 로그 쿼리 방법을 참조하세요.

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

문서 규칙

CloudWatch Logs에 게시

Kinesis Data Firehose에 게시