AWS CloudTrail 로그 쿼리 - Amazon Athena

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AWS CloudTrail 로그 쿼리

AWS CloudTrail은(는) AWS API 호출 및 AWS 계정 이벤트를 기록하는 서비스입니다.

CloudTrail 로그에는 콘솔 등 AWS 서비스에 대한 API 호출과 관련한 세부 정보가 포함됩니다. CloudTrail은(는) 암호화된 로그 파일을 생성하여 Amazon S3에 저장합니다. 자세한 내용은 AWS CloudTrail 사용 설명서를 참조하십시오.

CloudTrail 로그와 함께 Athena을(를) 사용하면 AWS 서비스 활동에 대한 분석 기능을 확실하게 향상시킬 수 있습니다. 예를 들어 쿼리를 사용하여 트렌드를 식별하고 소스 IP 주소나 사용자 등의 속성별로 활동을 추가로 격리할 수 있습니다.

일반적인 적용 사례는 CloudTrail 로그를 사용해 보안 및 규정 준수를 위한 운영 활동을 분석하는 것입니다. 자세한 예제는 AWS Big Data 블로그 게시물, Analyze Security, Compliance, and Operational Activity Using AWS CloudTrail and Amazon Athena를 참조하십시오.

Athena을(를) 사용하여 로그 파일의 LOCATION을(를) 지정하면 Amazon S3에서 바로 이러한 로그 파일을 쿼리할 수 있습니다. 이 작업을 두 가지 방법으로 수행할 수 있습니다.

  • CloudTrail 콘솔에서 직접 CloudTrail 로그 파일용 테이블을 생성하는 방법입니다.

  • Athena 콘솔에서 CloudTrail 로그 파일용 테이블을 수동으로 생성하는 방법입니다.

CloudTrail 로그 및 Athena 테이블 이해

테이블 생성을 시작하기 앞서 CloudTrail와(과) 그 데이터 저장 방식을 자세히 알아봐야 합니다. 이렇게 하면 CloudTrail 콘솔 또는 Athena에서 필요한 테이블을 생성하는 데 도움이 됩니다.

CloudTrail은(는) 압축된 gzip 형식(*.json.gzip)의 JSON 텍스트 파일로 로그를 저장합니다. 로그 파일의 위치는 추적 설정 방법, AWS 리전이나 로깅 중인 리전 및 기타 요인에 따라 다릅니다.

로그가 저장되는 위치, JSON 구조 및 레코드 파일 내용에 대한 자세한 내용은 AWS CloudTrail 사용 설명서의 다음 주제를 참조하십시오.

로그를 수집하고 Amazon S3에 저장하려면 콘솔에서 CloudTrail을(를) 활성화합니다. 자세한 내용은 AWS CloudTrail 사용 설명서추적 생성 섹션을 참조하십시오.

로그가 저장되는 대상 Amazon S3 버킷을 기록해 둡니다. LOCATION 절을 CloudTrail 로그 위치의 경로와 작업할 객체 집합으로 바꿉니다. 이 예에서는 특정 계정에 대해 로그의 LOCATION 값을 사용하지만 애플리케이션에 적합한 정도의 특정성을 사용할 수 있습니다.

예: .

  • 여러 계정의 데이터를 분석하려면 LOCATION 's3://MyLogFiles/AWSLogs/를 이용해 LOCATION 범위 지정자를 롤백하여 모든 AWSLogs를 표시할 수 있습니다.

  • 특정 날짜, 계정 및 리전의 데이터를 분석하려면 LOCATION `s3://MyLogFiles/123456789012/CloudTrail/us-east-1/2016/03/14/'.를 사용합니다.

객체 계층 구조에서 최상위 수준을 사용하면 Athena(으)로 쿼리할 때 가장 큰 유연성을 발휘할 수 있습니다.

CloudTrail 콘솔을 사용하여 CloudTrail 로그에 대한 Athena 테이블 생성

파티션이 없는 Athena 쿼리를 위한 테이블 CloudTrail 로그인 후 CloudTrail 콘솔. CloudTrail 콘솔에서 Athena 테이블을 생성하려면 Athena에서 테이블을 생성할 수 있는 충분한 권한이 있는 IAM 사용자 또는 역할로 로그인해야 합니다.

CloudTrail 콘솔을 사용하여 CloudTrail 추적에 대한 Athena 테이블을 생성하려면

  1. https://console.aws.amazon.com/cloudtrail/에서 CloudTrail 콘솔을 엽니다.

  2. 탐색 창에서 [Event history]를 선택합니다.

  3. 다음 중 하나를 수행합니다.

    • 새로운 제품을 사용하는 경우 CloudTrail 콘솔, 선택 Athena 테이블 생성.

      
                                선택 Athena 테이블 생성
    • 노후를 사용하는 경우 CloudTrail 콘솔, 선택 에서 고급 쿼리 실행 Amazon Athena.

      
                                선택 에서 고급 쿼리 실행 Amazon Athena.
  4. 스토리지 위치에서, 아래쪽 화살표를 사용하여 쿼리할 추적에 사용할 로그 파일이 저장되는 Amazon S3 버킷을 선택합니다.

    참고

    트레일과 관련된 버킷의 이름을 찾으려면 그림 in the CloudTrail 탐색 창 및 트레일 보기 S3 버킷 열. 이를 보려면 Amazon S3 버킷의 위치를 선택하고, S3 버킷 열. 그러면 Amazon S3 콘솔 CloudTrail 버킷 위치.

  5. [Create table]을 선택합니다. Amazon S3 버킷 이름에 포함된 기본 이름을 가진 테이블이 생성됩니다.

Athena에서 CloudTrail 로그용 테이블을 수동 생성

Athena 콘솔에서 CloudTrail 로그 파일용 테이블을 수동으로 생성한 다음 Athena에서 쿼리를 실행할 수 있습니다.

Athena 콘솔을 사용하여 CloudTrail 추적에 대한 Athena 테이블을 생성하려면

  1. 다음 DDL 문을 복사하여 Athena 콘솔에 붙여 넣습니다. 문은 CloudTrail 콘솔 Amazon Athena에서 테이블 생성 대화 상자의 문과 동일하지만 테이블이 분할되게 하는 PARTITIONED BY 절을 추가합니다.

  2. 로그 데이터가 포함된 Amazon S3 버킷을 가리키도록 s3://CloudTrail_bucket_name/AWSLogs/Account_ID/CloudTrail/을 수정합니다.

  3. 필드가 올바르게 나열되는지 확인합니다. CloudTrail 레코드의 전체 필드 목록에 대한 자세한 정보는 CloudTrail 레코드 콘텐츠를 참조하십시오.

    이 예에서 requestparameters, responseelements, additionaleventdata 필드는 쿼리에서 STRING 형식으로 나열되지만, JSON에서는 STRUCT 데이터 형식이 사용됩니다. 따라서 이러한 필드에서 데이터를 가져오려면 JSON_EXTRACT 함수를 사용합니다. 자세한 정보는 JSON에서 데이터 추출 단원을 참조하십시오. 성능 향상을 위해 이 예제에서는 데이터를 리전, 연도, 월 및 일별로 분할합니다.

    CREATE EXTERNAL TABLE cloudtrail_logs ( eventversion STRING, useridentity STRUCT< type:STRING, principalid:STRING, arn:STRING, accountid:STRING, invokedby:STRING, accesskeyid:STRING, userName:STRING, sessioncontext:STRUCT< attributes:STRUCT< mfaauthenticated:STRING, creationdate:STRING>, sessionissuer:STRUCT< type:STRING, principalId:STRING, arn:STRING, accountId:STRING, userName:STRING>>>, eventtime STRING, eventsource STRING, eventname STRING, awsregion STRING, sourceipaddress STRING, useragent STRING, errorcode STRING, errormessage STRING, requestparameters STRING, responseelements STRING, additionaleventdata STRING, requestid STRING, eventid STRING, resources ARRAY<STRUCT< ARN:STRING, accountId:STRING, type:STRING>>, eventtype STRING, apiversion STRING, readonly STRING, recipientaccountid STRING, serviceeventdetails STRING, sharedeventid STRING, vpcendpointid STRING ) PARTITIONED BY (region string, year string, month string, day string) ROW FORMAT SERDE 'com.amazon.emr.hive.serde.CloudTrailSerde' STORED AS INPUTFORMAT 'com.amazon.emr.cloudtrail.CloudTrailInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION 's3://CloudTrail_bucket_name/AWSLogs/Account_ID/CloudTrail/';
  4. Athena 콘솔에서 쿼리를 실행합니다.

  5. 다음 예제와 같이 ALTER TABLE ADD PARTITION 명령을 사용하여 파티션을 쿼리할 수 있도록 파티션을 로드합니다.

    ALTER TABLE table_name ADD PARTITION (region='us-east-1', year='2019', month='02', day='01') LOCATION 's3://CloudTrail_bucket_name/AWSLogs/Account_ID/CloudTrail/us-east-1/2019/02/01/'

CloudTrail 로그에 대한 쿼리 예제

다음 예제는 CloudTrail 이벤트 로그 맨 위에 생성된 테이블에서 모든 익명(서명되지 않음) 요청을 반환하는 쿼리의 일부를 보여줍니다. 이 쿼리는 useridentity.accountid가 익명이고 useridentity.arn이 지정되지 않은 요청을 선택합니다.

SELECT * FROM cloudtrail_logs WHERE eventsource = 's3.amazonaws.com' AND eventname in ('GetObject') AND useridentity.accountid LIKE '%ANONYMOUS%' AND useridentity.arn IS NULL AND requestparameters LIKE '%[your bucket name ]%';

자세한 정보는 AWS Big Data 블로그 게시물 Analyze Security, Compliance, and Operational Activity Using AWS CloudTrail and Amazon Athena를 참조하십시오.

CloudTrail 로그 쿼리 팁

CloudTrail 로그 데이터를 탐색하려면 다음 팁을 활용하십시오.

  • 로그를 쿼리하기 전에 로그 테이블이 Athena에서 CloudTrail 로그용 테이블을 수동 생성의 로그 테이블과 동일한 형태인지 확인합니다. 첫 번째 테이블이 아닌 경우 명령을 사용하여 기존 테이블을 삭제합니다. DROP TABLE cloudtrail_logs;.

  • 기존 테이블을 삭제하고 다시 만드십시오. 자세한 정보는 CloudTrail 로그의 테이블 생성을 참조하십시오.

    Athena 쿼리의 필드가 올바르게 나열되는지 확인합니다. CloudTrail 레코드의 전체 필드 목록에 대한 자세한 정보는 CloudTrail 레코드 콘텐츠를 참조하십시오.

    쿼리에 STRUCT 같은 JSON 형식의 필드가 포함된 경우, JSON에서 데이터를 추출합니다. 자세한 정보는 JSON에서 데이터 추출을 참조하십시오.

    이제 CloudTrail 테이블에 대해 쿼리를 실행할 준비가 되었습니다.

  • 먼저 어떤 IAM 사용자가 어떤 API 작업을 호출했으며 어떤 소스 IP 주소에서 시작되었는지 확인합니다.

  • 다음 기본 SQL 쿼리를 템플릿으로 사용합니다. 쿼리를 Athena 콘솔에 붙여 넣고 실행합니다.

    SELECT useridentity.arn, eventname, sourceipaddress, eventtime FROM cloudtrail_logs LIMIT 100;
  • 데이터를 추가 탐색하려면 이전의 쿼리를 수정합니다.

  • 성능을 향상시키려면 LIMIT 절을 포함시켜 지정한 행 하위 집합을 반환합니다.