Amazon S3로 로그 데이터 내보내기 - 아마존 CloudWatch 로그

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon S3로 로그 데이터 내보내기

로그 그룹에서 Amazon S3 버킷으로 로그 데이터를 내보내고 이 데이터를 사용자 지정 처리 및 분석에 사용하거나 다른 시스템에 로드합니다. 동일한 계정 또는 다른 계정에 있는 버킷으로 내보낼 수 있습니다.

다음을 수행할 수 있습니다.

  • () 에서 SSE-KMS로 암호화된 S3 버킷으로 로그 데이터를 내보냅니다. AWS Key Management Service AWS KMS

  • 보존 기간이 있고 S3 객체 잠금이 사용 설정된 S3 버킷으로 로그 데이터 내보내기

내보내기 프로세스를 시작하려면 S3 버킷을 생성해서 내보낸 로그 데이터를 저장해야 합니다. S3 버킷에 내보낸 파일을 저장하고 Amazon S3 수명 주기 규칙을 정의하여 내보낸 파일을 자동으로 보관하거나 삭제할 수 있습니다.

AES-256 또는 SSE-KMS로 암호화된 S3 버킷으로 내보낼 수 있습니다. DSSE-KMS로 암호화된 버킷으로의 내보내기는 지원되지 않습니다.

여러 로그 그룹이나 시간 범위에서 내보낸 로그를 동일한 S3 버킷으로 내보낼 수 있습니다. 각 내보내기 작업에 대해 로그 데이터를 분리하려면 내보낸 모든 객체에서 Amazon S3 키 접두사로 사용될 접두사를 지정할 수 있습니다.

참고

내보낸 파일 내의 로그 데이터 청크에 대한 시간 기반 정렬은 보장되지 않습니다. Linux 유틸리티를 사용하여 내보낸 로그 필드 데이터를 정렬할 수 있습니다. 예를 들어, 다음 유틸리티 명령은 단일 폴더에 있는 모든 .gz 파일의 이벤트를 정렬합니다.

find . -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z

다음 유틸리티 명령은 여러 하위 폴더에서.gz 파일을 정렬합니다.

find ./*/ -type f -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z

또한 다른 stdout 명령을 사용하여 정렬된 출력을 다른 파일로 파이프하여 저장할 수 있습니다.

로그 데이터가 내보내기가 가능한 상태가 되는 데는 최대 12시간이 걸릴 수 있습니다. 내보내기 작업은 24시간 이후 시간 초과됩니다. 내보내기 작업의 시간이 초과될 경우 내보내기 작업을 생성할 때 시간 범위를 줄이세요.

로그 데이터를 실시간에 가깝게 분석하려면 대신에 로그 인사이트를 통한 CloudWatch 로그 데이터 분석 또는 구독을 통한 로그 데이터 실시간 처리 섹션을 참조하세요.

개념

내보내기를 시작하기 전에 다음 개념을 익힙니다.

log_group_name

내보내기 작업과 연관된 로그 그룹의 이름. 이 로그 그룹의 로그 데이터는 지정된 S3 버킷으로 내보내집니다.

(타임스탬프)부터

1970년 1월 1일 00:00:00 UTC 이후 경과된 시간(밀리초)로 표현되는 필수 타임스탬프. 이 시간이 내보내기 된 이후에 수집된 로그 그룹의 모든 로그 이벤트.

(타임스탬프)까지

1970년 1월 1일 1:1970 00:00:00 UTC 이후 경과된 시간(밀리초)로 표현되는 필수 타임스탬프. 이 시간이 내보내기 되기 전에 수집된 로그 그룹의 모든 로그 이벤트.

대상 버킷

내보내기 작업과 연관된 S3 버킷의 이름. 이 버킷은 지정된 로그 그룹에서 로그 데이터를 내보내는 데 사용됩니다.

대상 접두사

내보낸 모든 객체에 대한 Amazon S3 키 접두사로 사용되는 선택적인 속성. 이 옵션은 버킷에 폴더 같은 조직을 생성하는 데 도움이 됩니다.