S3 Glacier 스토리지 클래스로 아카이브된 S3 객체 읽기

Amazon S3 Glacier 클래스는 가격이 저렴하지만 검색 시간이 긴 특수 스토리지 클래스입니다. S3 표준 객체와 달리 S3 Glacier 객체는 AWS Glue 테이블로 읽을 수 없습니다. 분석 쿼리 또는 보고에 데이터를 사용할 수 있도록 하려면 먼저 S3 Glacier 객체를 복원합니다. 복원은 시간이 지남에 따라 발생하고 보존 기간이 있는 비동기 프로세스입니다. 객체가 복원되면 S3 Standard 객체와 다른 위치로 복사할 수 있습니다. 보존 기간이 지나면 복원된 객체가 Amazon S3 Glacier로 다시 전환됩니다.

S3 배치 작업 사용

S3 배치 작업을 사용하면 엑사바이트의 데이터가 포함된 수십억 개의 객체의 순서로 Amazon S3에서 대규모 배치 작업을 수행할 수 있습니다. Amazon S3는 진행 상황을 추적하고 알림을 보내며 모든 작업에 대한 자세한 완료 보고서를 저장하여 감사 가능한 완전관리형 서버리스 환경을 제공합니다.

S3 배치 작업은 다음 스토리지 계층에 대해 S3 객체 복원을 시작하는 복원 작업을 지원합니다.

• S3 Glacier Flexible Retrieval 또는 S3 Glacier Deep Archive 스토리지 클래스에 아카이브된 객체

• Archive Access 또는 Deep Archive Access 계층의 S3 Intelligent-Tiering 스토리지 클래스를 통해 보관된 객체

배치 작업은 프로그래밍 방식으로 그리고 Amazon S3 콘솔에서 모두 호출할 수 있습니다. 입력의 경우 복원할 목록 객체가 포함된 .csv 매니페스트 파일이 필요합니다.

Amazon S3 인벤토리 보고서를 배치 작업의 입력으로 사용할 수 있습니다. 인벤토리 보고서는 버킷에 대해 구성되며 특정 접두사 아래의 객체로 제한될 수 있습니다. 자동 보고서이며 매주 또는 매일 CSV, ORC또는 Parquet 형식으로 생성됩니다.

인벤토리 보고서 구성에 대한 자세한 내용은 Amazon S3 설명서 섹션을 참조하세요. Boto3를 사용하여 S3 배치 작업을 생성하는 방법에 대한 자세한 내용은 Boto3 설명서를 참조하세요.