Amazon S3 객체에 대한 대규모 배치 작업 수행
S3 배치 작업을 사용하여 Amazon S3 객체에 대해 대규모 배치 작업을 수행할 수 있습니다. S3 배치 작업은 지정된 Amazon S3 객체 목록에 대해 단일 작업을 수행할 수 있습니다. 단일 작업으로 엑사바이트 규모의 데이터가 포함된 수십억 개의 객체에서 지정된 작업을 수행할 수 있습니다. Amazon S3는 진행 상황을 추적하고 알림을 보내며 모든 작업에 대한 자세한 완료 보고서를 저장하여 감사 가능한 완전관리형 서버리스 환경을 제공합니다. AWS Management Console, AWS CLI, Amazon SDK 또는 REST API를 통해 S3 배치 작업을 사용할 수 있습니다.
S3 배치 작업을 사용하여 객체를 복사하고 객체 태그 또는 액세스 제어 목록(ACL)을 설정합니다. S3 Glacier Flexible Retrieval에서 객체 복원을 시작하거나 AWS Lambda 함수를 호출하여 객체로 사용자 정의 작업을 수행할 수도 있습니다. 사용자 지정 객체 목록에서 이러한 작업을 수행하거나 Amazon S3 인벤토리 보고서를 사용하여 객체 목록을 손쉽게 생성할 수 있습니다. Amazon S3 배치 작업은 이미 Amazon S3에서 사용하고 있는 것과 동일한 Amazon S3 API를 사용하므로 그 인터페이스가 익숙할 것입니다.
참고
Amazon S3 Express One Zone 스토리지 클래스를 디렉터리 버킷과 함께 사용하는 방법에 대한 자세한 내용은 S3 Express One Zone이란? 및 디렉터리 버킷 섹션을 참조하세요. S3 Express One Zone 및 디렉터리 버킷에서 배치 작업을 사용하는 방법에 대한 자세한 내용은 S3 Express One Zone에서 배치 작업 사용 섹션을 참조하세요.
S3 배치 작업 기본 사항
S3 배치 작업을 사용하여 Amazon S3 객체에 대해 대규모 배치 작업을 수행할 수 있습니다. S3 배치 작업은 지정된 Amazon S3 객체 목록에 대해 단일 작업을 실행할 수 있습니다.
용어
이 섹션에서는 작업, 작업(operation) 및 작업(task)이라는 용어를 사용하며, 각각 다음과 같이 정의됩니다.
- 작업
-
작업(job)은 S3 배치 작업의 기본 작업 단위입니다. 작업은 매니페스트에 나열된 객체에 대해 지정된 작업을 실행하는 데 필요한 모든 정보를 포함합니다. 이 정보를 제공하고 작업 시작을 요청하면 작업은 매니페스트의 각 객체에 대해 작업(operation)을 수행합니다.
- 작업
-
작업(operation)은 배치 작업(job)을 실행할 객체 복사와 같은 API 작업의 유형입니다. 각 작업(job)은 매니페스트에 지정된 모든 개체에서 단일 유형의 작업(operation)을 수행합니다.
- 작업
-
작업(task)은 작업(job)의 실행 단위입니다. 태스크는 하나의 객체에 대해 작업(job)의 작업(operation)을 수행하기 위한 Amazon S3 또는 AWS Lambda API 작업에 대한 단일 호출을 나타냅니다. 작업 수명 주기 동안 S3 배치 작업은 매니페스트에 지정된 각 객체에 대해 하나의 태스크(task)를 생성합니다.
S3 배치 작업 건의 작동 방식
작업(job)은 S3 배치 작업의 기본 작업 단위입니다. 작업은 객체 목록에 대해 지정된 작업을 실행하는 데 필요한 모든 정보를 포함합니다. 작업을 생성하려면 S3 배치 작업에 객체 목록을 제공하고 해당 객체에서 수행할 작업을 지정합니다.
S3 배치 작업에서 지원하는 작업에 대한 자세한 내용은 S3 배치 작업에서 지원하는 작업 섹션을 참조하세요.
배치 작업은 매니페스트에 포함된 모든 객체에 대해 지정된 작업을 수행합니다. 매니페스트는 배치 작업에서 처리할 객체를 나열하며 버킷에 객체로 저장됩니다. CSV(쉼표로 구분된 값) 형식의 Amazon S3 인벤토리 보고서를 매니페스트로 사용하면 버킷에 있는 긴 객체 목록을 쉽게 만들 수 있습니다. 또한 단일 버킷에 포함된 객체의 사용자 지정된 목록에 대해 배치 작업을 수행할 수 있는 단순 CSV 형식의 매니페스트를 지정할 수도 있습니다.
작업을 생성하면 Amazon S3가 매니페스트의 객체 목록을 처리하고 각 객체에 지정된 작업(operation)을 실행합니다. 작업이 실행되는 동안 프로그래밍 방식으로 또는 Amazon S3 콘솔을 통해 진행 상황을 모니터링할 수 있습니다. 작업이 완료되면 완료 보고서를 생성하도록 작업을 구성할 수도 있습니다. 완료 보고서는 작업에 의해 수행된 각 작업(task)의 결과를 설명합니다. 작업 모니터링에 대한 자세한 내용은 S3 배치 작업 건 관리 섹션을 참조하세요.
S3 배치 작업 자습서
다음 자습서에서는 일부 배치 작업 태스크를 처음부터 끝까지 수행하는 절차를 보여줍니다.
