파티션 API - AWS Glue
 -  데이터 유형  -PartitionPartitionInputPartitionSpecWithSharedStorageDescriptorPartitionListComposingSpecPartitionSpecProxyPartitionValueList세그먼트PartitionErrorBatchUpdatePartitionFailureEntryBatchUpdatePartitionRequestEntryStorageDescriptorSchemaReferenceSerDeInfoSkewedInfo -  작업  -CreatePartition(create_partition)BatchCreatePartition(batch_create_partition)UpdatePartition(update_partition)DeletePartition(delete_partition)BatchDeletePartition(batch_delete_partition)GetPartition(get_partition)GetPartitions(get_partitions)BatchGetPartition(batch_get_partition)BatchUpdatePartition(batch_update_partition)GetColumnStatisticsForPartition(get_column_statistics_for_partition)UpdateColumnStatisticsForPartition(update_column_statistics_for_partition)DeleteColumnStatisticsForPartition(delete_column_statistics_for_partition)

파티션 API

파티션 API는 파티션을 실행할 데이터 형식 및 작업에 대해 설명합니다.

데이터 타입

파티션 구조

테이블 데이터의 조각을 나타냅니다.

필드

  • Values – UTF-8 문자열의 배열입니다.

    파티션 값입니다.

  • DatabaseName – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션이 생성되는 카탈로그 데이터베이스의 이름입니다.

  • TableName – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션이 생성되는 데이터베이스 테이블의 이름입니다.

  • CreationTime – 타임스탬프입니다.

    파티션이 생성된 시간.

  • LastAccessTime – 타임스탬프입니다.

    파티션이 액세스된 마지막 시간.

  • StorageDescriptor – StorageDescriptor 객체입니다.

    파티션이 저장된 물리적 위치에 대한 정보를 제공합니다.

  • Parameters – 키-값 페어의 맵 배열입니다.

    각 키는 Single-line string pattern과(와) 일치하는 1~255 바이트 길이의 키 문자열입니다.

    각 값은 512000 바이트 이하 길이의 UTF-8 문자열입니다.

    이러한 키-값 쌍은 파티션 파라미터를 정의합니다.

  • LastAnalyzedTime – 타임스탬프입니다.

    이 파티션을 위해 계산된 열 통계 마지막 시간.

  • CatalogId – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 카탈로그 ID 문자열입니다.

    파티션이 있는 Data Catalog의 ID입니다.

PartitionInput 구조

파티션을 생성 및 업데이트할 때 사용되는 구조입니다.

필드

  • Values – UTF-8 문자열의 배열입니다.

    파티션 값입니다. 이 파라미터는 SDK에 필수는 아니지만 유효한 입력을 위해 이 파라미터를 지정해야 합니다.

    새 파티션의 키 값은 Amazon S3 접두사에 표시되는 파티션 키와 동일한 순서로 정렬되어야 하는 문자열 객체의 배열로 전달되어야 합니다. 그렇지 않으면 AWS Glue가 잘못된 키에 값을 추가합니다.

  • LastAccessTime – 타임스탬프입니다.

    파티션이 액세스된 마지막 시간.

  • StorageDescriptor – StorageDescriptor 객체입니다.

    파티션이 저장된 물리적 위치에 대한 정보를 제공합니다.

  • Parameters – 키-값 페어의 맵 배열입니다.

    각 키는 Single-line string pattern과(와) 일치하는 1~255 바이트 길이의 키 문자열입니다.

    각 값은 512000 바이트 이하 길이의 UTF-8 문자열입니다.

    이러한 키-값 쌍은 파티션 파라미터를 정의합니다.

  • LastAnalyzedTime – 타임스탬프입니다.

    이 파티션을 위해 계산된 열 통계 마지막 시간.

PartitionSpecWithSharedStorageDescriptor 구조

물리적 위치를 공유하는 파티션의 파티션 스펙.

필드

  • StorageDescriptor – StorageDescriptor 객체입니다.

    공유된 물리적 스토리지 정보.

  • Partitions – Partition 객체의 배열입니다.

    이 물리적 위치를 공유하는 파티션 목록.

PartitionListComposingSpec 구조

관련된 파티션을 나열합니다.

필드

  • Partitions – Partition 객체의 배열입니다.

    구성 스펙의 파티션 목록.

PartitionSpecProxy 구조

지정된 파티션으로의 루트 경로를 제공합니다.

필드

  • DatabaseName – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션이 있는 카탈로그 데이터베이스입니다.

  • TableName – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션이 포함된 테이블의 이름입니다.

  • RootPath – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션이 설명되어 있는 프록시 루트 경로.

  • PartitionSpecWithSharedSD – PartitionSpecWithSharedStorageDescriptor 객체입니다.

    동일한 스토리지 위치를 공유하는 파티션 스펙.

  • PartitionListComposingSpec – PartitionListComposingSpec 객체입니다.

    파티션 목록을 지정합니다.

PartitionValueList 구조

파티션을 정의하는 값 목록을 포함합니다.

필드

  • Values – 필수(Required): UTF-8 문자열의 배열입니다.

    값 목록.

세그먼트 구조

테이블 파티션의 중첩되지 않은 리전을 정의하여 다양한 요청이 병렬로 실행되도록 허용합니다.

필드

  • SegmentNumber – 필수(Required): None 이하의 숫자(정수)입니다.

    세그먼트의 0 기반 인덱스 숫자입니다. 예를 들어 총 세그먼트 수가 4개인 경우, SegmentNumber 값의 범위는 0~3입니다.

  • TotalSegments – 필수(Required): 1~10의 숫자(정수)입니다.

    총 세그먼트 수입니다.

PartitionError 구조

파티션 오류에 관한 정보를 포함합니다.

필드

  • PartitionValues – UTF-8 문자열의 배열입니다.

    파티션을 정의하는 값입니다.

  • ErrorDetail – ErrorDetail 객체입니다.

    파티션 오류에 대한 세부 정보입니다.

BatchUpdatePartitionFailureEntry 구조

배치 업데이트 파티션 오류에 관한 정보를 포함합니다.

필드

  • PartitionValueList – 100개 이하의 문자열로 구성된 UTF-8 문자열입니다.

    파티션을 정의하는 값의 목록입니다.

  • ErrorDetail – ErrorDetail 객체입니다.

    배치 업데이트 파티션 오류에 대한 세부 정보입니다.

BatchUpdatePartitionRequestEntry 구조

파티션을 업데이트하는 데 사용되는 값과 구조를 포함하는 구조입니다.

필드

  • PartitionValueList – 필수(Required): 100개 이하의 문자열로 구성된 UTF-8 문자열입니다.

    파티션을 정의하는 값의 목록입니다.

  • PartitionInput – 필수(Required): PartitionInput 객체입니다.

    파티션을 업데이트할 때 사용되는 구조입니다.

StorageDescriptor 구조

테이블 데이터의 물리적 스토리지를 설명합니다.

필드

  • Columns – 열 객체의 배열입니다.

    테이블의 Columns 목록입니다.

  • Location – URI address multi-line string pattern과(와) 일치하는 2,056바이트 이하 길이의 위치 문자열입니다.

    테이블의 물리적 위치입니다. 기본적으로 웨어하우스 위치, 웨어하우스의 데이터베이스 위치, 테이블 이름 순으로 나타납니다.

  • AdditionalLocations – UTF-8 문자열의 배열입니다.

    Delta 테이블이 위치한 경로를 가리키는 위치 목록입니다.

  • InputFormat – Single-line string pattern과(와) 일치하는 128바이트 이하 길이의 포맷 문자열입니다.

    입력 형식: SequenceFileInputFormat(이진), TextInputFormat 또는 사용자 지정 형식입니다.

  • OutputFormat – Single-line string pattern과(와) 일치하는 128바이트 이하 길이의 포맷 문자열입니다.

    출력 형식: SequenceFileOutputFormat(이진), IgnoreKeyTextOutputFormat 또는 사용자 지정 형식입니다.

  • Compressed – 부울입니다.

    테이블의 데이터가 압축되면 True이고 그렇지 않으면 False입니다.

  • NumberOfBuckets - 숫자(정수)입니다.

    테이블에 차원 열이 포함되어 있는 경우 이 속성을 지정해야 합니다.

  • SerdeInfo – SerDeInfo 객체입니다.

    직렬화/역직렬화(SerDe) 정보입니다.

  • BucketColumns – UTF-8 문자열의 배열입니다.

    테이블의 열, 클러스터링 열 및 버킷 열을 지정하는 그룹화하는 reducer 목록입니다.

  • SortColumns – Order 객체의 배열입니다.

    테이블에 있는 각 버킷의 정렬 순서를 지정하는 목록입니다.

  • Parameters – 키-값 페어의 맵 배열입니다.

    각 키는 Single-line string pattern과(와) 일치하는 1~255 바이트 길이의 키 문자열입니다.

    각 값은 512000 바이트 이하 길이의 UTF-8 문자열입니다.

    키 값 형식의 사용자 제공 속성입니다.

  • SkewedInfo – SkewedInfo 객체입니다.

    열에 자주 표시되는 값에 대한 정보입니다(편향된 값).

  • StoredAsSubDirectories – 부울입니다.

    테이블 데이터가 하위 디렉터리에 저장되면 True이고 그렇지 않으면 False입니다.

  • SchemaReference – SchemaReference 객체입니다.

    AWS Glue Schema Registry에 저장된 스키마를 참조하는 객체입니다.

    테이블을 생성할 때 스키마에 대한 빈 열 목록을 전달하고, 대신 스키마 참조를 사용할 수 있습니다.

SchemaReference 구조

AWS Glue Schema Registry에 저장된 스키마를 참조하는 객체입니다.

필드

  • SchemaId – SchemaId 객체입니다.

    스키마 ID 필드를 포함하는 구조입니다. 이것 또는 SchemaVersionId가 제공되어야 합니다.

  • SchemaVersionId – Custom string pattern #44과(와) 일치하는 36바이트 이상 길이의 UTF-8 문자열입니다.

    스키마 버전에 할당된 고유 ID입니다. 이것 또는 SchemaId가 제공되어야 합니다.

  • SchemaVersionNumber - 1~100,000의 숫자(정수)입니다.

    스키마의 버전 번호입니다.

SerDeInfo 구조

추출기 및 로더 역할을 하는 직렬화/역직렬화 프로그램(SerDe)에 대한 정보입니다.

필드

  • Name – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    SerDe의 이름입니다.

  • SerializationLibrary – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    일반적으로 SerDe를 구현하는 클래스입니다. 예를 들면, org.apache.hadoop.hive.serde2.columnar.ColumnarSerDe입니다.

  • Parameters – 키-값 페어의 맵 배열입니다.

    각 키는 Single-line string pattern과(와) 일치하는 1~255 바이트 길이의 키 문자열입니다.

    각 값은 512000 바이트 이하 길이의 UTF-8 문자열입니다.

    이러한 키-값 쌍은 SerDe의 초기화 파라미터를 정의합니다.

SkewedInfo 구조

테이블에 왜곡된 값을 지정합니다. 왜곡된 값은 매우 높은 빈도를 통해 발생한 값입니다.

필드

  • SkewedColumnNames – UTF-8 문자열의 배열입니다.

    왜곡된 값이 포함된 열의 이름 목록입니다.

  • SkewedColumnValues – UTF-8 문자열의 배열입니다.

    너무 자주 나타나서 왜곡된 것으로 간주되는 값의 목록입니다.

  • SkewedColumnValueLocationMaps – 키-값 페어의 맵 배열입니다.

    각 키는 UTF-8 문자열입니다.

    각 값은 UTF-8 문자열입니다.

    왜곡된 값을 이 값을 포함하는 열에 매핑.

운영

CreatePartition 작업(Python: create_partition)

새 파티션을 생성합니다.

요청

  • CatalogId – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 카탈로그 ID 문자열입니다

    파티션이 생성될 카탈로그의 AWS 계정 ID입니다.

  • DatabaseName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    생성될 파티션이 있는 메타데이터 데이터베이스 이름입니다.

  • TableName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    생성될 파티션이 있는 메타데이터 테이블 이름입니다.

  • PartitionInput – 필수(Required): PartitionInput 객체입니다.

    PartitionInput 구조는 생성될 파티션을 정의합니다.

응답

  • 무응답 파라미터.

오류

  • InvalidInputException

  • AlreadyExistsException

  • ResourceNumberLimitExceededException

  • InternalServiceException

  • EntityNotFoundException

  • OperationTimeoutException

  • GlueEncryptionException

BatchCreatePartition 작업(Python: batch_create_partition)

배치 작업에서 하나 이상의 파티션을 만듭니다.

요청

  • CatalogId – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 카탈로그 ID 문자열입니다.

    파티션이 생성될 카탈로그 ID입니다. 현재는 AWS 계정 ID여야 합니다.

  • DatabaseName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    생성될 파티션이 있는 메타데이터 데이터베이스 이름입니다.

  • TableName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    생성될 파티션이 있는 메타데이터 테이블 이름입니다.

  • PartitionInputList – 필수(Required): PartitionInput 객체의 배열이며 구조는 100개 이하입니다.

    PartitionInput 구조 목록은 생성될 파티션을 정의합니다.

응답

  • Errors – PartitionError 객체의 배열입니다.

    요청된 파티션을 생성하고자 할 때 발생한 오류입니다.

오류

  • InvalidInputException

  • AlreadyExistsException

  • ResourceNumberLimitExceededException

  • InternalServiceException

  • EntityNotFoundException

  • OperationTimeoutException

  • GlueEncryptionException

UpdatePartition 작업(Python: update_partition)

파티션 업데이트

요청

  • CatalogId – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 카탈로그 ID 문자열입니다.

    업데이트되는 파티션이 존재하는 데이터 카탈로그 ID. 제공되지 않은 경우 기본적으로 AWS 계정 ID가 사용됩니다.

  • DatabaseName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    문제의 테이블이 있는 카탈로그 데이터베이스 이름입니다.

  • TableName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    업데이트되는 파티션이 있는 테이블 이름입니다.

  • PartitionValueList – 필수(Required): 100개 이하의 문자열로 구성된 UTF-8 문자열입니다.

    업데이트할 파티션을 정의하는 파티션 키 값 목록입니다.

  • PartitionInput – 필수(Required): PartitionInput 객체입니다.

    파티션을 업데이트할 새로운 파티션 객체.

    Values 속성을 변경할 수 없습니다. 파티션의 파티션 키 값을 변경하려면 파티션을 삭제하고 다시 생성합니다.

응답

  • 무응답 파라미터.

오류

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • GlueEncryptionException

DeletePartition 작업(Python: delete_partition)

지정된 파티션을 삭제합니다.

요청

  • CatalogId – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 카탈로그 ID 문자열입니다.

    삭제되는 파티션이 존재하는 데이터 카탈로그 ID. 제공되지 않은 경우 기본적으로 AWS 계정 ID가 사용됩니다.

  • DatabaseName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    문제의 테이블이 있는 카탈로그 데이터베이스 이름입니다.

  • TableName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    삭제될 파티션이 포함된 테이블 이름입니다.

  • PartitionValues – 필수(Required): UTF-8 문자열의 배열입니다.

    파티션을 정의하는 값입니다.

응답

  • 무응답 파라미터.

오류

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

BatchDeletePartition 작업(Python: batch_delete_partition)

배치 작업에서 하나 이상의 파티션을 삭제합니다.

요청

  • CatalogId – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 카탈로그 ID 문자열입니다.

    삭제되는 파티션이 존재하는 데이터 카탈로그 ID. 제공되지 않은 경우 기본적으로 AWS 계정 ID가 사용됩니다.

  • DatabaseName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    문제의 테이블이 있는 카탈로그 데이터베이스 이름입니다.

  • TableName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    삭제될 파티션이 포함된 테이블 이름입니다.

  • PartitionsToDelete – 필수(Required): PartitionValueList 객체의 배열이며 구조는 25개 이하입니다.

    PartitionInput 구조 목록은 삭제되는 파티션을 정의합니다.

응답

  • Errors – PartitionError 객체의 배열입니다.

    요청된 파티션을 삭제하고자 할 때 발생한 오류입니다.

오류

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetPartition 작업(Python: get_partition)

지정된 파티션에 대한 정보를 가져옵니다.

요청

  • CatalogId – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 카탈로그 ID 문자열입니다.

    문제의 파티션이 존재하는 데이터 카탈로그 ID. 제공되지 않은 경우 기본적으로 AWS 계정 ID가 사용됩니다.

  • DatabaseName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션이 있는 카탈로그 데이터베이스 이름입니다.

  • TableName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션 테이블의 이름입니다.

  • PartitionValues – 필수(Required): UTF-8 문자열의 배열입니다.

    파티션을 정의하는 값입니다.

응답

  • Partition – Partition 객체입니다.

    Partition 객체의 형식으로 요청된 정보입니다.

오류

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • GlueEncryptionException

  • FederationSourceException

  • FederationSourceRetryableException

GetPartitions 작업(Python: get_partitions)

테이블의 파티션에 대한 정보를 가져옵니다.

요청

  • CatalogId – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 카탈로그 ID 문자열입니다.

    문제의 파티션이 존재하는 데이터 카탈로그 ID. 제공되지 않은 경우 기본적으로 AWS 계정 ID가 사용됩니다.

  • DatabaseName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션이 있는 카탈로그 데이터베이스 이름입니다.

  • TableName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션 테이블의 이름입니다.

  • Expression – URI address multi-line string pattern과(와) 일치하는 2,048바이트 이하 길이의 조건자 문자열입니다.

    반환할 파티션을 필터링하는 표현식입니다.

    이 표현식은 SQL WHERE 필터 절과 유사한 SQL 구문을 사용합니다. SQL 문 파서 JSQLParser는 이 표현식을 구문 분석합니다.

    연산자: 다음은 Expression API 호출에서 사용할 수 있는 연산자입니다.

    =

    두 피연산자의 값이 동일한지 여부를 확인하고, 동일한 경우에는 이 조건이 true가 됩니다.

    예제: '변수 a'에는 10이 들어 있고 '변수 b'에는 20이 들어 있다고 가정해 보겠습니다.

    (a = b)는 true가 아닙니다.

    < >

    두 피연산자의 값이 동일한지 여부를 확인하고, 값이 동일하지 않으면 이 조건이 true가 됩니다.

    예제: (a < > b)는 true입니다.

    >

    왼쪽 피연산자의 값이 오른쪽 피연산자의 값보다 큰지 여부를 확인하고, 크면 이 조건이 true가 됩니다.

    예제: (a > b)는 true가 아닙니다.

    <

    왼쪽 피연산자의 값이 오른쪽 피연산자의 값보다 작은지 여부를 확인하고, 크면 이 조건이 true가 됩니다.

    예제: (a < b)는 true입니다.

    >=

    왼쪽 피연산자의 값이 오른쪽 피연산자의 값보다 크거나 같은지 여부를 확인하고, 크거나 같으면 이 조건이 true가 됩니다.

    예제: (a >= b)는 true가 아닙니다.

    <=

    왼쪽 피연산자의 값이 오른쪽 피연산자의 값보다 작거나 같은지 여부를 확인하고, 작거나 같으면 이 조건이 true가 됩니다.

    예제: (a <= b)는 true입니다.

    AND, OR, IN, BETWEEN, LIKE, NOT, IS NULL

    논리 연산자

    지원되는 파티션 키 유형: 다음은 지원되는 파티션 키입니다.

    • string

    • date

    • timestamp

    • int

    • bigint

    • long

    • tinyint

    • smallint

    • decimal

    유효하지 않은 유형이 있으면 예외가 발생합니다.

    다음 목록에는 각 유형에 대한 유효 연산자가 표시됩니다. 크롤러를 정의할 때 partitionKey 유형이 카탈로그 파티션과 호환될 STRING으로 생성됩니다.

    단순 API 호출:

    twitter_partition 표에는 파티션 세 개가 있습니다.

    year = 2015
        year = 2016
        year = 2017

    Get partition year가 2015와 같음

    aws glue get-partitions --database-name dbname --table-name twitter_partition 
        --expression "year*=*'2015'"

    Get Partition year가 2016~2018(제외)

    aws glue get-partitions --database-name dbname --table-name twitter_partition 
        --expression "year>'2016' AND year<'2018'"

    Get Partition year가 2015~2018(포함) 다음 API 호출은 서로에 상응합니다.

    aws glue get-partitions --database-name dbname --table-name twitter_partition 
        --expression "year>='2015' AND year<='2018'"
        
        aws glue get-partitions --database-name dbname --table-name twitter_partition 
        --expression "year BETWEEN 2015 AND 2018"
        
        aws glue get-partitions --database-name dbname --table-name twitter_partition 
        --expression "year IN (2015,2016,2017,2018)"

    와일드카드 파티션 필터. 여기서는 다음 호출 출력이 partition year=2017입니다. 정규식은 LIKE에서 지원되지 않습니다.

    aws glue get-partitions --database-name dbname --table-name twitter_partition 
        --expression "year LIKE '%7'"

  • NextToken – UTF-8 문자열입니다.

    이것이 파티션을 가져오기 위한 첫 번째 호출이 아니면 지속적인 토큰입니다.

  • Segment – 세그먼트 객체입니다.

    이 요청에 따라 스캔할 테이블 파티션의 세그먼트입니다.

  • MaxResults – 1~1,000의 숫자(정수)입니다.

    한 번의 응답으로 반환할 최대 파티션 수.

  • ExcludeColumnSchema – 부울입니다.

    true이면 파티션 열 스키마를 반환하지 않도록 지정합니다. 파티션 값이나 위치와 같은 다른 파티션 속성에만 관심이 있을 때 유용합니다. 이 접근 방식을 사용하면 중복 데이터가 반환되지 않으므로 큰 응답 문제를 피할 수 있습니다.

  • TransactionId – Custom string pattern #43과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션 콘텐츠를 읽을 트랜잭션 ID입니다.

  • QueryAsOfTime – 타임스탬프입니다.

    파티션 콘텐츠를 읽을 기준 시간입니다. 설정하지 않으면 가장 최근의 트랜잭션 커밋 시간이 사용됩니다. TransactionId과(와) 함께 지정할 수 없습니다.

응답

  • Partitions – Partition 객체의 배열입니다.

    요청된 파티션 목록.

  • NextToken – UTF-8 문자열입니다.

    반환된 파티션 목록에 마지막 항목이 포함되지 않은 경우의 연속 토큰입니다.

오류

  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

  • GlueEncryptionException

  • InvalidStateException

  • ResourceNotReadyException

  • FederationSourceException

  • FederationSourceRetryableException

BatchGetPartition 작업(Python: batch_get_partition)

배치 요청에 따라 파티션을 가져옵니다.

요청

  • CatalogId – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 카탈로그 ID 문자열입니다.

    문제의 파티션이 존재하는 데이터 카탈로그 ID. 제공되지 않은 경우 기본적으로 AWS 계정 ID가 사용됩니다.

  • DatabaseName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션이 있는 카탈로그 데이터베이스 이름입니다.

  • TableName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션 테이블의 이름입니다.

  • PartitionsToGet – 필수(Required): PartitionValueList 객체의 배열이며 구조는 1,000개 이하입니다.

    파티션 값의 목록은 가져올 파텨션을 식별합니다.

응답

  • Partitions – Partition 객체의 배열입니다.

    요청한 파티션의 목록입니다.

  • UnprocessedKeys – PartitionValueList 객체의 배열이며 구조는 1,000개 이하입니다.

    파티션이 반환되지 않은 요청의 파티션 값 목록입니다.

오류

  • InvalidInputException

  • EntityNotFoundException

  • OperationTimeoutException

  • InternalServiceException

  • GlueEncryptionException

  • InvalidStateException

  • FederationSourceException

  • FederationSourceRetryableException

BatchUpdatePartition 작업(Python: batch_update_partition)

배치 작업에서 하나 이상의 파티션을 업데이트합니다.

요청

  • CatalogId – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 카탈로그 ID 문자열입니다.

    파티션이 업데이트될 카탈로그의 ID입니다. 현재는 AWS 계정 ID여야 합니다.

  • DatabaseName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    업데이트될 파티션이 있는 메타데이터 데이터베이스의 이름입니다.

  • TableName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    업데이트될 파티션이 있는 메타데이터 테이블의 이름입니다.

  • Entries – 필수(Required): BatchUpdatePartitionRequestEntry 객체의 배열이며 구조는 1~100개입니다.

    업데이트할 최대 100개의 BatchUpdatePartitionRequestEntry 객체 목록입니다.

응답

  • Errors – BatchUpdatePartitionFailureEntry 객체의 배열입니다.

    요청된 파티션을 업데이트하고자 할 때 발생한 오류입니다. BatchUpdatePartitionFailureEntry 객체의 목록.

오류

  • InvalidInputException

  • EntityNotFoundException

  • OperationTimeoutException

  • InternalServiceException

  • GlueEncryptionException

GetColumnStatisticsForPartition 작업(Python: get_column_statistics_for_partition)

열의 파티션 통계를 검색합니다.

이 작업에 필요한 Identity and Access Management(IAM) 권한은 GetPartition입니다.

요청

  • CatalogId – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 카탈로그 ID 문자열입니다.

    문제의 파티션이 존재하는 데이터 카탈로그 ID. 제공되지 않은 경우 기본적으로 AWS 계정 ID가 사용됩니다.

  • DatabaseName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션이 있는 카탈로그 데이터베이스 이름입니다.

  • TableName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션 테이블의 이름입니다.

  • PartitionValues – 필수(Required): UTF-8 문자열의 배열입니다.

    파티션을 식별하는 파티션 값의 목록입니다.

  • ColumnNames – 필수(Required): 100개 이하의 문자열로 구성된 UTF-8 문자열입니다.

    열 이름의 목록입니다.

응답

  • ColumnStatisticsList – ColumnStatistics 객체의 배열입니다.

    검색에 실패한 ColumnStatistics 목록입니다.

  • Errors – ColumnError 객체의 배열입니다.

    열 통계 데이터를 검색하는 동안 오류가 발생했습니다.

오류

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • GlueEncryptionException

UpdateColumnStatisticsForPartition 작업(Python: update_column_statistics_for_partition)

열의 파티션 통계를 생성하거나 업데이트합니다.

이 작업에 필요한 Identity and Access Management(IAM) 권한은 UpdatePartition입니다.

요청

  • CatalogId – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 카탈로그 ID 문자열입니다.

    문제의 파티션이 존재하는 데이터 카탈로그 ID. 제공되지 않은 경우 기본적으로 AWS 계정 ID가 사용됩니다.

  • DatabaseName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션이 있는 카탈로그 데이터베이스 이름입니다.

  • TableName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션 테이블의 이름입니다.

  • PartitionValues – 필수(Required): UTF-8 문자열의 배열입니다.

    파티션을 식별하는 파티션 값의 목록입니다.

  • ColumnStatisticsList – 필수(Required): ColumnStatistics 객체의 배열이며 구조는 25개 이하입니다.

    열 통계의 목록입니다.

응답

  • Errors – ColumnStatisticsError 객체의 배열입니다.

    열 통계 데이터를 업데이트하는 동안 오류가 발생했습니다.

오류

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • GlueEncryptionException

DeleteColumnStatisticsForPartition 작업(Python: delete_column_statistics_for_partition)

열의 파티션 열 통계를 삭제합니다.

이 작업에 필요한 Identity and Access Management(IAM) 권한은 DeletePartition입니다.

요청

  • CatalogId – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 카탈로그 ID 문자열입니다.

    문제의 파티션이 존재하는 데이터 카탈로그 ID. 제공되지 않은 경우 기본적으로 AWS 계정 ID가 사용됩니다.

  • DatabaseName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션이 있는 카탈로그 데이터베이스 이름입니다.

  • TableName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    파티션 테이블의 이름입니다.

  • PartitionValues – 필수(Required): UTF-8 문자열의 배열입니다.

    파티션을 식별하는 파티션 값의 목록입니다.

  • ColumnName – 필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    열의 이름입니다.

응답

  • 무응답 파라미터.

오류

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • GlueEncryptionException