Delta Lake 데이터 스토어에 대한 구성 옵션을 지정하는 방법

Delta Lake 데이터 스토어에 대해 크롤러를 구성할 때 이러한 구성 파라미터를 지정합니다.

연결

필요에 따라 이 Amazon S3 대상과 함께 사용할 네트워크 연결을 선택하거나 추가합니다. 연결에 관한 자세한 내용은 데이터에 연결 단원을 참조하십시오.

쿼리용 테이블 생성

Delta Lake 테이블 생성 방법을 선택합니다.

• 기본 테이블 생성: Delta 트랜잭션 로그의 쿼리를 직접 지원하는 쿼리 엔진과 통합할 수 있습니다.

• Symlink 테이블 생성: 지정된 구성 파라미터를 기반으로 파티션 키로 분할된 매니페스트 파일을 포함하는 symlink 매니페스트 폴더를 생성합니다.

쓰기 매니페스트 활성화(Delta Lake 소스에 대해 Symlink 테이블 생성을 선택한 경우에만 구성 가능)

Delta Lake 트랜잭션 로그에서 테이블 메타데이터 또는 스키마 변경 사항을 감지할지 여부를 선택합니다. 해당 항목은 매니페스트 파일을 다시 생성합니다. Delta Lake SET TBLPROPERTIES에서 자동 매니페스트 업데이트를 구성한 경우에는 이 옵션을 선택해서는 안 됩니다.

Delta Lake 테이블 경로 포함

s3://bucket/prefix/object와 같이 Delta 테이블에 대한 Amazon S3 경로를 하나 이상 지정합니다.