제한 사항

AWS Glue에서 데이터 레이크 프레임워크를 사용하기 전에 다음 제한 사항을 고려하세요.

• 다음 AWS Glue GlueContext 메서드는 데이터 레이크 프레임워크 테이블 읽기 및 쓰기를 DynamicFrame 지원하지 않습니다. DataFrame 또는 Spark DataFrame API의 GlueContext 메서드를 대신 사용하십시오.

  • Lake Formation 권한 DynamicFrame 제어에는 다음과 같은 GlueContext 방법이 지원되지 않습니다.

    • create_dynamic_frame.from_catalog

    • write_dynamic_frame.from_catalog

    • getDynamicFrame

    • writeDynamicFrame

  • Lake Formation 권한 제어에는 다음과 같은 GlueContext 방법이 DataFrame 지원됩니다.

    • create_data_frame.from_catalog

    • write_data_frame.from_catalog

    • getDataFrame

    • writeDataFrame

• 작은 파일 그룹화는 지원되지 않습니다.

• 작업 북마크는 지원되지 않습니다.

• Apache Hudi 0.10.1 for AWS Glue 3.0은 Hudi 읽을 때 병합(MoR) 테이블을 지원하지 않습니다.

• ALTER TABLE … RENAME TO는 Apache Iceberg 0.13.1 for AWS Glue 3.0에서 사용할 수 없습니다.

Lake Formation 권한으로 관리되는 데이터 레이크 형식 테이블에 대한 제한

데이터 레이크 형식은 Lake Formation 권한을 통해 AWS Glue ETL과 통합됩니다. DynamicFrame 사용 create_dynamic_frame 생성은 지원되지 않습니다. 자세한 내용은 다음 예를 참조하세요.

• 예: Lake Formation 권한 제어가 포함된 Iceberg 테이블 읽기 및 쓰기

• 예: Lake Formation 권한 제어를 사용하여 Hudi 테이블 읽기 및 쓰기

• 예: Lake Formation 권한 제어가 포함된 Delta Lake 테이블 읽기 및 쓰기

참고

Apache Hudi, Apache Iceberg, Delta Lake에 대한 Lake Formation 권한을 통한 AWS Glue ETL과의 통합은 AWS Glue 버전 4.0에서만 지원됩니다.

Apache Iceberg는 Lake Formation 권한을 통해 AWS Glue ETL과 가장 잘 통합됩니다. 거의 모든 작업을 지원하며 SQL 지원을 포함합니다.

Hudi는 관리 작업을 제외한 대부분의 기본 작업을 지원합니다. 이러한 옵션은 일반적으로 데이터 프레임 작성을 통해 수행되고 additional_options를 통해 지정되기 때문입니다. AWS GlueSparkSQL은 지원되지 않으므로 API를 사용하여 작업을 DataFrames 생성해야 합니다.

Delta Lake는 테이블 데이터의 읽기, 추가, 덮어쓰기만 지원합니다. Delta Lake에서는 업데이트와 같은 다양한 작업을 수행하려면 자체 라이브러리를 사용해야 합니다.

Lake Formation 권한으로 관리되는 Iceberg 테이블에는 다음 기능을 사용할 수 없습니다.

• AWS Glue ETL을 사용한 압축

• AWS Glue ETL을 통한 Spark SQL 지원

Lake Formation 권한으로 관리되는 Hudi 테이블의 제한 사항은 다음과 같습니다.

• 분리된 파일 제거

Lake Formation 권한으로 관리되는 Delta Lake 테이블의 제한 사항은 다음과 같습니다.

• Delta Lake 테이블에서 삽입 및 읽기 이외의 모든 기능.