AWS Lake Formation의 알려진 문제

AWS Lake Formation에서 알려진 문제에 대해 알아봅니다.

테이블 메타데이터 필터링 제한

AWS Lake Formation열 수준 권한을 사용하여 테이블의 특정 열에 대한 액세스를 제한하는 열 수준 권한을 사용할 수 있습니다. 사용자가 콘솔이나 유사한glue:GetTable API를 사용하여 테이블에 대한 메타데이터를 검색하면 테이블 개체의 열 목록에는 액세스 권한이 있는 필드만 포함됩니다. 이 메타데이터 필터링의 한계를 이해해야 합니다.

Lake Formation Formation은 통합 서비스에 열 권한에 대한 메타데이터를 제공하지만 쿼리 응답에서 열을 실제로 필터링하는 것은 통합 서비스의 책임입니다. Amazon Athena, Amazon Redshift Spectrum 및 Amazon EMR을 비롯하여 열 수준 필터링을 지원하는 Lake Formation 클라이언트는 레이크 포메이션에 등록된 열 권한을 기반으로 데이터를 필터링합니다. 사용자는 액세스 권한이 없어야 하는 데이터를 읽을 수 없습니다. 현재AWS Glue ETL은 열 필터링을 지원하지 않습니다.

참고

EMR 클러스터는 에서 완전히 관리되지 않습니다AWS. 따라서 데이터에 대한 무단 액세스를 방지하기 위해 클러스터를 적절히 보호하는 것은 EMR 관리자의 책임입니다.

특정 응용 프로그램 또는 형식은 열 이름 및 유형을 비롯한 추가 메타데이터를Parameters 맵에 테이블 속성으로 저장할 수 있습니다. 이러한 속성은 수정되지 않은 상태로 반환되며 모든 열에 대한SELECT 권한이 있는 모든 사용자가 액세스할 수 있습니다.

예를 들어, Avro는 테이블 스키마의 JSON 표현을 이라는avro.schema.literal 테이블 속성에SerDe 저장합니다. 이 속성은 테이블에 액세스할 수 있는 모든 사용자가 사용할 수 있습니다. 중요한 정보는 테이블 속성에 저장하지 말고 사용자가 Avro 형식 테이블의 전체 스키마를 익힐 수 있다는 점을 염두에 두는 것이 좋습니다. 이 제한은 테이블에 대한 메타데이터에만 적용됩니다.

AWS Lake Formation호출자에게 테이블의 모든 열에 대한SELECT 권한이 없는 경우glue:GetTable 또는 유사한 요청에spark.sql.sources.schema 응답할 때 로 시작하는 모든 테이블 속성을 제거합니다. 이렇게 하면 사용자가 Apache Spark로 만든 테이블에 대한 추가 메타데이터에 액세스할 수 없습니다. Amazon EMR에서 실행할 때 Apache Spark 애플리케이션은 여전히 이러한 테이블을 읽을 수 있지만 특정 최적화가 적용되지 않을 수 있으며 대소문자를 구분하는 열 이름은 지원되지 않습니다. 사용자가 테이블의 모든 열에 액세스할 수 있는 경우 Lake Formation Formation은 수정되지 않은 테이블을 모든 테이블 속성과 함께 반환합니다.

제외된 열 이름 변경 관련 문제

열 수준 권한을 사용하여 열을 제외한 다음 열 이름을 바꾸면 해당 열이 더 이상 쿼리에서 제외되지 않습니다 (예:)SELECT *.

CSV 테이블의 열 삭제 관련 문제

CSV 형식으로 Data Catalog 테이블을 만든 다음 스키마에서 열을 삭제하면 쿼리가 잘못된 데이터를 반환하고 열 수준 권한이 준수되지 않을 수 있습니다.

해결 방법: 대신 새 테이블을 생성하십시오.

테이블 파티션은 공통 경로 아래에 추가해야 합니다.

Lake Formation Formation에서는 테이블의 모든 파티션이 테이블의 위치 필드에 설정된 공통 경로 아래에 있을 것으로 예상합니다. 크롤러를 사용하여 카탈로그에 파티션을 추가하면 원활하게 작동합니다. 그러나 파티션을 수동으로 추가하고 이러한 파티션이 상위 테이블에 설정된 위치에 있지 않으면 데이터 액세스가 작동하지 않습니다.

워크플로우 생성 중 데이터베이스 생성 관련 문제

Lake Formation 콘솔을 사용하여 블루프린트에서 워크플로를 생성할 때 대상 데이터베이스가 존재하지 않는 경우 해당 데이터베이스를 생성할 수 있습니다. 이렇게 하면 로그인한 사용자에게 생성된 데이터베이스에 대한CREATE_TABLE 권한이 부여됩니다. 그러나 워크플로에서 생성하는 크롤러는 테이블을 만들려고 할 때 워크플로의 역할을 맡습니다. 역할에 데이터베이스에 대한CREATE_TABLE 권한이 없기 때문에 실패합니다.

해결 방법: 워크플로 설정 중에 콘솔을 통해 데이터베이스를 만드는 경우 워크플로를 실행하기 전에 워크플로와 연결된 역할에 방금 만든 데이터베이스에 대한CREATE_TABLE 권한을 부여해야 합니다.

사용자 삭제 후 재생성 관련 문제

다음 시나리오에서는 에서 잘못된 Lake Formation 권한을 반환하는 결과를 초래합니다lakeformation:ListPermissions.

1. 사용자 생성 및 Lake Formation 권한 부여

2. 사용자를 삭제합니다.

3. 동일한 이름으로 사용자를 다시 생성합니다.

ListPermissions두 개의 항목을 반환합니다. 하나는 이전 사용자용이고 다른 하나는 새 사용자용입니다. 이전 사용자에게 부여된 권한을 취소하려고 하면 새 사용자의 권한이 취소됩니다.

GetTablesSearchTablesAPI는IsRegisteredWithLakeFormation 매개변수 값을 업데이트하지 않습니다.

GetTables과 같은 Data Catalog API 작업에서는 의 값을SearchTables 업데이트하지 않고 기본값인 false를 반환한다는 알려진 제한 사항이 있습니다.IsRegisteredWithLakeFormation parameter GetTableAPI를 사용하여 의 올바른 값을 확인하는 것이 좋습니다IsRegisteredWithLakeFormation parameter.

데이터 카탈로그 API 작업은IsRegisteredWithLakeFormation 매개변수 값을 업데이트하지 않습니다.

GetTables과 같은 Data Catalog API 작업은IsRegisteredWithLakeFormation 매개 변수의 값을SearchTables 업데이트하지 않고 기본값인 false를 반환한다는 알려진 제한 사항이 있습니다. GetTableAPI를 사용하여IsRegisteredWithLakeFormation 파라미터의 올바른 값을 확인하는 것이 좋습니다.

Lake Formation 작업은AWS Glue 스키마 레지스트리를 지원하지 않습니다.

Lake Formation 작업은 스키마SchemaReferenceStorageDescriptor 레지스트리에서 사용할 in이 포함된AWS Glue 테이블을 지원하지 않습니다.