Amazon AWS Lake Formation 에서 사용 EMR

AmazonEMR은 유연한 AWS 관리형 클러스터 플랫폼으로, Hadoop Map-Reduce, Spark, Hive, Presto 등 지원되는 빅 데이터 프레임워크에서 사용자 지정 코드를 실행할 수 있습니다. 또한 조직은 AmazonEMR을 사용하여 고도로 분산된 클러스터에서 배치 및 스트림 데이터 처리 애플리케이션을 모두 실행합니다. Amazon 에서 Apache Spark를 사용하면 Lake Formation에서 권한을 관리하는 데이터베이스 및 테이블에서 데이터 변환 및 사용자 지정 코드를 실행할 EMR수 있습니다.

Amazon 를 배포하는 세 가지 옵션이 있습니다EMR.

• EMR 의 EC2

• EMR 서버리스

• Amazon EMR on EKS

자세한 내용은 세분화된 액세스 제어를 위해 AmazonEMR과 Lake Formation 통합 또는 와 Serverless 사용을 참조하세요. EMR AWS Lake Formation

트랜잭션 테이블 형식 지원

Amazon EMR 릴리스 6.15.0 이상에는 Spark 를 사용하여 데이터를 읽고 쓸 때 Apache Hudi , Apache Iceberg 및 Delta Lake 테이블 형식에 대한 Lake Formation 테이블, 행, 열 및 셀 수준 액세스 제어 권한에 대한 지원이 포함됩니다SQL.

제한 사항은 Lake Formation을 EMR 사용하는 Amazon에 대한 고려 사항을 참조하세요.

지원되는 테이블 형식
테이블 형식	설명 및 허용된 작업	Amazon에서 지원되는 Lake Formation 권한 EMR
Apache Hudi	증분 데이터 처리 및 데이터 파이프라인 개발을 간소화하는 데 사용되는 오픈 테이블 형식입니다. 지원되는 작업 목록은 Apache Hudi 및 Lake Formation을 참조하십시오.	AmazonEMR은 Apache Hudi를 사용하여 테이블, 행, 열 및 셀 수준 액세스 제어를 지원합니다.
Apache Iceberg	대규모 파일 컬렉션을 테이블로 관리하는 오픈 테이블 형식입니다. 지원되는 작업 목록은 Apache Iceberg 및 Lake Formation을 참조하십시오.	AmazonEMR은 Apache Iceberg를 사용하여 테이블, 행, 열 및 셀 수준 액세스 제어를 지원합니다.
Linux Foundation Delta Lake	Delta Lake는 Amazon S3 또는 Hadoop 분산 파일 시스템()에 일반적으로 구축된 최신 데이터 레이크 아키텍처를 구현하는 데 도움이 되는 오픈 소스 프로젝트입니다HDFS. 지원되는 작업 목록은 델타 레이크 및 Lake Formation을 참조하십시오.	AmazonEMR은 Delta Lake 테이블을 사용하여 테이블, 행, 열 및 셀 수준 액세스 제어를 지원합니다.

추가 리소스

사용 설명서, 블로그 게시물, 워크샵

• 런타임 역할을 EMR 사용하여 Amazon과 통합

• 에서 Amazon을 사용하여 Apache Hudi, Apache Iceberg 및 Delta Lake를 빠르게 시작하세요EMR. EKS

• EMR ServerlessOSS에서 Delta Lake 사용