Spark에서 Iceberg 사용 시 고려 사항 - 아마존 EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Spark에서 Iceberg 사용 시 고려 사항

  • Amazon EMR 6.5.0은 기본적으로 Amazon에서 실행되는 Iceberg를 지원하지 않습니다EMR. EKS Amazon EMR 6.5.0 사용자 지정 이미지를 사용할 수 있으므로 Amazon에서 Iceberg 테이블을 생성하기 위한 --jars local:///usr/share/aws/iceberg/lib/iceberg-spark3-runtime.jar spark-submit 파라미터로 전달할 수 있습니다. EMR EKS 자세한 내용은 Amazon EKS개발 가이드의 사용자 지정 이미지를 EMR 사용하여 Amazon에서 Spark 워크로드 제출을 참조하십시오. EMR AWS Support 에 지원을 문의할 수도 있습니다. 아마존 EMR 6.6.0부터 아이스버그는 아마존 버전에서 지원됩니다. EMR EKS

  • AWS Glue를 Iceberg용 카탈로그로 사용할 때는 테이블을 생성하는 데이터베이스가 AWS Glue에 있는지 확인하세요. AWS Lake Formation 와 같은 서비스를 사용 중인데 카탈로그를 로드할 수 없는 경우 서비스에 제대로 액세스하여 명령을 실행해야 합니다.