Spark 스크립트 프로그래밍 - AWS Glue

Spark 스크립트 프로그래밍

AWS Glue를 사용하면 테스트 및 실행 외에도 ETL(추출, 변환 및 로드) 스크립트를 쉽게 작성하거나 자동 생성할 수 있습니다. AWS Glue가 도입한 아파치 스파크의 확장성을 보여주고 Python 혹은 Scala에서 ETL 스크립트를 코딩하고 실행하는 방법의 예를 제공합니다.

중요

AWS Glue 버전에 따라 지원되는 Apache Spark 버전이 다릅니다. 사용자 지정 스크립트는 지원되는 Apache Spark 버전과 호환되어야 합니다. AWS Glue 버전에 대한 자세한 내용은 Glue version job property 단원을 참조하십시오.