AWS Glue 버전 - AWS Glue
AWS Glue 버전

AWS Glue 버전

AWS Glue 버전 파라미터는 작업을 추가하거나 업데이트할 때 설정합니다. AWS Glue 버전은 AWS Glue에서 지원하는 Apache Spark 및 Python의 버전을 결정합니다. Python의 버전으로 Spark 유형의 작업에 대해 지원되는 버전을 확인할 수 있습니다. 다음 테이블에는 이용 가능한 AWS Glue 버전과 그에 상응하는 Spark 및 Python 버전, 그리고 다른 기능 변경 사항이 나열됩니다.

AWS Glue 버전

AWS Glue 버전 지원되는 Spark 및 Python 버전 기능 변경 사항
0.9

  • Spark 2.2.1

  • Python 2.7

AWS Glue 버전 지정 없이 생성된 작업은 AWS Glue 0.9로 기본 지정됩니다.
AWS Glue 1.0

  • Spark 2.4.3

  • Python 2.7

  • Python 3.6

AWS Glue ETL 작업에서는 Parquet 및 ORC 포맷에 대해 작업 북마크를 유지할 수 있습니다(AWS Glue 버전 1.0 사용). 이전에는 AWS Glue ETL 작업에서 JSON, CSV, Apache Avro, XML처럼 일반적인 Amazon S3 원본 포맷만 북마크가 가능했습니다.

ETL 입력 및 출력의 포맷 옵션을 설정할 때 Apache Avro 리더/라이터 포맷 1.8을 사용해 Avro 논리적 유형 읽기 및 쓰기를 지원하도록 지정할 수 있습니다(AWS Glue 버전 1.0 사용). 이전에는 버전 1.7 Avro 리더/라이터 포맷만 지원되었습니다.

DynamoDB 연결 유형은 라이터 옵션(AWS Glue 버전 1.0 사용)을 지원합니다.
AWS Glue 2.0

  • Spark 2.4.3

  • Python 3.7

AWS Glue 버전 1.0에서 제공되는 기능 외에도 AWS Glue 버전 2.0은 다음을 제공합니다.

  • AWS Glue에서 Apache Spark ETL 작업을 실행하고 시작 시간을 단축하기 위한 업그레이드된 인프라.

  • 기본 로깅은 이제 드라이버와 실행기, 출력 및 오류에 대한 별도의 스트림을 사용하여 실시간으로 이루어집니다.

  • 작업 수준에서 추가 Python 모듈 또는 다른 버전 지정 지원.

참고

AWS Glue 버전 2.0은 기본 아키텍처 변경으로 인해 일부 종속성 및 버전에 대해 AWS Glue 버전 1.0과 다릅니다. 주요 AWS Glue 버전 릴리스 간에 마이그레이션하기 전에 Glue 작업을 검증합니다.

AWS Glue 버전 2.0의 기능 및 제한 사항에 대한 자세한 내용은 단축된 시작 시간으로 Spark ETL 작업 실행 섹션을 참조하세요.
3.0

  • Spark 3.1.1

  • Python 3.7

AWS Glue 3.0은 AWS Glue의 새 버전입니다. Spark 엔진을 3.0으로 업그레이드하는 것 외에도 이 AWS Glue 릴리스에는 다음과 같은 최적화 및 업그레이드가 내장되어 있습니다.

  • Spark의 주요 릴리스인 Spark 3.0에 대해 AWS Glue ETL 라이브러리를 구축합니다.

  • 스트리밍 작업은 AWS Glue 3.0에서 지원됩니다.

  • 성능과 안정성을 위한 새로운 AWS Glue Spark 런타임 최적화를 포함합니다.

    • CSV 데이터 읽기를 위한 Apache Arrow 기반의 더 빠른 인메모리 열 형식 처리.

    • CSV 데이터로 벡터화된 읽기를 위한 SIMD 기반 실행.

    • Spark 업그레이드에는 Amazon EMR에서 개발된 추가 최적화도 포함됩니다.

    • EMRFS가 2.38에서 2.46으로 업그레이드되어 Amazon S3 액세스에 대한 새로운 기능과 버그 수정이 가능합니다.

  • 새 Spark 버전에 필요한 여러 종속성이 업그레이드되었습니다. 부록 A: 중요한 종속성 업그레이드 섹션을 참조하세요.

  • 기본적으로 지원되는 데이터 원본용으로 JDBC 드라이버가 업그레이드되었습니다. 부록 B: JDBC 드라이버 업그레이드 섹션을 참조하세요.

제한 사항

다음은 AWS Glue 3.0의 제한 사항입니다.

  • AWS Glue 기계 학습 변환은 아직 AWS Glue 3.0에서 사용할 수 없습니다.

  • 일부 사용자 정의 Spark 커넥터는 Spark 2.4에 종속되고 Spark 3.1과 호환되지 않는 경우 AWS Glue 3.0에서 작동하지 않습니다.

AWS Glue 버전 3.0으로 마이그레이션에 대한 자세한 내용은 AWS Glue 버전 3.0으로 AWS Glue 작업 마이그레이션AWS Glue 3.0으로 마이그레이션할 작업 섹션을 참조하세요.