사용자 지정 스크립트 제공 - AWS Glue

사용자 지정 스크립트 제공

스크립트는 AWS Glue에서 추출, 변환 및 로드(ETL) 작업을 수행합니다. 자동적으로 작업의 소스 코드 로직을 생성할 때 스크립트가 생성됩니다. 스크립트를 편집하거나 사용자 지정 스크립트를 제공할 수 있습니다.

중요

AWS Glue 버전에 따라 지원되는 Apache Spark 버전이 다릅니다. 사용자 지정 스크립트는 지원되는 Apache Spark 버전과 호환되어야 합니다. AWS Glue 버전에 대한 자세한 내용은 Glue version job property 단원을 참조하십시오.

AWS Glue의 자체 사용자 지정 스크립트를 제공하려면 다음 일반 절차를 따르십시오.

  1. AWS Management Console에 로그인하여 https://console.aws.amazon.com/glue/에서 AWS Glue 콘솔을 엽니다.

  2. Jobs(작업) 탭을 선택한 다음 Add job(작업 추가하기)를 선택하여 Add job(작업 추가하기) 마법사를 시작합니다.

  3. Job properties(작업 속성) 화면에서 실행할 사용자 지정 스크립트에 필요한 IAM role(IAM 역할)을 선택합니다. 자세한 정보는 AWS Glue의 ID 및 액세스 관리을 참조하십시오.

  4. This job runs(이 작업이 실행됩니다) 아래에서 다음 중 하나를 선택합니다.

    • 사용자가 제공하는 기존 스크립트

    • 사용자가 작성할 새 스크립트

  5. 스크립트가 참조하는 모든 연결을 선택합니다. 이런 객체는 필요한 JDBC 데이터 스토어로 연결이 필요합니다.

    탄력적 네트워크 인터페이스는 Virtual Private Cloud(VPC)에서 인스턴스에 장착할 수 있는 가상 네트워크 인터페이스입니다. 스크립트에 사용된 데이터 스토어로 연결할 때 필요한 탄력적 네트워크 인터페이스를 선택합니다.

  6. 스크립트가 추가 라이브러리 혹은 파일은 요구하면 다음과 같이 지정합니다.

    Python 라이브러리 경로

    스크립트에 필요한 Python 라이브러리로 이동하는, 쉼표로 구분된 Amazon Simple Storage Service(Amazon S3) 경로입니다.

    참고

    순수 Python 라이브러리만 사용할 수 있습니다. pandas Python 데이터 분석 라이브러리 등 C 확장을 활용하는 라이브러리는 아직 지원되지 않습니다.

    종속된 jars 경로

    스크립트에 필요한 JAR 파일로 이동하는, 쉼표로 구분된 Amazon S3 경로입니다.

    참고

    현재 순수 Java 또는 Scala(2.11) 라이브러리만 사용할 수 있습니다.

    참조된 파일 경로

    스크립트에 필요한 추가 파일(예: 구성 파일)로 이동하는, 쉼표로 구분된 Amazon S3 경로입니다.

  7. 필요하다면 작업에 일정을 추가할 수 있습니다. 일정을 변경하려면, 기존 일정을 삭제한 다음 새로운 일정을 추가해야 합니다.

AWS Glue의 작업 추가에 대한 자세한 내용은 AWS Glue에 작업 추가 단원을 참조하십시오.

단계별 지침은 AWS Glue 콘솔의 [작업 추가(Add job)] 튜토리얼을 참조하세요.