AWS Glue의 개발에 대한 네트워킹 설정 - AWS Glue
개발 엔드포인트에 대한 네트워크 설정노트북 서버용 Amazon EC2 설정

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AWS Glue의 개발에 대한 네트워킹 설정

AWS Glue로 추출, 변환, 로드(ETL) 스크립트를 실행하기 위해서 개발 엔드포인트를 사용하여 스크립트를 개발하고 테스트할 수 있습니다. 개발 엔드포인트는 AWS Glue 버전 2.0 작업과 함께 사용하도록 지원되지 않습니다. 버전 2.0 이상의 경우 선호하는 개발 방법은 AWS Glue 커널 중 하나에서 Jupyter Notebook을 사용하는 것입니다. 자세한 내용은 AWS Glue 대화형 세션 시작하기 섹션을 참조하세요.

개발 엔드포인트에 대한 네트워크 설정

개발 엔드포인트를 설정할 때 Virtual Private Cloud(VPC), 서브넷 및 보안 그룹을 지정합니다.

참고

AWS Glue DNS 환경을 설정하도록 합니다. 자세한 내용은 VPC에서 DNS 설정 섹션을 참조하세요.

AWS Glue를 가능하게 하여 필요한 리소스에 액세스하기 위해서는 행을 서브넷 라우팅 테이블에 추가하여 Amazon S3 접두사 목록과 VPC 엔드포인트를 연결합니다. 접두사 목록 ID는 VPC 트래픽을 허용하여 VPC 엔드포인트를 통해 AWS 서비스로 액세스할 수 있는 아웃바운드 보안 그룹을 생성하는 데 필요합니다. 로컬 시스템에서 이 개발 엔드포인트와 연결된 노트북 서버를 쉽게 연결하려면 행을 라우팅 테이블에 추가하여 인터넷 게이트웨이 ID를 추가합니다. 자세한 내용은 VPC 엔드포인트를 참조하세요. 서브넷 라우팅 테이블을 업데이트하여 다음 테이블과 비슷하게 만듭니다.

대상 주소 대상

10.0.0.0/16

로컬

Amazon S3용 pl-id

vpce-id

0.0.0.0/0

igw-xxxx

AWS Glue가 구성 요소 간에 통신하려면 보안 그룹이 모든 TCP 포트에 자기 참조 인바운드 규칙을 지정해야 합니다. 자기 참조 규칙을 생성하여 VPC에서 동일한 보안 그룹으로 소스를 제한하고 모든 네트워크로 공개되지 않도록 합니다. VPC의 기본 보안 그룹은 ALL Traffic의 자기 참조 인바운드 액세스 규칙이 있습니다.

보안 그룹을 설정하려면

  1. AWS Management Console에 로그인하고 https://console.aws.amazon.com/ec2/에서 Amazon EC2 콘솔을 엽니다.

  2. 왼쪽 탐색 창에서 [Security Groups]를 선택합니다.

  3. 목록에서 기존 보안 그룹을 선택하거나 [Create Security Group]를 선택하여 개발 엔드포인트와 함께 사용합니다.

  4. 보안 그룹 화면에서 [Inbound] 탭으로 이동합니다.

  5. 자기 참조 규칙을 추가하여 AWS Glue 구성 요소를 허용하여 통신합니다. 특히, [Type(유형)] All TCP 의 규칙을 추가하고 확인합니다. [Protocol(프로토콜)]는 TCP이고 [Port Range(포트 범위)]는 모든 포트를 포함하고 포트의 [Source(원본)]은 [Group ID(그룹 ID)]이라는 동일한 보안 그룹입니다.

    인바운드 규칙은 다음과 비슷하게 보입니다.

    유형 프로토콜 포트 범위 소스

    모든 TCP

    TCP

    0~65535

    security-group

    다음은 자기 참조 인바운드 규칙 예제입니다.

    자기 참조 인바운드 규칙 예제 이미지

  6. 아웃바운드 트래픽 규칙도 추가합니다. 아웃바운드 트래픽을 모든 포트로 열거나 자기 [Type(유형)] All TCP 의 자기 참조 규칙을 생성합니다. [Protocol(프로토콜)]는 TCP이고 [Port Range(포트 범위)]는 모든 포트를 포함하고 포트의 [Source(원본)]은 [Group ID(그룹 ID)]이라는 동일한 보안 그룹입니다.

    아웃바운드 규칙은 다음 규칙 중 하나와 비슷합니다.

    유형 프로토콜 포트 범위 대상 주소

    모든 TCP

    TCP

    0~65535

    security-group

    모든 트래픽

    모두

    모두

    0.0.0.0/0

노트북 서버용 Amazon EC2 설정

개발 엔드포인트를 통해 노트북 서버를 생성하여 Jupyter 노트북에서 ETL 스크립트를 테스트합니다. 노트북 통신을 가능하게 하려면 HTTPS(port 443)와 SSH(port 22)의 인바운드 규칙으로 보안 그룹을 지정합니다. 규칙의 소스가 0.0.0.0/0 또는 노트북에 연결하는 시스템의 IP 주소인지 확인합니다.

보안 그룹을 설정하려면

  1. AWS Management Console에 로그인하고 https://console.aws.amazon.com/ec2/에서 Amazon EC2 콘솔을 엽니다.

  2. 왼쪽 탐색 창에서 [Security Groups]를 선택합니다.

  3. 목록에서 기존 보안 그룹을 선택하거나 [Create Security Group]를 선택하여 노트북 서버와 함께 사용합니다. 개발 엔드포인트와 연결된 보안 그룹은 노트북 서버를 생성하는 데도 사용할 수 있습니다.

  4. 보안 그룹 화면에서 [Inbound] 탭으로 이동합니다.

  5. 이와 비슷한 인바운드 규칙을 추가합니다.

    유형 프로토콜 포트 범위 소스

    SSH

    TCP

    22

    0.0.0.0/0

    HTTPS

    TCP

    443

    0.0.0.0/0

    다음은 보안 그룹에 대한 인바운드 규칙 예제를 소개합니다.

    보안 그룹에 대한 인바운드 규칙 예제 이미지