개발 엔드포인트 - AWS Glue

개발 엔드포인트

개발 엔드포인트는 AWS Glue 스크립트를 개발하고 테스트할 수 있는 환경입니다. AWS Glue를 사용하여 개발 엔드포인트를 생성, 편집 및 삭제할 수 있습니다. AWS Glue 콘솔의 [개발 엔드포인트(Dev Endpoints)] 탭에는 생성된 모든 개발 엔드포인트가 나열됩니다. 개발 엔드 포인트의 SSH 키를 추가하거나 삭제, 회전할 수 있습니다. 개발 엔드포인트를 사용하는 노트북을 만들 수도 있습니다.

구성 값을 제공하여 개발 환경을 제공합니다. 이러한 값은 네트워크를 설정하는 방법을 AWS Glue에 알립니다. 따라서 안전하게 개발 엔드포인트에 액세스할 수 있으며 엔드포인트가 데이터 스토어에 액세스할 수 있습니다. 그런 다음, 개발 엔드포인트에 연결하는 노트북을 생성할 수 있습니다. 노트북을 사용하여 ETL 스크립트를 작성하고 테스트할 수 있습니다.

AWS Glue ETL 작업을 실행하는 데 사용하는 IAM 역할과 비슷한 권한을 통해 AWS Identity and Access Management(IAM) 역할을 사용합니다. Virtual Private Cloud(VPC), 서브넷 및 보안 그룹을 사용하여 데이터 리소스에 안전하게 연결할 수 있는 개발 엔드포인트를 생성합니다. SSH를 사용하여 개발 엔드포인트에 연결할 SSH 키 페어를 생성합니다.

JDBC를 사용하여 데이터 집합에 액세스하는 데 사용할 수 있는 VPC 내에서 Amazon S3 데이터에 대한 개발 엔드포인트를 생성할 수 있습니다.

로컬 시스템에 Apache Zeppelin 노트북을 설치하고 노트북을 사용하여 개발 엔드포인트에서 ETL 스크립트를 디버깅하고 테스트할 수 있습니다. 또는 Amazon EC2 인스턴스에 Zeppelin 노트북을 호스팅할 수 있습니다. 노트북 서버는 PySpark 설명문을 실행하는 데 사용할 수 있는 웹 기반 환경입니다.

AWS Glue는 aws-glue-dev-endpoint를 통해 접두사가 지정되는 이름으로 Amazon EC2 인스턴스를 태깅합니다.

노트북 서버를 개발 엔드포인트에 설정하여 AWS Glue 확장을 통해 PySpark 설명문을 실행합니다. Zeppelin 노트북에 대한 자세한 내용은 Apache Zeppelin를 참조하십시오.