데이터에 연결

AWS Glue연결은 특정 데이터 저장소의 로그인 자격 증명, URI 문자열, 가상 사설 클라우드 (VPC) 정보 등을 저장하는 데이터 카탈로그 개체입니다. AWS Glue 크롤러, 작업 및 개발 엔드포인트는 연결을 사용하여 특정 유형의 데이터 저장소에 액세스합니다. 소스와 대상 모두에 연결을 사용하고 여러 크롤러 또는 추출, 변환 및 로드 () 작업에서 동일한 연결을 재사용할 수 있습니다. ETL

커넥터 및 연결 사용 개요

특정 데이터 스토어에 연결하는 데 필요한 속성을 포함하는 연결입니다. 연결을 생성하면 AWS Glue Data Catalog에 저장됩니다. 커넥터를 선택한 다음 해당 커넥터를 기반으로 연결을 생성합니다.

에서 AWS Marketplace기본적으로 지원되지 않는 데이터 저장소의 커넥터를 구독한 다음 연결을 만들 때 해당 커넥터를 사용할 수 있습니다. 개발자는 자체 커넥터를 생성하여 연결 생성 시 사용할 수 있습니다.

참고

사용자 지정 또는 AWS Marketplace 커넥터를 사용하여 만든 연결은 유형이 로 설정된 AWS Glue 상태로 콘솔에 AWS Glue Studio 표시됩니다. UNKNOWN

다음 단계는 AWS Glue Studio에서 커넥터를 사용하는 전체 프로세스에 대해 설명합니다.

1. 에서 AWS Marketplace커넥터를 구독하거나 자체 커넥터를 개발하여 업로드하십시오AWS Glue Studio. 자세한 내용은 AWS Glue Studio에 커넥터 추가 단원을 참조하십시오.

2. 커넥터 사용 정보를 검토합니다. 이 정보는 커넥터 제품 페이지의 [사용(Usage)] 탭에서 찾을 수 있습니다. 예를 들어 이 제품 페이지인 AWS GlueConnector for BigQuery Google에서 사용 탭을 클릭하면 추가 리소스 섹션에서 이 커넥터 사용에 대한 블로그 링크를 볼 수 있습니다. Cloudwatch Logs connector for AWS Glue(Cloudwatch Logs 커넥터)의 커넥터 제품 페이지에 표시된 것처럼 다른 커넥터에는 Overview(개요) 섹션의 지침에 대한 링크가 포함될 수 있습니다.

3. 연결을 생성합니다. 사용할 커넥터를 선택하고 로그인 자격 증명, URI 문자열, 가상 사설 클라우드 (VPC) 정보와 같은 연결에 대한 추가 정보를 제공합니다. 자세한 내용은 커넥터에 대한 연결 생성 단원을 참조하십시오.

4. 작업을 위한 IAM 역할을 생성하세요. 작업은 생성할 때 지정한 IAM 역할의 권한을 가집니다. 이 IAM 역할에는 데이터 저장소에 데이터를 인증하고, 데이터 저장소에서 데이터를 추출하고, 데이터를 쓰는 데 필요한 권한이 있어야 합니다.

5. ETL작업을 생성하고 작업에 대한 데이터 원본 속성을 구성하십시오. ETL 사용자 정의 커넥터 공급자의 지시에 따라 연결 옵션 및 인증 정보를 제공합니다. 자세한 내용은 사용자 정의 커넥터로 작업 작성 단원을 참조하십시오.

6. 에 설명된 대로 변환이나 추가 데이터 저장소를 추가하여 ETL 작업을 사용자 지정합니다. 에서 비주얼 ETL 작업 시작 AWS Glue Studio

7. 데이터 대상에 커넥터를 사용하는 경우 ETL 작업의 데이터 대상 속성을 구성하십시오. 사용자 정의 커넥터 공급자의 지시에 따라 연결 옵션 및 인증 정보를 제공합니다. 자세한 내용은 사용자 정의 커넥터로 작업 작성 단원을 참조하십시오.

8. 작업 속성 수정에 설명된 대로 작업 속성을 구성하여 작업 실행 환경을 사용자 지정합니다.

9. 작업을 실행합니다.