AWS Glue 연결 문제 해결

AWS Glue 크롤러 혹은 작업을 데이터 스토어에 연결하기 위해 연결 속성을 사용할 경우, 연결을 시도할 때 오류가 발생할 수 있습니다. 탄력적 네트워크 인터페이스를 지정 Virtual Private Cloud(VPC)와 서브넷에 생성할 경우 AWS Glue는 서브넷의 프라이빗 IP 주소를 사용합니다. 연결에 지정된 보안 그룹은 탄력적 네트워크 인터페이스 각각에 적용됩니다. 보안 그룹이 발신 연결을 허용하는지 데이터베이스 클러스터 연결을 허용하는지 확인합니다.

또한 Apache Spark는 드라이버 및 관리자 노드의 양방향 연결을 요구합니다. 보안 그룹 중 하나는 모든 TCP 포트에서 수신을 허용해야 합니다. 자기 참조 보안 그룹을 통해 보안 그룹의 소스를 자체 내에서 제한하여 외부로 공개되는 것을 예방합니다.

다음은 연결 문제를 해결하기 위해 취해야 할 일반적인 행동입니다.

• 연결의 포트 주소를 확인합니다.

• 연결 또는 보안 암호에서 사용자 이름과 암호 문자열을 확인합니다.

• JDBC 데이터 스토어의 경우, 수신 연결을 허용하는지 확인합니다.

• VPC 내에서 스토어가 연결되는지 확인합니다.

• AWS Secrets Manager를 사용하여 연결 자격 증명을 저장하는 경우 AWS Glue에 대한 IAM 역할에 보안 암호에 액세스할 수 있는 권한이 있는지 확인합니다. 자세한 내용을 알아보려면 AWS Secrets Manager 사용 설명서의 예: 보안 암호 값을 검색할 수 있는 권한을 참조하세요. 네트워크 설정에 따라 VPC와 Secrets Manager 간의 프라이빗 연결을 설정하기 위해 VPC 엔드포인트를 생성해야 할 수도 있습니다. 자세한 내용을 알아보려면 AWS Secrets Manager VPC 엔드포인트 사용을 참조하세요.