자습서: AWS Glue Connector for Elasticsearch 사용

Elasticsearch는 로그 분석, 실시간 애플리케이션 모니터링, 클릭 스트림 분석 같은 사용 사례를 위한 인기 오픈 소스 검색 및 분석 엔진입니다. AWS Glue Studio에서 AWS Glue Connector for Elasticsearch를 구성하여 OpenSearch를 추출, 변환 및 로드(ETL) 작업의 데이터 저장소로 사용할 수 있습니다. 이 커넥터는 AWS Marketplace에서 무료로 사용할 수 있습니다.

참고

AWS Marketplace Elasticsearch Spark 커넥터는 더 이상 사용되지 않습니다. 대신 AWS Glue Connector for Elasticsearch를 사용하세요.

이 자습서에서는 최소한의 단계로 Amazon OpenSearch Service 노드에 연결하는 방법을 보여줍니다.

주제

• 사전 조건
• 1단계: (선택 사항) OpenSearch 클러스터 정보에 대한 AWS 보안 암호 생성
• 2단계: 커넥터 구독
• 3단계: AWS Glue Studio에서 커넥터 활성화 및 연결 생성
• 4단계: ETL 작업에 대한 IAM 역할 구성
• 5단계: OpenSearch 연결을 사용하는 작업 생성
• 6단계: 작업 실행

사전 조건

이 튜토리얼을 사용하려면 다음이 필요합니다.

• AWS Glue Studio에 액세스

• AWS 클라우드의 OpenSearch 클러스터에 대한 액세스 권한

• ETL 작업에 사용할 VPC 구성에 설명된 대로 데이터 스토어가 포함된 Amazon VPC에 대한 구성된 액세스 권한.

• ETL 작업에 필요한 IAM 권한 검토에 따라 구성된 권한

• (선택 사항) AWS Secrets Manager에 대한 액세스 권한.