Amazon Athena 사용 - Amazon Athena

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Athena 사용

Amazon S3 가 아닌 원본에 데이터가 있는 경우 Athena 연동 쿼리를 사용하여 제자리에 데이터를 쿼리하거나 여러 데이터 원본에서 데이터를 추출하여 Amazon S3에 저장하는 파이프라인을 구축할 수 있습니다. Athena 연동 쿼리를 사용하면 관계형, 비관계형, 객체 및 사용자 지정 데이터 원본에 저장된 데이터에 대해 SQL 쿼리를 실행할 수 있습니다.

Athena 사용데이터 원본 커넥터AWS Lambda 에서 실행되어 연동 쿼리를 실행합니다. 데이터 원본 커넥터는 대상 데이터 원본과 Athena 간에 변환할 수 있는 코드입니다. 커넥터를 Athena 쿼리 엔진의 확장으로 생각할 수 있습니다. 사전 구축된 Athena 데이터 원본 커넥터는 Apache 2.0 라이선스에 따라 Amazon CloudWatch Logs, Amazon DynamoDB, Amazon RDS와 같은 데이터 원본에 대해 존재합니다. Athena 쿼리 연동 SDK를 사용하여 사용자 지정 커넥터를 작성할 수도 있습니다. 데이터 원본 커넥터를 선택 및 구성하여 계정에 배포하려면 Athena 및 Lambda 콘솔 또는 AWS Serverless Application Repository 사용할 수 있습니다. 데이터 원본 커넥터를 배포한 후 커넥터는 SQL 쿼리에서 지정할 수 있는 카탈로그와 연결됩니다. 여러 카탈로그의 SQL 문을 결합하고 단일 쿼리로 여러 데이터 원본에 적용할 수 있습니다.

쿼리가 데이터 원본에 대해 제출되면 Athena 는 해당 커넥터를 호출하여 읽어야 하는 테이블의 일부를 식별하고, 병렬화를 관리하며, 필터 조건자를 푸시다운합니다. 쿼리를 제출하는 사용자를 기반으로 커넥터는 특정 데이터 요소에 대한 액세스를 제공하거나 제한할 수 있습니다. 커넥터는 쿼리에서 요청한 데이터를 반환하기 위한 형식으로 Apache Arrow를 사용합니다. 이렇게 하면 커넥터가 C, C++, Java, Python, Rust 같은 언어로 구현될 수 있습니다. 커넥터는 Lambda 에서 처리되므로 Lambda에서 액세스할 수 있는 클라우드 또는 온프레미스의 모든 데이터 원본에서 데이터에 액세스하는 데 사용할 수 있습니다.

사용자 고유의 데이터 원본 커넥터를 작성하려면 Athena 쿼리 연동 SDK를 사용하여 Amazon Athena 제공 및 유지 관리하는 사전 구축된 커넥터 중 하나를 사용자 지정할 수 있습니다. 소스 코드의 복사본을 수정할 수 있습니다.GitHub 리포지토리사용 하 고커넥터 게시 도구를 사용하여 자체 AWS Serverless Application Repository 패키지를 생성할 수 있습니다.

참고

타사 개발자는 Athena 쿼리 페더레이션 SDK를 사용하여 데이터 원본 커넥터를 작성했을 수 있습니다. 이러한 데이터 원본 커넥터에 대한 지원 또는 라이선스 문제는 커넥터 공급업체에 문의하십시오. 이러한 커넥터는 AWS 에서 테스트하거나 지원하지 않습니다.

Athena 에서 작성하고 테스트한 데이터 원본 커넥터 목록은 단원을 참조하십시오.Athena 사용를 선택합니다.

사용자 고유의 데이터 원본 커넥터 작성에 대한 자세한 내용은 GitHub의 Athena 커넥터 예제를 참조하십시오.

고려 사항 및 제한

  • 엔진 버전— Athena 페더레이션 쿼리는 Athena 엔진 버전에서만 지원됩니다 2. Athena 엔진 버전에 대한 자세한 내용은 단원을 참조하십시오.Athena 엔진 버전를 선택합니다. Athena 엔진 버전 2를 지원하는 AWS 리전 목록은 단원을 참조하십시오.Athena 엔진 버전를 선택합니다.

  • 보기— 페더레이션된 데이터 원본에는 뷰를 사용할 수 없습니다.

  • 요금— 요금 정보는Amazon Athena 요금를 선택합니다.

    JDBC 드라이버— JDBC 드라이버를 페더레이션된 쿼리와 함께 사용하거나외부 하이브 메타스토어포함MetadataRetrievalMethod=ProxyAPIJDBC 연결 문자열에 를 추가합니다. JDBC 드라이버에 대한 자세한 내용은Athena 를 JDBC 드라이버와 함께 사용를 선택합니다.

  • 보안 관리자— AWS 비밀 관리자에서 Athena 페더레이션 쿼리 기능을 사용하려면 비밀 관리자용 Amazon VPC 프라이빗 엔드포인트를 구성해야 합니다. 자세한 내용은 단원을 참조하십시오.Secrets Manager VPC 프라이빗 엔드포인트 생성AWS Secrets Manager 사용 설명서를 선택합니다.

데이터 원본 커넥터가 올바르게 작동하려면 다음 리소스에 액세스해야 할 수 있습니다. 사전 구축된 커넥터를 사용하는 경우 커넥터의 정보를 확인하여 VPC를 올바르게 구성했는지 확인합니다. 또한 쿼리를 실행하고 커넥터를 만드는 IAM 보안 주체에게 필요한 작업에 대한 권한이 있는지 확인합니다. 자세한 내용은 Athena 와 연동 쿼리를 허용할 IAM 권한 정책의 예제 단원을 참조하세요.

  • Amazon S3— 쿼리 결과를 Amazon S3의 Athena 쿼리 결과 위치에 작성하는 것 외에도 데이터 커넥터는 Amazon S3 S3의 유출 버킷에 작성합니다. Amazon S3 위치에 대한 연결 및 권한이 필요합니다.

  • Athena- 쿼리 상태를 확인하고 오버스캔을 방지하기 위해 데이터 원본에 연결해야 합니다.

  • AWS Glue u 데이터 카탈로그- 커넥터가 보충 또는 기본 메타데이터에 데이터 카탈로그를 사용하는 경우 연결 및 권한이 필요합니다.

알려진 문제 및 제한 사항에 대한 최신 정보는 aws-athena-query-federation GitHub 리포지토리의 제한 사항 및 문제를 참조하십시오.

Videos

Athena 사용

비디오: Amazon Athena QuickSight에서 페더레이션된 쿼리 결과 분석

다음 비디오에서는 Amazon QuickSight 에서 Athena 연동 쿼리 결과를 분석하는 방법을 보여 줍니다.

비디오: 게임 분석 파이프라인

다음 동영상은 Amazon Athena 페더레이션 쿼리를 사용하여 게임 및 서비스의 원격 분석 데이터를 수집, 저장 및 분석하기 위해 확장 가능한 서버를 사용하지 않는 데이터 파이프라인을 배포하는 방법을 보여줍니다.