Hive 성능 개선

Amazon은 Hive를 사용하여 Amazon S3에 저장된 데이터를 쿼리, 읽기 및 쓸 때 성능을 최적화하는 데 도움이 되는 기능을 EMR 제공합니다.

S3 Select는 처리를 Amazon S3로 “푸시 다운”하여 일부 애플리케이션의 CSV 및 JSON 파일에 대한 쿼리 성능을 개선할 수 있습니다.

EMRFSS3 최적화 커미터는 OutputCommitter클래스의 대안으로, Amazon S3에서 사용하는 파일을 작성할 때 나열 및 이름 변경 작업을 제거하여 성능을 개선합니다. EMRFS

주제

• Hive EMRFS S3 최적화 커미터 활성화
• S3 Select와 함께 Hive를 사용하여 성능 향상
• MSCK최적화