改进 Hive 性能 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

改进 Hive 性能

当使用 Hive 查询、读取和写入保存在亚马EMR逊 S3 中的数据时,亚马逊提供的功能可帮助优化性能。

S3 Select 可以通过将处理 “下推” 到 Amazon S3 来提高某些应用程序中CSV和JSON文件的查询性能。

EMRFSS3 优化的提交器是该OutputCommitter类的替代方案,它消除了列出和重命名操作,从而提高了 Amazon S3 使用EMRFS写入文件时的性能。