Amazon S3 で Spark のパフォーマンスを向上させる - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon S3 で Spark のパフォーマンスを向上させる

Amazon EMR には、Spark を使用して Amazon S3 に保存されたデータのクエリ、読み取り、および書き込みを行うときのパフォーマンスを最適化するのに役立つ機能が用意されています。

S3 Select では、Amazon S3 に処理を「プッシュダウン」することで一部のアプリケーションの CSV および JSON ファイルのクエリパフォーマンスを向上させることができます。

EMRFS S3 向けに最適化されたコミッターは、EMRFS のマルチパートアップロード機能を使用して、Spark SQL、および Datasets で Amazon S3 に Parquet ファイルを書き込むときのパフォーマンスを向上させます。OutputCommitter DataFrames

トピック