Amazon EMR 5.19.0 で EMRFS S3 向けに最適化されたコミッターを有効にする - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR 5.19.0 で EMRFS S3 向けに最適化されたコミッターを有効にする

Amazon EMR 5.19.0 を使用している場合は、手動でspark.sql.parquet.fs.optimized.committer.optimization-enabledプロパティにtrueAmazon EMR を使用している場合は、クラスターを作成するとき、または Spark 内から作成するとき。

クラスターの作成時に EMRFS S3 向けに最適化されたコミッターを有効にする

を使用するspark-defaultsを設定するための設定分類spark.sql.parquet.fs.optimized.committer.optimization-enabledプロパティにtrue。詳細については、「」を参照してくださいアプリケーションの設定

EMRFS S3 向けに最適化されたコミッターを Spark 内から有効にする

spark.sql.parquet.fs.optimized.committer.optimization-enabled は、SparkConf でハードコーディングするか、Spark シェルまたは spark-submit および spark-sql ツールで --conf パラメータとして渡すか、conf/spark-defaults.conf によって true に設定できます。詳細については、「」を参照してください。Spark の設定Apache Spark のドキュメントを参照してください。

次の例は、spark-sql コマンドの実行中にコミッターを有効にする方法を示しています。

spark-sql \ --conf spark.sql.parquet.fs.optimized.committer.optimization-enabled=true \ -e "INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;"