기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon 5.19.0용 EMRFS S3에 최적화된 커미터 활성화 EMR
Amazon EMR 5.19.0을 사용하는 경우 클러스터를 생성할 true 때 spark.sql.parquet.fs.optimized.committer.optimization-enabled 속성을 수동으로 설정하거나 Amazon을 사용하는 경우 Spark 내에서 속성을 수동으로 설정할 수 있습니다. EMR
클러스터를 생성할 때 EMRFS S3에 최적화된 커미터를 활성화합니다.
spark-defaults 구성 분류를 사용하여 spark.sql.parquet.fs.optimized.committer.optimization-enabled 속성을 true로 설정합니다. 자세한 내용은 애플리케이션 구성 단원을 참조하십시오.
Spark에서 EMRFS S3에 최적화된 커미터 활성화하기
SparkConf로 하드 코딩하여 spark.sql.parquet.fs.optimized.committer.optimization-enabled를 true로 설정하고 Spark 셸의 --conf 파라미터 또는 spark-submit 및 spark-sql 도구 또는 conf/spark-defaults.conf로 전달할 수 있습니다. 자세한 내용은 Apache Spark 설명서에서 Spark configuration
다음 예제에서는 spark-sql 명령을 실행하는 동안 커미터를 활성화하는 방법을 보여줍니다.
spark-sql \ --conf spark.sql.parquet.fs.optimized.committer.optimization-enabled=true \ -e "INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;"
