Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Activer le validateur EMRFS S3 pour Amazon EMR 5.19.0
Si vous utilisez Amazon EMR 5.19.0, vous pouvez définir la propriété spark.sql.parquet.fs.optimized.committer.optimization-enabled sur true lorsque vous créez un cluster, ou depuis Spark si vous utilisez Amazon EMR.
Activation d'un valideur EMRFS optimisé pour S3 lors de la création d'un cluster
Utilisez la classification de configuration spark-defaults pour définir la propriété spark.sql.parquet.fs.optimized.committer.optimization-enabled sur true. Pour de plus amples informations, veuillez consulter Configuration des applications.
Activation d'un valideur EMRFS optimisé pour S3 depuis Spark
Vous pouvez définir spark.sql.parquet.fs.optimized.committer.optimization-enabled sur true en l'ancrant dans un SparkConf, en le passant comme paramètre --conf dans le shell Spark ou les outils spark-submit et spark-sql, ou dans conf/spark-defaults.conf. Pour plus d'informations, consultez Configuration Spark
L'exemple suivant montre comment activer le valideur en exécutant une commande spark-sql.
spark-sql \
--conf spark.sql.parquet.fs.optimized.committer.optimization-enabled=true \
-e "INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;"