Utiliser le protocole de validation optimisé pour EMRFS S3

PDFRSS

Le protocole de validation optimisé pour EMRFS S3 est une FileCommitProtocolimplémentation alternative optimisée pour écrire des fichiers avec remplacement dynamique de partition Spark sur Amazon S3 lors de l'utilisation d'EMRFS. Le protocole améliore les performances des applications en évitant les opérations de renommage dans Amazon S3 pendant la phase de validation de la tâche de remplacement de partition dynamique Spark.

Notez que Utilisation d'un valideur EMRFS optimisé pour S3 améliore également les performances en évitant les opérations de renommage. Cependant, cela ne fonctionne pas pour les cas de remplacement de partition dynamique, tandis que les améliorations du protocole de validation ne ciblent que les cas de remplacement de partition dynamique.

Le protocole de validation est disponible avec les versions 5.30.0 et suivantes d'Amazon EMR et 6.2.0 et suivantes, et il est activé par défaut. Amazon EMR a ajouté une amélioration du parallélisme à partir de la version 5.31.0. Le protocole est utilisé pour les tâches Spark qui utilisent Spark ou Datasets. DataFrames Dans certaines circonstances, le protocole de validation n'est pas utilisé. Pour de plus amples informations, veuillez consulter Conditions requises pour le protocole de validation EMRFS optimisé pour S3.

Rubriques

• Conditions requises pour le protocole de validation EMRFS optimisé pour S3

• Le protocole de validation EMRFS optimisé pour S3 et les chargements partitionnés

• Considérations de réglage de tâche