Utilice el compilador EMRFS optimizado para S3 - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Utilice el compilador EMRFS optimizado para S3

El EMRFS confirmador optimizado para S3 es una OutputCommitterimplementación alternativa que está optimizada para escribir archivos en Amazon S3 cuando se usa. EMRFS El confirmador EMRFS optimizado para S3 mejora el rendimiento de las aplicaciones al evitar las operaciones de enumeración y cambio de nombre realizadas en Amazon S3 durante las fases de confirmación de tareas y tareas. El confirmador está disponible en la EMR versión 5.19.0 y posteriores de Amazon, y está activado de forma predeterminada en Amazon EMR 5.20.0 y versiones posteriores. El confirmador se usa para los trabajos de Spark que usan Spark o Datasets. SQL DataFrames A partir de Amazon EMR 6.4.0, este archivador se puede utilizar para todos los formatos habituales, incluidos los de parquetORC, y los basados en texto (incluidos y). CSV JSON Para las versiones anteriores a Amazon EMR 6.4.0, solo se admite el formato Parquet. Existen circunstancias bajo las cuales no se utiliza el confirmador. Para obtener más información, consulte Requisitos para el comité optimizado para EMRFS S3.

Temas