EMRFSS3에 최적화된 커미터를 사용하십시오. - 아마존 EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

EMRFSS3에 최적화된 커미터를 사용하십시오.

EMRFSS3에 최적화된 커미터는 사용 시 Amazon S3에 파일을 쓰는 데 최적화된 대체 OutputCommitter구현입니다. EMRFS EMRFSS3에 최적화된 커미터는 작업 및 작업 커밋 단계에서 Amazon S3에서 수행한 목록 작성 및 이름 변경 작업을 피함으로써 애플리케이션 성능을 개선합니다. 커미터는 Amazon EMR 릴리스 5.19.0 이상에서 사용할 수 있으며 Amazon EMR 5.20.0 이상에서는 기본적으로 활성화됩니다. 커미터는 Spark, 즉 데이터세트를 사용하는 Spark 작업에 사용됩니다. SQL DataFrames Amazon EMR 6.4.0부터 이 커미터는 파켓 형식 및 텍스트 기반 형식 (및 포함) 을 비롯한 모든 일반적인 형식에 사용할 수 있습니다. ORC CSV JSON Amazon EMR 6.4.0 이전 릴리스의 경우 Parquet 형식만 지원됩니다. 커미터가 사용되지 않는 상황이 있습니다. 자세한 내용은 S3에 최적화된 EMRFS 커미터에 대한 요구 사항 단원을 참조하십시오.

주제