Amazon EMR 7.4.0 - 하둡 릴리스 정보

Amazon EMR 7.4.0 - 하둡 변경 사항

유형	설명
업그레이드	하둡 버전이 3.4.0으로 업그레이드되었습니다. OSS 릴리스 정보를 참조하세요.
버그 수정	FairScheduler에 대한 음의 보류 중 및 할당된 Yarn 지표 수정
버그 수정	YARN-11702: 컨테이너 할당에 대한 Yarn 수정
버그 수정	노드 축소 시 레이스 조건 처리 개선
개선	HADOOP-18679: 파일의 대량/페이지 삭제를 위한 API 추가
개선	HADOOP-19203: IOEs를 UncheckedIOExceptions로 생성하는 WrappedIO BulkDelete API
개선	HADOOP-19205: S3A: v1 SDK보다 초기화/닫기가 느림
개선	HADOOP-19161: S3A: 성능 플래그 목록을 가져오기 위한 fs.s3a.performance.flags 옵션
개선	HADOOP-19072: S3A: fs.s3a.performance.flags for mkdir를 사용하여 스토어에 대한 최적화 확장

Amazon EMR 7.4.0 - 하둡 기능

Amazon EMR 7.4.0의 새로운 하둡 기능은 다음 목록을 참조하세요.

• 기본 구성 값은 최적의 성능을 위해 미세 조정되었습니다.

  • mapreduce.input.fileinputformat.list-status.num-threads=10 – 1에서 증가했습니다.

  • fs.s3a.block.size=64M – 32M에서 증가했습니다.

  • fs.s3a.multipart.size=128M – 64M에서 증가했습니다.

• S3A 파일 시스템을 사용하여 MapReduce 작업을 가속화하기 위한 성능 향상 최적화를 Out-of-the-box 사용할 수 있습니다.