아마존 EMR 7.2.0 - 하둡 릴리스 노트

아마존 EMR 7.2.0 - 하둡 변경

유형	설명
새 기능	HADOOP-18850: S3A: 키를 사용한 이중 레이어 서버 측 암호화 활성화 AWS KMS
새 기능	S3 Glacier 읽기, 복원된 객체 지원
개선 사항	Spark Jobs를 실행할 때 코어를 기반으로 S3A 최대 연결 수를 동적으로 조정합니다.
개선 사항	HADOOP-18797: S3A 매직 커미터를 통한 동시 쓰기 지원
개선 사항	HADOOP-19047: S3A 매직 InMemory 커밋 추적 지원
개선 사항	Magicv2 커미터에 “내보내기”, “게시” & "AbortPublish” 메서드 추가
개선 사항	S3A에서 구현 ReadFullyIntoBuffers FileSystem API
버그 수정	HADOOP-18793: StagingCommitter S3A는 스테이징 업로드 디렉터리를 정리하지 않습니다.
업그레이드	HADOOP-19008: S3A: AWS-sdk 버전을 2.21.41로 업데이트
업그레이드	HADOOP-18613: 버전 3.8.3으로 ZooKeeper 업그레이드

아마존 EMR 7.2.0 - 하둡 기능

Amazon EMR 7.2.0의 새로운 하둡 기능에 대해서는 다음 목록을 참조하십시오.

• 복원된 객체 읽기를 위한 S3 glacier 지원 - Amazon EMR 릴리스 7.2.0 이상에서는 프로토콜을 사용하여 테이블의 S3 위치에서 복원된 Glacier 객체를 읽을 수 있습니다. S3A 이 읽기 작업은 보관된 Glacier 파일이 아직 복원 진행 중인 경우 해당 파일을 무시합니다.

• S3A 매직 커미터를 통한 동시 쓰기 지원 — EMR Amazon 7.2.0에서는 S3A 매직 커미터를 통한 동시 쓰기에 대한 지원을 도입했습니다. 이 기능은 -18797의 일부로 하둡 커뮤니티에 추가되었습니다. OSS HADOOP