Amazon EMR 7.2.0 - Hadoop 릴리스 정보

Amazon EMR 7.2.0 - Hadoop 변경 사항

유형	설명
새 기능	HADOOP-18850: S3A: AWS KMS 키를 사용하는 이중 계층 서버 측 암호화 활성화
새 기능	S3 Glacier 복원된 객체 읽기 지원
개선	Spark 작업 실행 시 코어를 기반으로 S3A 최대 연결 동적 조정
개선	HADOOP-18797: S3A Magic Committer를 사용한 동시 쓰기 지원
개선	HADOOP-19047: S3A Magic Commits의 InMemory 추적 지원
개선	MagicV2 Committer에 'Export', 'Publish' 및 AbortPublish' 메서드 추가
개선	S3A에서 ReadFullyIntoBuffers FileSystem API 구현
버그 수정	HADOOP-18793: S3A StagingCommitter가 staging-uploads 디렉터리를 정리하지 않음
업그레이드	HADOOP-19008: S3A: aws-sdk 버전을 2.21.41로 업데이트
업그레이드	HADOOP-18613: ZooKeeper를 버전 3.8.3으로 업그레이드

Amazon EMR 7.2.0 - Hadoop 기능

Amazon EMR 7.2.0의 새로운 Hadoop 기능은 다음 목록을 참조하세요.

• 복원된 객체를 읽기 위한 S3 glacier 지원 - Amazon EMR 릴리스 7.2.0 이상에서는 S3A 프로토콜을 사용하여 테이블의 S3 위치에서 복원된 Glacier 객체를 읽을 수 있습니다. 이 읽기 작업은 아카이브된 Glacier 파일이 여전히 복원 중인 경우 해당 파일을 무시합니다.

• S3A Magic Committer를 사용한 동시 쓰기 지원 - Amazon EMR 7.2.0에서는 S3A Magic Committer를 사용한 동시 쓰기 지원을 도입합니다. 이 기능은 HADOOP-18797의 일부로 OSS Hadoop 커뮤니티에 추가되었습니다.