Amazon EMR 7.6.0 - 하둡 릴리스 정보

Amazon EMR 7.6.0 - 하둡 변경 사항

유형	설명
새로운 기능	S3A 자격 증명 벤딩 프레임워크
새로운 기능	Hive에 대한 S3A 매직 커미터 지원
백포트	HADOOP-19309: S3A: 소스 파일에 파일 체계가 포함되지 않은 경우 CopyFromLocalFile 작업이 실패합니다.
백포트	HADOOP-19050 S3A:S3 액세스 권한 부여 지원
백포트	HADOOP-18708 S3A: S3 클라이언트 측 암호화(CSE) 지원

Amazon EMR 7.6.0 - 하둡 기능

• yarn.scheduler.increment-allocation-mb 및에 대한 기본 구성 설정이 32에서 1로 수정yarn.scheduler.minimum-allocation-mb되어 YARN에서 컨테이너 리소스 정규화가 효과적으로 비활성화됩니다.

• 요청 수준 자격 증명 벤딩을 지원하도록 하둡의 S3A 파일 시스템이 개선되었습니다. 이 기능을 사용하면 모든 Amazon S3 요청은를 활용합니다AwsCredentialsProvider. 이렇게 하면 각 요청에 대한 자격 증명을 동적으로 제공하여 유연성과 보안이 향상됩니다.

• 하둡의 S3A 파일 시스템은 S3 클라이언트 측 암호화를 지원합니다.