Amazon EMR 7.7.0 - 하둡 릴리스 정보

Amazon EMR 7.7.0 - 하둡 변경 사항

Type	설명
새로운 기능	S3 접두사 목록을 사용하여 S3A GlobStatus 호출 최적화
백포트	YARN-7327: 용량 스케줄러에 대해 기본적으로 비동기 예약을 활성화합니다.
백포트	YARN-10058: 스케줄러 중단 방지를 위해 비동기 예약 스레드에 대해 알 수 없는 예외 처리
백포트	YARN-11732: CapacityScheduler에 대해 SchedulerNode#reservedContainer를 호출할 때 잠재적 NPE를 수정했습니다.
백포트	YARN-11560: 일정으로 다중 노드가 비동기적으로 활성화된 경우 NPE 버그를 수정했습니다.
백포트	YARN-11191: GlobalScheduler refreshQueues의 강력한 교착 상태를 수정했습니다.
백포트	YARN-11041: queuePath의 모든 발생을 새 QueuePath 클래스로 대체했습니다.
백포트	YARN-11660: SingleConstraintAppPlacementAllocator의 성능을 회귀 수정했습니다.
백포트	HADOOP-19116: CVE-2024-23944로 인해 zookeeper 클라이언트 3.8.4로 업데이트했습니다.
백포트	HADOOP-19115: CVE-2023-52428로 인해 nimbus-jose-jwt 9.37.2로 업그레이드합니다.
백포트	HADOOP-19024: bouncycastle jdk18 1.77 사용
백포트	HADOOP-19123: CVE로 인해 commons-configuration2 2.10.1로 업데이트했습니다.
백포트	HADOOP-19114: CVE로 인해 commons-compress 1.26.1로 업그레이드
백포트	HADOOP-19237: CVE로 인해 dnsjava 3.6.1로 업그레이드
새로운 기능	S3A에 S3 요청 감사를 추가했습니다.
백포트	HADOOP-17609: OpenSSL 네이티브 코드에 대해 SM4 지원을 선택 사항으로 설정했습니다.
백포트	HADOOP-18583: hadoop 체크네이티브가 openssl 3.x를 로드할 수 없습니다.
새로운 기능	S3A 역할 매핑에 대한 지원 추가

Amazon EMR 7.7.0 - 하둡 기능

• 비동기식 컨테이너 예약은 용량 스케줄러의 기본 예약 전략으로, 컨테이너 할당 속도를 최적화하도록 설계되었습니다.

• S3A 파일 시스템은 S3 접두사 목록을 사용하여 목록 작업을 가속화하는 glob 상태 호출에 대한 최적화를 도입합니다. 기본적으로 이 기능은 비활성화되어 있으며 core-site.xml 파일에서 fs.s3a.prefix.listing.in.glob.status.enabled=true를 구성하여 활성화할 수 있습니다. 이 최적화를 활성화하면 fs.globstatus("s3://bucket/a*")과 같은 globstatus 호출에 대한 서버 측 필터링이 가능하므로 "a"로 시작하는 객체만 나열하여 목록 성능이 향상됩니다.

• 활성화된 경우 S3 요청 감사를 S3A에 추가fileSystemOwner 객체의 정보를 사용하여 userAgent 문자열을 S3 요청을 수행하는 사용자 및 사용자 그룹 필드로 채웁니다.

• S3A는 사용자, 그룹 또는 S3 접두사를 기반으로 사용할 IAM 역할을 결정하는 데 도움이 되는 역할 매핑에 대한 지원을 추가합니다.