Amazon EMR 7.5.0 - 하둡 릴리스 정보

Amazon EMR 7.5.0 - 하둡 변경 사항

유형	설명
버그 수정	fs.file.impl을 빈 값으로 주석 처리했습니다.
백포트	HADOOP-19286: S3 리전/엔드포인트가 설정된 경우 S3A 리전 간 액세스 지원 S3
개선	EMR-EC2의 S3A 커넥터에 대한 자동 S3 리전 구성 설정
개선	S3A에서 HeadObject 호출 수 줄이기

Amazon EMR 7.5 릴리스에서 Spark의 S3A 커넥터는 3TB TPC-DS parquet 데이터 세트를 사용한 벤치마크에서 알 수 있듯이 EMRFS와 유사한 읽기 성능을 보여줍니다.

Amazon EMR 7.5.0 - 하둡 기능

• S3 리전 구성fs.s3a.endpoint.region은 EMR-EC2 배포용 S3A 커넥터를 사용하여 EMR 클러스터가 시작되는 리전으로 자동 설정됩니다. EMR-EC2

• Amazon S3 교차 버킷 리전 액세스는 S3A 커넥터에 대해 기본적으로 활성화됩니다. 를 설정하여 수정할 수 있습니다fs.s3a.cross.region.access.enabled=true or false.