Amazon EMR 6.10.0 - Hive 릴리스 정보

Amazon EMR 6.10.0 - Hive 변경

유형	설명
Feature	IAM 패스스루(HiveCLI/Steps API)를 통해 Apache Hive 쿼리(쓰기)에 대한 AWS Lake Formation 기반 액세스 제어를 활성화합니다. HiveCLI
개선	로그 크기를 줄이려면 기본적으로 hive.log.explain.output 구성 비활성화
백포트	HIVE-26408: 벡터화: 스크래치 열의 할당 해제를 수정하고 하위 ConstantVectorExpression을 출력으로 재사용하지 않습니다.
백포트	HIVE-22269: HIVE-20703으로 인해 통계가 누락되어 동적 파티션을 포함하는 삽입 쿼리에서 잘못된 reducers 수 문제를 수정합니다.
백포트	HIVE-22891: LLAP 외 실행 모드에 대해 CombineHiveRecord에서 PartitionDesc 추출 건너뛰기
백포트	HIVE-23804: 이전 버전과의 호환성을 위해 Hive 메타스토어 스키마에 열 통계별 테이블에 대한 기본 데이터베이스 추가
백포트	HIVE-25277: 비용이 많이 드는 ListFile을 사용하는 클라우드 오브젝트 스토어에서 Hive 파티션 삭제 속도가 느림
백포트	HIVE-19202: HiveAggregate.isBucketedInput()dptj NullPointerException으로 인해 CBO 실패
백포트	HIVE-19048: beeline Initscript 오류(무시됨) 수정
백포트	HIVE-21085: 구체화된 뷰 레지스트리가 비외부 tez 세션 시작
백포트	HIVE-21675: 보기가 이미 있는 경우 CREATE VIEW IF NOT EXISTS에서 'OK'가 아닌 오류가 반환됩니다. 이는 Hive 2에서의 회귀입니다.
백포트	HIVE-21646: Tez: TezTasks가 스레드 로깅 컨텍스트를 이스케이프 처리하지 못하도록 방지
백포트	HIVE-22054: 디렉터리가 비어 있는지 확인하기 위한 재귀 나열 작업 방지
백포트	HIVE-16587: null 값이 중첩된 복합 유형을 삽입할 때 NPE
백포트	HIVE-22647: 기본적으로 세션 풀 활성화
백포트	HIVE-13288: DagUtils.localizeResource에서 혼란스러운 예외 메시지
백포트	HIVE-23870: WritableHiveCharObjectInspector.getPrimitiveJavaObject 및 HiveCharWritable에서 다중 텍스트 변환 최적화
백포트	HIVE-21498: Thrift를 0.13.0으로 업그레이드
백포트	HIVE-24378: 십진수 변환 전에 선행 및 후행 공백이 제거되지 않음
백포트	HIVE-21341: 합리적인 기본값: hive.server2.idle.operation.timeout 및 hive.server2.idle.session.timeout이 너무 높음
백포트	HIVE-22465: TezConfigurationFactory에서 ssl conf 추가
백포트	HIVE-24710: count(*)에 대해 CPU 및 IO 비용을 줄이도록 PTF 반복 최적화
백포트	HIVE-15406: 새로운 'trunc' 함수를 벡터화하는 방법 고려
백포트	HIVE-21541: HIVE-15406 버전에서 누락된 asf 헤더 수정
백포트	HIVE-24808: 구문 분석된 날짜 캐싱
백포트	HIVE-24746: PTF: 범위 계산 중 TimestampValueBoundaryScanner를 최적화할 수 있음
백포트	HIVE-25059: 복제 중에 변경 이벤트가 이름 바꾸기로 변환됨
백포트	HIVE-25142: 맵 조인 빠른 해시 테이블에서 재해시로 인해 대형 키가 손상됨
백포트	HIVE-23756: package.jdo 파일에 제약 조건 더 추가
백포트	HIVE-25150: HIVE-24378 일부로 수정된 공백 문자와 마찬가지로 십진수 변환 전에 탭 문자가 제거되지 않습니다.
백포트	HIVE-25093: date_format() UDF는 UTC 시간대로만 출력을 반환함
백포트	HIVE-25268: date_format udf는 현지 시간대가 UTC가 아닌 경우 1900년 이전 날짜에 대해 잘못된 결과 반환
백포트	HIVE-25338: 입력이 빈 경우 conv UDF의 AIOBE
백포트	HIVE-22400: UDF 분(시간 포함)에서 NULL 반환
백포트	HIVE-25058: PTF: 범위 계산 중 TimestampValueBoundaryScanner를 최적화할 수 있음, pt2 - isDistanceGreater
백포트	HIVE-25449: UTC 이외 시간대에서 tex 작업으로 실행 시 timezone datediff()에서 잘못된 출력 제공
백포트	HIVE-23688: 벡터화: IndexArrayOutOfBoundsException For 맵 유형 열에 null 값이 포함됨
백포트	HIVE-22247: 파티션 작업 출력이 빈 경우 HiveHFileOutputFormat에서 FileNotFoundException 발생
백포트	HIVE-25570: Hive는 명령 삽입 덮어쓰기 위치에 대한 승인을 위해 전체 URL 경로를 전송해야 함
백포트	HIVE-22903: 벡터화된 row_number()로 파티션 절에서 상수 표현식이 있는 경우 하나의 배치 이후 행 번호 재설정
백포트	HIVE-25549: PARTITION BY 또는 ORDER BY 절을 포함하는 표현식에서 기간 함수의 잘못된 결과
백포트	HIVE-25579: 덮어쓰기가 아닌 LOAD 덮어쓰기 추가
백포트	HIVE-25659: IN/(NOT IN)을 포함하는 메타스토어 직접 sql 쿼리는 SQL DB에서 허용하는 max 파라미터에 따라 분할되어야 함
백포트	HIVE-20502: 열 통계를 사용할 때 skewjoin_mapjoin10.q를 실행하는 중 발생하는 NPE 수정
백포트	HIVE-25765: skip.header.line.count 속성은 파일 크기가 더 크면 FetchOperator에서 각 블록의 행을 건너뜀
버그	특정 시나리오에서 hive.stats.column.autogather 및 hive.groupby.skewindata 모두 활성화된 경우 삽입 시 NPE 수정
버그	mapred.tasktracker.expiry.interval 값이 설정되지 않은 경우 NPE 수정