아마존 EMR 6.10.0 - 하이브 릴리스 노트

아마존 EMR 6.10.0 - 하이브 변경

유형	설명
기능	IAM패스스루 (하이브/스텝) 를 통해 Apache Hive 쿼리 (쓰기) 에 대한 AWS Lake Formation 기반 액세스 제어를 활성화합니다. CLI API
개선 사항	로그 크기를 줄이려면 기본적으로 hive.log.explain.output 구성 비활성화
백포트	HIVE-26408: 벡터화: 스크래치 열의 할당 해제를 수정하고 자식을 출력으로 재사용하지 마세요. ConstantVectorExpression
백포트	HIVE-22269: 동적 파티션을 사용하는 삽입 쿼리에서 -20703으로 인한 통계 누락으로 인한 잘못된 리듀서 수를 수정합니다. HIVE
백포트	HIVE-22891: 비실행 모드에서 추출 건너뛰기 PartitionDesc CombineHiveRecord LLAP
백포트	HIVE-23804: Hive 메타스토어 스키마의 열 통계 관련 테이블에 대한 기본 데이터베이스를 추가하여 이전 버전과 호환되도록 합니다.
백포트	HIVE-25277: 비용이 많이 드는 클라우드 오브젝트 저장소의 Hive 파티션 삭제 속도가 느립니다. ListFiles
백포트	HIVE-19202: in으로 인해 실패했습니다. CBO NullPointerException HiveAggregate isBucketedInput()
백포트	HIVE-19048: 비트라인 초기화 스크립트 오류 수정 무시
백포트	HIVE-21085: 구체화된 뷰 레지스트리가 비외부 tez 세션을 시작합니다.
백포트	HIVE-21675: CREATE VIEW 뷰가 이미 존재하는 경우 “OK”가 아닌 오류를 NOT EXISTS 반환합니다. 이는 Hive 2에서의 회귀입니다.
백포트	HIVE-21646: Tez: 스레드 로깅 컨텍스트를 이스케이프 처리하는 것을 방지합니다. TezTasks
백포트	HIVE-22054: 디렉토리가 비어 있는지 확인하기 위한 재귀 목록 작성 방지
백포트	HIVE-16587: null 값이 중첩된 복합 NPE 유형을 삽입하는 경우
백포트	HIVE-22647: 기본적으로 세션 풀 활성화
백포트	HIVE-13288: 혼란스러운 예외 메시지가 들어왔습니다. DagUtils localizeResource
백포트	HIVE-23870: 에서 다중 텍스트 변환을 최적화합니다. WritableHiveCharObjectInspector getPrimitiveJava개체/ HiveCharWritable
백포트	HIVE-21498: 드리프트를 0.13.0으로 업그레이드
백포트	HIVE-24378: 십진수 변환 전에는 선행 및 후행 공백이 제거되지 않음
백포트	HIVE-21341: 합리적인 기본값: hive.server2.idle.operation.timeout 및 hive.server2.idle.session.timeout이 너무 높습니다.
백포트	HIVE-22465: ssl conf 추가 TezConfigurationFactory
백포트	HIVE-24710: 카운트 (*) 에 대한 PTF 반복을 최적화하여 IO 비용 절감 및 입출력 비용 절감 CPU
백포트	HIVE-15406: 새로운 'trunc' 함수를 벡터화하는 것을 고려해 보세요.
백포트	HIVE-21541: -15406에서 누락된 asf 헤더 수정 HIVE
백포트	HIVE-24808: 파싱된 날짜 캐시
백포트	HIVE-24746:: PTF 범위 계산 중에 최적화 가능 TimestampValueBoundaryScanner
백포트	HIVE-25059: 복제 중에 변경 이벤트가 이름 변경으로 변환됨
백포트	HIVE-25142: 맵 조인 고속 해시 테이블을 다시 해시하면 큰 키가 손상될 수 있습니다.
백포트	HIVE-23756: 패키지.jdo 파일에 제약 조건을 더 추가했습니다.
백포트	HIVE-25150: -24378의 일부로 수정된 공백 문자와 마찬가지로 십진수 변환 전에는 탭 문자가 제거되지 않습니다. HIVE
백포트	HIVE-25093: date_format () 은 시간대로만 출력을 반환합니다. UDF UTC
백포트	HIVE-25268: 날짜_format udf는 현지 시간대가 다음과 다른 날짜인 경우 1900년 이전 날짜에 대해 잘못된 결과를 반환합니다. UTC
백포트	HIVE-25338: 입력이 비어 있는 경우 변환 시 변환 AIOBE UDF
백포트	HIVE-22400: 분 (시간 반환 포함) UDF NULL
백포트	HIVE-25058:PTF: 범위 계산 중에 최적화 TimestampValueBoundaryScanner 가능 pt2 - isDistanceGreater
백포트	HIVE-25449: datediff () 는 일부 시간대가 아닌 tez 작업에서 실행할 때 잘못된 출력을 표시합니다. UTC
백포트	HIVE-23688: 벡터화: null 값을 포함하는 맵 유형 열의 경우 IndexArrayOutOfBoundsException
백포트	HIVE-22247: 파티션의 작업 출력이 비어 있으면 H가 발생합니다. iveHFile OutputFormat FileNotFoundException
백포트	HIVE-25570: Hive는 명령 삽입 덮어쓰기 위치에 대한 권한 부여를 위해 전체 URL 경로를 전송해야 합니다.
백포트	HIVE-22903: 벡터화된 row_number () 는 파티션 절에서 상수 표현식이 있는 경우 한 번 일괄 처리된 후 행 번호를 재설정합니다.
백포트	HIVE-25549: BY 또는 BY 절에 표현식을 포함하는 윈도우 함수의 잘못된 결과 PARTITION ORDER
백포트	HIVE-25579: 덮어쓰는 대신 추가한 항목 덮어쓰기 LOAD
백포트	HIVE-25659: IN/ (NOTIN) 이 포함된 메타스토어 다이렉트 SQL 쿼리는 DB에서 허용하는 최대 파라미터를 기준으로 분할해야 합니다. SQL
백포트	HIVE-20502: 열 통계를 사용할 때 skewjoin_mapjoin10.q를 실행하는 중에 발생하는 문제를 NPE 수정했습니다.
백포트	HIVE-25765: skip.header.line.count 속성은 파일 크기가 더 크면 각 블록의 행을 건너뛰도록 합니다. FetchOperator
버그	둘 다 활성화된 경우와 활성화된 경우 특정 시나리오에서 삽입 시 발생하는 문제를 수정했습니다. NPE hive.stats.column.autogather hive.groupby.skewindata
버그	mapred.tasktracker.expiry.interval값이 설정되지 않은 NPE 경우 수정