아마존 EMR 6.6.0 - 하이브 릴리스 노트 - 아마존 EMR
Hive 변경 사항구성 변경알려진 문제

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

아마존 EMR 6.6.0 - 하이브 릴리스 노트

아마존 EMR 6.6.0 - 하이브 변경

유형 설명
업그레이드

Parquet을 1.12.1로 업그레이드합니다.
업그레이드

jetty jars 버전을 9.4.43.v20210629로 업그레이드
버그 Hive 클러스터에서 Hive를 활성화했을 때 모든 작업/코어 노드에 Hive가 설치되는 문제를 LLAP 수정했습니다.
백포트 HIVE-25942: -2021-29425로 인해 커먼스-io를 2.8.0으로 업그레이드 CVE
백포트 HIVE-25726: CVE -2020-13936으로 인해 속도를 2.3으로 업그레이드
백포트 HIVE-25680: #get_table_meta 서버가 모든 권한 부여 모델을 사용할 수 있도록 승인합니다. HiveMetastore API HiveMetastore
백포트 HIVE-25554: 화살표 버전을 0.15로 업그레이드
백포트 HIVE-25242: 벡터화된.adaptor = 선택 시 쿼리 수행 속도가 매우 느립니다.
백포트 HIVE-25085 MetaStore : 클라이언트가 더 이상 세션 간에 공유되지 않습니다.
백포트 HIVE-24827: Hive 집계 쿼리는 텍스트가 아닌 파일에 대해 잘못된 결과를 반환합니다.
백포트 HIVE-24683: Hadoop23Shim은 존재하지 않는 경로에 취약합니다. getFileId NPE
백포트 HIVE-24656: 맵 및 어레이 유형에서 is가 null인 쿼리가 실패함 CBO
백포트 HIVE-24556: 손자가 없는 경우에 맞게 최적화 DefaultGraphWalker
백포트 HIVE-24408: 파켓을 1.11.1로 업그레이드
백포트 HIVE-24391: 브랜치-3.1의 오류 수정 FIX TestOrcFile
백포트 HIVE-24362: 노드 수가 많은 트리에서는 AST 트리 처리가 최적이 아닙니다.
백포트 HIVE-24316: 브랜치-3.1에서 1.5.6에서 1.5.8로 업그레이드 ORC
백포트 HIVE-24307: 속성 파일 및 -e 매개 변수가 있는 Beeline 오류가 발생했습니다.
백포트 HIVE-24245: 파티션에서 개수와 구분으로 벡터화하여 잘못된 결과를 생성합니다. PTF
백포트 HIVE-24224: 압축 파일에서 Hive on Tez의 머리말/꼬리말을 건너뛰는 문제 수정
백포트 HIVE-24157: 타임스탬프 ↔ 숫자에서 실패하는 엄격 모드 CAST
백포트 HIVENPE-24113: G 단위 enericUDFTo UnixTimeStamp
백포트 HIVE-23987: 화살표 버전을 0.11.0으로 업그레이드
백포트 HIVE-23972: 외부 클라이언트에 외부 클라이언트 ID 추가 LLAP
백포트 HIVE-23806: 스키마가 확장되는 경우 모든 파티션의 열 통계 상태를 지우지 마십시오. 이렇게 하면 alter table add columns 문의 런타임이 향상됩니다.
백포트 HIVE-23779: Beeline 콘솔에 BasicStatsTask 정보가 인쇄되지 않습니다.
백포트 HIVE-23306: 시스템에서 설정한 RESET 구성이 있는 경우 명령이 작동하지 않습니다. getProperty
백포트 HIVE-23164: 데몬이 아닌 스레드로 인해 서버가 제대로 종료되지 않음
백포트 HIVE-22967: 테즈의 하이브용 hive.reloadable.aux.jars.path 지원
백포트 HIVE-22934: 오류 스트림에 대한 Hive 서버 대화형 로그 카운터
백포트 HIVE-22901: 변수 대체 시 순환 참조가 없을 수 있음 OOM
백포트 HIVE-22769: 압축된 텍스트 파일의 분할 생성 중 잘못된 쿼리 결과 및 쿼리 실패
백포트 HIVE-22716: 읽기 대상 오류가 발생했습니다. ByteBuffer ParquetFooterInputFromCache
백포트 HIVE-22648: 파켓을 1.11.0으로 업그레이드
백포트 HIVE-22640: 십진수 64: 파티션 열 유형이 십진수인 경우 ColumnVector ClassCastException
백포트 HIVE-22621: 불안정한 TestLlapSignerImpl 테스트 케이스:. testSigning
백포트 HIVE-22533: 발생 가능한 LLAP 데몬 웹 UI 취약점 수정
백포트 HIVE-22532: 순위/ 함수를 통해 한도를 잘못 푸시할 수 있음 PTFPPD DenseRank
백포트 HIVE-22514: 메모리를 많이 소비할 수 있음 HiveProtoLoggingHook
백포트 HIVE-22476: hive.fetch.task.convertion이 없음으로 설정된 경우 Hive datediff 함수가 일관되지 않은 결과를 제공함
백포트 HIVE-22429: 하이브 3에서 bucketing_version 1을 사용하여 마이그레이션된 클러스터링된 테이블은 삽입에 버켓팅_버전 2를 사용합니다.
백포트 HIVE-22412: StatsUtils 설명 시 발생 NPE
백포트 HIVE-22360: 로드된 파일에 테이블 스키마의 열 수보다 많은 경우 마지막 열에 잘못된 결과를 MultiDelimitSerDe 반환합니다.
백포트 HIVE-22332: Hive는 -540 이후 유효한 스키마 진화 설정을 확인해야 합니다. ORC
백포트 HIVE-22331: 인수가 없는 unix_timestamp 는 타임스탬프를 초 대신 밀리초 단위로 반환합니다.
백포트 HIVE-22275: OperationManager. queryIdOperation여러 개를 제대로 정리하지 못함 queryIds
백포트 HIVE-22273: 임시 디렉터리를 제거하면 액세스 확인에 실패함
백포트 HIVE-22270: 커먼스-io를 2.6으로 업그레이드
백포트 HIVE-22241: 내부 표현과 그레고리-줄리안 하이브리드 달력을 사용하여 UDF 날짜/타임스탬프를 해석하도록 구현
백포트 HIVE-22241: 내부 표현과 그레고리-줄리안 혼성을 사용하여 날짜/타임스탬프를 해석하도록 구현 UDF
백포트 HIVE-22232: NPE hive.order.columnalign이 false로 설정된 경우
백포트 HIVE-22231: 녹스를 통한 큰 크기의 Hive 쿼리가 실패하고 끊어진 파이프 쓰기 실패로 실패
백포트 HIVE-2221: 외부 클라이언트 오류 발생 - # 감소 필요 LlapBaseInputFormat getSplits
백포트 HIVE-22208: 마스크 열이 있는 테이블에 조인을 포함한 쿼리를 다시 작성할 때 예약된 키워드가 있는 열 이름이 이스케이프 처리되지 않음
백포트 HIVE-22197: 공통 병합 조인에서 클래스 캐스트 예외가 발생했습니다.
백포트 HIVE-22170: from_unixtime과 unix_timestamp는 사용자 세션 시간대를 사용해야 합니다.
백포트 HIVE-22169: 테즈: 테즈에는 없을 플랜 파일을 찾으려고 합니다. SplitGenerator
백포트 HIVE-22168: llap 캐시 핫패스에서 비용이 많이 드는 로깅 제거
백포트 HIVE-2161:: org.apache.hadoop.hive.ql.udf에서 동기화합니다. UDF FunctionRegistry UDFType클래스
백포트 HIVE-22120: 특정 경계 조건에서 왼쪽 외부 맵 조인의 잘못된 ArrayOutOfBound 결과/예외 수정
백포트 HIVE-22115: 속성이 false로 설정된 경우 쿼리 라우팅 어펜더 생성 방지
백포트 HIVE-22113: 관련 항목 종료 방지 LLAP AMReporter RuntimeException
백포트 HIVE-22106: 파티션 평가에 대한 쿼리 간 동기화 제거
백포트 HIVE-22099: -20007 이후 일부 날짜 관련 날짜가 율리우스력 날짜를 제대로 처리할 UDFs 수 없음 HIVE
백포트 HIVE-22037: 다음과 같은 이유로 종료될 때 기록해야 합니다. HS2 OOM
백포트 HIVE-21976: 방해석의 오프셋은 0이 아닌 null이어야 합니다. HiveSortLimit
백포트 HIVE-21924: 머리말/꼬리말이 있어도 텍스트 파일 분할
백포트 HIVE-21913: G enericUDTFGet Splits는 다음과 같은 방식으로 사용자 이름을 처리해야 합니다. LLAP
백포트 HIVE-21905: 클래스 주변의 제네릭 개선 FetchOperator
백포트 HIVE-21902:2 UI: 부두 응답 헤더에는 X-프레임 옵션이 HiveServer 필요합니다.
백포트 HIVE-21888: hive.parquet.timestamp.skip.conversion 기본값을 true로 설정합니다.
백포트 HIVE-21868CAST: 벡터화... FORMAT
백포트 HIVE-21864: # LlapBaseInputFormat closeAll
백포트 HIVE-21863: 표현식을 위한 벡터라이저 유형 캐스팅 개선 WHEN
백포트 HIVE-21862: ppd가 타임스탬프와 함께 잘못된 결과를 생성합니다. ORC
백포트 HIVE-21846: TeZam에 주기적으로 메트릭을 가져오는 스레드를 생성합니다. LlapDaemon
백포트 HIVE-21837: 선택한 열의 값이 완전히 MapJoin null인 경우 예외가 발생합니다.
백포트 HIVE-21834: 필터 조건을 단순화하기 위해 불필요한 호출을 피하세요
백포트 HIVE-21832: 평균 대기열/서빙/응답 시간을 구하는 새로운 지표
백포트 HIVE-21827: 여러 번 전화를 걸면 메서드를 거치지 않음 SemanticAnalyzer getTableObject ByName
백포트 HIVE-21822: 새 메서드를 통해 지표 노출 LlapDaemon API
백포트 HIVE-21818: 복사에 메타스토어 트래픽이 있음 CBO TableRelOptHiveTable
백포트 HIVE-21815: 파일의 통계가 두 번 파싱됩니다. ORC
백포트 HIVE-21805:2: 빠른 속도 사용 HiveServer ShutdownHookManager APIs
백포트 HIVE-21799: NullPointerException in DynamicPartitionPruningOptimization, 조인 키가 집계 열에 있는 경우
백포트 HIVE-21794: 구체화된 뷰 매개변수를 다음에 추가 sqlStdAuth SafeVarNameRegexes
백포트 HIVE-21768JDBC: 포함되지 않은 쿼리의 기본 유니온 접두사 제거 UNION
백포트 HIVE-21746: 동적으로 파티셔닝된 해시 조인 중 (비활성화된 상태) ArrayIndexOutOfBoundsException CBO
백포트 HIVE-21717: 이동 작업 중 디렉터리 이름 바꾸기에 실패했습니다.
백포트 HIVE-21685: IN 절이 여러 개 있는 쿼리의 단순화가 잘못되었습니다.
백포트 HIVE-21681: 서식이 지정된 설명으로 여러 기본 키에 대한 잘못된 정보가 표시됨
백포트 HIVE-21651: 프로토버프 서버를 하이브 엑젝으로 이동합니다.
백포트 HIVE-21619: 확장 설명에서 정밀도 없이 타임스탬프 유형을 인쇄합니다. SQL
백포트 HIVE-21592: OptimizedSql 표현식에 다음이 포함된 경우 표시되지 않습니다. CONCAT
백포트 HIVE-21576: 소개해 주세요... CAST FORMAT및 제한된 목록: 2016 날짜/시간 형식 SQL
백포트 HIVE-21573: 인증이 다음으로 설정된 경우 바이너리 전송은 보안 주체를 무시합니다. delegationToken
백포트 HIVE-21550: TestObjectStore 테스트가 불안정함 - 요청한 시간 내에 잠금을 획득할 수 없음
백포트 HIVE-21544: 접는 도중 계속 전파되면 병합 표현식/대소문자/when 표현식이 손상됩니다.
백포트 HIVE-21539: + 같은 열에 있는 where 절을 사용하면 쿼리 재작성이 잘못됨 GroupBy
백포트 HIVE-21538: Beeline: 암호 소스이지만 콘솔 리더가 연결 매개변수로 전달되지 않았습니다.
백포트 HIVE-21509: 손상된 열 벡터를 캐시하고 잘못된 쿼리 결과를 LLAP 반환할 수 있음
백포트 HIVE-21499: create 명령이 실패하는 경우 레지스트리에서 함수를 제거하지 않아야 합니다. AlreadyExistsException
백포트 HIVE-21496: 순서가 지정되지 않은 버퍼를 자동으로 크기 조정하면 오버플로우가 발생할 수 있음
백포트 HIVE-21468: 스토리지 핸들러의 식별자 이름의 대소문자 구분 JDBC
백포트 HIVE-21467: 더 이상 사용되지 않는 유니트를 제거합니다.Framework.assert import
백포트 HIVE-21435: 빌드하는 동안 _ _ID conf가 있는 경우 작업 번호를 가져와야 합니다. LlapBaseInputFormat TASK ATTEMPT SubmitWorkRequestProto
백포트 HIVE-21389: -21247 이후 하이브 배포판에 javax.ws.rs-api.jar가 누락되었습니다. HIVE
백포트 HIVE-21385: 분할할 수 없는 계산을 소스로 푸시다운하는 것을 비활성화하도록 허용 JDBC
백포트 HIVE-21383: JDBC 스토리지 핸들러: 지정된 경우 카탈로그 및 스키마를 사용하여 테이블을 검색합니다.
백포트 HIVE-21382: 키별 그룹화 감소 최적화 - 쿼리23에서 키가 줄어들지 않음
백포트 HIVE-21362: 입력 형식을 추가하고 protobuf 파일에서 읽을 수 있도록 설정합니다.
백포트 HIVE-21340: a에 입력되는 키가 아닌 열을 잘라냅니다. CBO SemiJoin
백포트 HIVE-21332: 잠긴 버퍼 대신 잠기지 않은 버퍼 제거
백포트 HIVE-21329: 운영자 파이프라인에 따라 순서가 지정되지 않은 사용자 지정 Tez 런타임 출력 버퍼 크기
백포트 HIVE-21295: StorageHandler Hive 규칙을 사용하여 날짜를 문자열로 변환해야 합니다.
백포트 HIVE-21294: 벡터화: 1-리듀서 셔플은 객체 해시 함수를 건너뛸 수 있습니다.
백포트 HIVE-21255 QueryConditionBuilder : 리무브 인 JdbcStorageHandler
백포트 HIVE-21253: 지원 서비스 DB2 JDBC StorageHandler
백포트 HIVE-21232:LLAP: 캐시 미스하기 쉬운 스플릿 어피니티 제공자 추가
백포트 HIVE-21214: MoveTask 파일 중복 제거를 위해 파일 크기 대신 사용 attemptId compareTempOr DuplicateFiles
백포트 HIVE-21184: 비용 정보와 함께 형식이 지정된 계획에 대한 설명 및 설명 추가 CBO
백포트 HIVE-21182: 계획 중에 하이브 스크래치 디렉터리 설정 건너뛰기
백포트 HIVE-21171: 켜져 있는 경우 tez용 스크래치 디렉토리 생성 건너뛰기 RPC
백포트 HIVE-21126: #에서 세션 수준 쿼리 허용 LlapBaseInputFormat getSplit
백포트 HIVE-21107: 동적으로 분할된 해시 조인 중 “필드를 찾을 수 없음” 오류
백포트 HIVE-21061: 빈 소스에 대한 쿼리가 실패합니다. CTAS IllegalStateException
백포트 HIVE-21041:NPE, ParseException 논리적 계획에서 스키마를 가져오는 중
백포트 HIVE-21013: 오라클에서 파티션 열을 찾지 JdbcStorageHandler 못했습니다.
백포트 HIVE-21006: 재사용 기회가 있는 경우 세미조인을 SharedWorkOptimizer 제거하도록 확장합니다.
백포트 HIVE-20992: 구성 하이브.metastore.dbaccess.ssl.properties 구성을 더 의미 있는 구성으로 분할합니다.
백포트 HIVE-20989: JDBC - GetOperationStatus + 로그는 절전 모드를 통해 쿼리 진행을 차단할 수 있습니다.
백포트 HIVE-20988: 여러 열에 기본 키를 사용하는 그룹별 쿼리에서 잘못된 결과가 나타납니다.
백포트 HIVE-20985: 선택 연산자 입력이 임시 열인 경우 벡터화는 이들 중 일부를 출력으로 재사용할 수 있습니다.
백포트 HIVE-20978: “hive.jdbc.*”를 다음에 추가해야 합니다. sqlStdAuth SafeVarNameRegexes
백포트 HIVE-20953: 함수를 생성할 때 메타스토어에 추가할 수 없는 경우 함수 레지스트리에서 함수를 제거합니다.
백포트 HIVE-20952: .java 청소하기 VectorizationContext
백포트 HIVE-20951:: Xms를 항상 50% 로 설정합니다. LLAP
백포트 HIVE-20949: 물리적 계획의 카디널리티 추정 개선 PKFK
백포트 HIVE-20944: 쿼리 컴파일 중에 통계를 검증하지 않음
백포트 HIVE-20940: Calcite의 유형 확인이 Hive보다 더 엄격한 경우를 연결합니다.
백포트 HIVE-20937: Postgres jdbc 쿼리가 “음수가 아니어야 합니다”라는 메시지가 표시되면서 실패합니다. LIMIT
백포트 HIVE-20926: 블룸 필터 항목이 많거나 통계가 없는 경우 세미 조인 감소 힌트가 실패함
백포트 HIVE-20920: 제약 조건을 사용하여 조인 재정렬 알고리즘 개선 SQL
백포트 HIVE-20918: Calcite에서 연결로 계산을 푸시다운하는 기능을 활성화/비활성화하는 플래그 JDBC
백포트 HIVE-20915: HoS 및 MR에서 동적 정렬 파티션 최적화를 사용할 수 있도록 설정
백포트 HIVE-20910: 동적 파티션 정렬 최적화로 인해 버킷 테이블에 삽입이 실패함
백포트 HIVE-20899: 서비스용 키탭은 지원만 가능하도록 제한됩니다. URI LLAP YARN HDFS
백포트 HIVE-20898: 시간 관련 함수의 경우 인수를 null이 허용되지 않는 유형으로 캐스팅할 수 없습니다.
백포트 HIVE-20881: 지속적인 전파는 투영을 지나치게 단순화합니다.
백포트 HIVE-20880: hive.stats.filter.in.min.ratio 기본값 업데이트
백포트 HIVE-20873: 해시 충돌을 VectorHashKeyWrapperTwoLong 줄이려면 Murmur 해시를 사용하십시오.
백포트 HIVE-20868: 자녀가 개입한 경우 조인이 간헐적으로 실패함 SMB TezDummyOperator getFinalOp MapRecordProcessor
백포트 HIVE ShuffleHandler-20853: 노출. registerDag랩 데몬에서 API
백포트 HIVE-20850: 가능하면 프로젝션에서 차원 테이블로 대/소문자를 구분하여 푸시합니다.
백포트 HIVE-20842: 그룹별로 통계를 추정하기 위해 -20660에 HIVE 도입된 로직을 수정했습니다.
백포트 HIVE-20839: 동적으로 분할된 해시 조인 중 “필드를 찾을 수 없음” 오류
백포트 HIVE-20835: 제약 조건과 MV 재작성 간의 상호 작용으로 Calcite 플래너에서 루프가 생성될 수 있음
백포트 HIVE-20834: 캐시된 쿼리의 참조를 유지하는 하이브 항목 QueryResultCache SemanticAnalyzer
백포트 HIVE-20830: 경우에 따라 범위 쿼리 어설션이 실패함 JdbcStorageHandler
백포트 HIVE-20829: 범위 분할 던지기 JdbcStorageHandler NPE
백포트 HIVE-20827: 빈 배열의 결과가 일치하지 않음
백포트 HIVE-20826: 왼쪽의 조인 + 그룹을 왼쪽 세미 조인으로 변환하도록 HiveSemiJoin 규칙 강화
백포트 HIVE-20821: 0을 + 조합으로 다시 작성 SUM SUM COALESCE
백포트 HIVE-20815: .next는 예외를 발생시키지 않습니다 JdbcRecordReader
백포트 HIVE-20813: udf to_epoch_milli는 시간대가 없는 타임스탬프도 지원해야 합니다.
백포트 HIVE-20804: 제약 조건이 있는 최적화를 통한 그룹화 기능 추가 개선
백포트 HIVE-20792: 영역이 포함된 타임스탬프를 삽입하면 데이터가 잘림
백포트 HIVE-20788: 확장된 SJ 축소가 필터 생성 시 열을 잘못 역추적할 수 있음
백포트 HIVE-20778: 계획의 모든 조인이 상호 연관 논리에 의해 생성된 경우 조인 재정렬이 트리거되지 않을 수 있음
백포트 HIVE-20772: 작업별 카운터를 기록합니다. CPU LLAP
백포트 HIVE-20768: 텀블링 윈도우 추가 UDF
백포트 HIVE-20767: 조인 연산자 간의 여러 프로젝트가 제약 조건을 사용한 조인 재정렬에 영향을 줄 수 있음
백포트 HIVE-20762: NOTIFICATION _ LOG 정리 간격이 60초로 하드코딩되어 너무 짧습니다.
백포트 HIVE-20761: notification_sequence 테이블의 업데이트 대상으로 선택하면 재시도 간격이 있고 재시도 횟수가 너무 작습니다.
백포트 HIVE-20751: 화살표 버전을 0.10.0으로 업그레이드
백포트 HIVE-20746: 하루가 끝날 때 파일을 HiveProtoHookLogger 닫지 않습니다.
백포트 HIVE-20744: 제약 조건을 사용하여 SQL 조인 재정렬 알고리즘 개선
백포트 HIVE-20740: 글로벌 락인을 제거합니다. ObjectStore setConf 메서드. 이 체리픽 백포트 HIVE -20740은 하이브 3.2 및 4.x에서 3.1.x까지 사용할 수 있도록 설계되었습니다.
백포트 HIVE-20734: Beeline: beeline-site.xml 상태이고 하이브가 beeline으로 CLI 리디렉션되면 시스템 사용자 이름/더미 비밀번호를 입력하라는 메시지 대신 시스템 사용자 이름/더미 비밀번호를 사용해야 합니다.
백포트 HIVE-20731: 키스토어 JdbcStorageHandler 파일 입력이 승인되어야 합니다.
백포트 HIVE-20720: 핸들러에 파티션 열 옵션 추가 JDBC
백포트 HIVE-20719: hive.optimize.sort.dynamic.partition 최적화 및 벡터화를 설정한 후 SELECT 명령문이 실패합니다. UPDATE
백포트 HIVE-20718: 제약 조건이 있는 성능 CLI 드라이버 추가
백포트 HIVE-20716: hive.cbo.stats.correlated.multi.key.joins의 기본값을 true로 설정
백포트 HIVE-20712: HivePointLookupOptimizer 딥 케이스를 추출해야 합니다.
백포트 HIVE-20710: 상수 폴딩은 유형이 없는 null 상수를 생성하지 않을 수 있음
백포트 HIVE-20706: external_jdbc_table2.q가 간헐적으로 실패함
백포트 HIVE-20704: 다른 함수를 지원하도록 확장 HivePreFilteringRule
백포트 HIVE-20703: 동적 정렬 파티션 최적화를 비용 기반 결정에 적용
백포트 HIVE-20702: 맵 조인 선택 시 데이터 구조를 인식하는 추정치로 인한 오버헤드 고려
백포트 HIVE-20692: x IS () [|] 표현식의 접기 활성화 NOT NOT TRUE FALSE
백포트 HIVE-20691: org.apache.hadoop.hive.cli를 수정합니다. TestMiniLlapCliDriver. testCliDriver[커틀]
백포트 HIVE-20682: 마스터 스레드에서 공유를 닫으면 비동기 쿼리 실행이 실패할 수 있음 sessionHive
백포트 HIVE-20676:2: HiveServer 데몬 상태로 설정되지 않음 PrivilegeSynchronizer
백포트 HIVE-20660: 총 행 수를 소스 테이블로 제한하여 통계별 그룹 추정을 개선할 수 있습니다.
백포트 HIVE-20652: 서로 다른 두 데이터 소스를 jdbc 드라이버로 JdbcStorageHandler 푸시 조인
백포트 HIVE JdbcStorageHandler -20651: 비밀번호를 암호화해야 합니다.
백포트 HIVE-20649: LLAP 오크 라이터를 위한 어웨어 메모리 매니저
백포트 HIVE-20648:LLAP: 연산자별 벡터 그룹은 실행자당 메모리를 사용해야 함
백포트 HIVE-20646: 파티션 필터 조건이 IS인 경우 메타스토어 쿼리로 푸시되지 않음 NOT NULL
백포트 HIVE-20644: Hive 런타임 예외를 통해 민감한 정보가 노출되지 않도록 합니다.
백포트 HIVE-20636: 아웃터 조인 후 null 값 추정 개수 개선
백포트 HIVE-20632: 쿼리된 테이블에 구체화된 뷰를 생성할 경우 UDF get_splits를 사용한 쿼리가 실패함
백포트 HIVE-20627: 동시 비동기 쿼리가 간헐적으로 실패하여 메모리 누수가 발생합니다. LockException
백포트 HIVE-20623: 공유 작업: 맵 조인 캐시 항목의 공유를 다음으로 확장 LLAP
백포트 HIVE-20619: 기본적으로 2에 포함 MultiDelimitSerDe HiveServer
백포트 HIVE-20618: 조인 중에 버킷이 없는 테이블에 대해 선택을 선택할 BucketMapJoin 수 있음
백포트 HIVE-20617: IN 표현식의 상수 유형이 올바른 유형을 갖도록 수정
백포트 HIVE-20612: 에 대한 새 조인 다중 키 상관 관계 플래그 생성 CBO
백포트 HIVE-20603: 테이블 위치 파일 시스템을 변경한 후 파티션에 삽입할 때 “잘못된 FS” 오류 발생
백포트 HIVE-20601: null in _ 이벤트 입력 EnvironmentContext ALTER PARTITION DbNotificationListener
백포트 HIVE-20583: 커베로스 인증에는 표준 호스트 이름만 사용 HiveConnection
백포트 HIVE-20582: 하이브 프로토 로깅에서 hflush를 구성 가능으로 설정
백포트 HIVE-20563: 벡터화:/타입과 결과 유형이 다른 경우 표현식이 실패함 CASE WHEN THEN ELSE
백포트 HIVE-20558: hive.hashtable.key.count.adjustment 기본값을 0.99로 변경
백포트 HIVE-20552: LogicalPlan 스키마를 더 빠르게 가져오기
백포트 HIVE-20550: Beeline을 사용하여 Hive ebHCat 쿼리를 제출하도록 W를 전환합니다.
백포트 HIVE-20537: 여러 열이 서로 다른 IN 및 Hive 간의 상관 관계가 없는 열과 추정치를 결합합니다. CBO
백포트 HIVE-20524: Hive 버전 2에서 버전 3으로 넘어가면서 스키마 에볼루션 검사가 중단되었습니다. ALTER TABLE VARCHAR DECIMAL
백포트 HIVE-20522: 필드의 null 허용 여부로 인해 HiveFilterSetOpTransposeRule 어설션 오류가 발생할 수 있음
백포트 HIVE-20521: HS2 doAs =true는 MR 및 S3A 파일 시스템을 사용하는 hadoop.tmp.dir에서 권한 문제가 발생했습니다.
백포트 HIVE-20515: 결과 캐시 및 쿼리 임시 디렉토리 사용 시 쿼리 결과 빈 결과, 다른 파일 시스템의 결과 캐시 디렉토리
백포트 HIVE-20508: 하이브는 “user @realm” 유형의 사용자 이름을 지원하지 않습니다.
백포트 HIVE-20507: Beeline: beeline-site.xml 파일에서 모든 URI를 검색하는 유틸리티 명령 추가
백포트 HIVE-20505: org.openjdk.jmh:jmh-core를 1.21로 업그레이드
백포트 HIVE-20503: 맵조인 선택 시 데이터 구조 인식 추정치 사용
백포트 HIVE-20498: 열 통계 자동 수집에 대한 지원 날짜 유형
백포트 HIVE-20496: 벡터화: 벡터화 PTF IllegalStateException
백포트 HIVE-20494: -19440 이후 enericUDFRestrict InformationSchema G가 깨졌습니다. HIVE
백포트 HIVE-20477: 표현식에 다음이 포함된 경우 표시되지 않습니다. OptimizedSql INs
백포트 HIVE-20467: 리소스 계획 생성/삭제 시 IF /IF 허용 NOT EXISTS EXISTS
백포트 HIVE-20462: 뷰가 이미 있는 경우 “IF “가 실패합니다. CREATE VIEW NOT EXISTS
백포트 HIVE-20455: 보안 권한 부여에서 로그가 생성되었습니다. PrivilegeSynchonizer.run
백포트 HIVE-20439: llap의 조인 선택 시 확장된 메모리 제한 사용
백포트 HIVE-20433: 암시적 문자열을 타임스탬프로 변환하는 속도가 느림
백포트 HIVE-20432: 통계 추정을 위해 정수 유형을 IN으로 다시 작성 BETWEEN
백포트 HIVE-20423: 디폴트 널 순서 지정으로 설정 NULLS LAST
백포트 HIVE-20418: 열을 선택하지 않은 쿼리에 대해 행 인덱스가 비활성화된 ORC 파일을 LLAP IO가 올바르게 처리하지 못할 수 있음
백포트 HIVE-20412: 인치 NPE HiveMetaHook
백포트 HIVE-20406: 중첩 합쳐져 잘못된 결과가 나타남
백포트 HIVE-20399: 완전하게 검증되지 않은 사용자 지정 테이블 CTAS 위치가 있으면 MM 테이블에 오류가 발생합니다.
백포트 HIVE-20393: 세미조인 리덕션: For가 일관되지 않게 동작함 markSemiJoin DPP
백포트 HIVE-20391: 집계 함수를 분해할 때 잘못된 반환 유형을 유추할 수 있음 HiveAggregateReduceFunctionsRule
백포트 HIVE-20383: 하이브 프로토 이벤트 후크의 큐 이름 및 동기화 문제가 잘못되었습니다.
백포트 HIVE-20367: 벡터화:,, 에 대한 스트리밍 지원 PTF AVG MAX MIN SUM
백포트 HIVE-20366: TPC -DS query78의 널 필터에 대한 통계 추정치가 빗나갔습니다.
백포트 HIVE-20364: hive.map.aggr.hash.min.reduction의 기본값 업데이트
백포트 HIVE-20352: 벡터화: 그룹화 기능 지원
백포트 HIVE-20347: hive.optimize.sort.dynamic.partition은 파티셔닝된 MV와 함께 작동해야 합니다. CTAS
백포트 HIVE-20345: 다른 호출에서 테이블을 삭제하면 데이터베이스 삭제가 중단될 수 있음
백포트 HIVE-20343: 하이브 3: 트랜잭션_프로퍼티를 존중하지 않음 CTAS
백포트 HIVE-20340: 드루이드는 타임스탬프부터 타임스탬프 함수의 출력을 문자열로 사용할 때까지 명시적이어야 CASTs 합니다. STRING
백포트 HIVE-20339: 벡터화: 불필요한 제한을 해제하여 일부가 벡터화되지 않도록 함 PTF RANK
백포트 HIVE-20337:: Expr이 파티션 목록을 제대로 채우지 않습니다. CachedStore getPartitionsBy
백포트 HIVE-20336: 구체화된 뷰에 대한 마스킹 및 필터링 정책
백포트 HIVE-20326: 아니오 대신 기본값으로 제약 조건 생성 RELY RELY
백포트 HIVE-20321: 벡터화: 1col의 메모리 크기를 <1로 줄입니다. VectorHashKeyWrapper CacheLine
백포트 HIVE-20320: 하이브.optimize.remove.sq_count_check 플래그를 켜세요.
백포트 HIVE-20315: 벡터화: 더 많은/잘못된 결과 문제 수정 및 불필요한 캐스트/변환 방지 NULL
백포트 HIVE-20314: 구체화된 뷰 재작성에 파티션 정리 포함
백포트 HIVE-20312: 애로우 클라이언트가 자체적으로 다음을 사용할 수 있도록 허용 BufferAllocator LlapOutputFormatService
백포트 HIVE-20302:LLAP: IO에서 벡터화되지 않은 실행은 __ID를 포함한 가상 열을 무시합니다. ROW
백포트 HIVE-20300: VectorFileSinkArrowOperator
백포트 HIVE-20299: 서명자 유닛 테스트의 잠재적 경쟁 LLAP
백포트 HIVE-20296: 더 복잡한 HivePointLookupOptimizerRule 컨텍스트에서 추출할 수 있도록 개선
백포트 HIVE-20294: 벡터화: /의 잘못된 결과 문제 수정/NULLCOALESCEELT
백포트 HIVE-20292: 기본 제약 조건이 정의된 tpcds 쿼리93의 조인 순서가 잘못되었습니다.
백포트 HIVE-20290: 지연 초기화하여 도중에 버퍼를 할당하지 않도록 합니다. ArrowColumnarBatchSerDe GetSplits
백포트 HIVE-20281: '운영자 캐시 내용과 실제 계획이 다릅니다'로 SharedWorkOptimizer 실패함
백포트 HIVE-20277: 벡터화: 반환되는 대소문자 표현식은 지원되지 않습니다. BOOLEAN FILTER
백포트 HIVE-20267: 로그 수준을 동적으로 구성하는 양식을 포함하도록 WebUI 확장
백포트 HIVE-20263: HiveReduceExpressionsWithStatsRule 변수에 오타가 있습니다.
백포트 HIVE-20260: 다른 NDV 열의 필터로 행 수를 변경할 때 열의 크기를 조정해서는 안 됩니다.
백포트 HIVE-20252: 세미조인 감소: 작은 테이블 측면에 업스트림에 맵 조인이 있는 경우 세미 조인 브랜치로 인한 사이클이 감지되지 않을 수 있습니다.
백포트 HIVE-20245: 벡터화: /IN에서 잘못된 결과 문제 수정/잘못된 결과 문제 수정 NULL BETWEEN
백포트 HIVE-20241: 명령문의 파티셔닝 사양 지원 CTAS
백포트 HIVE-20240: 세미조인 감소: 로컬 변수를 사용하여 외부 테이블 상태 확인
백포트 HIVE-20226: 요청이 테이블의 max_rows를 HMS getNextNotification 초과하면 예외가 발생합니다. maxEvents
백포트 HIVE-20225: 테라데이타 바이너리 포맷 지원 SerDe
백포트 HIVE-20213: 칼사이트를 1.17.0으로 업그레이드
백포트 HIVE-20212: Hiveserver2가 http 모드의 메트릭 기본값.General.Open_Connections를 잘못 내보내는 중
백포트 HIVE-20210: 단순 가져오기 최적화 프로그램은 파티션이 아닌 열을 필터링하고 변환이 최소일 때 실행되어야 합니다. MapReduce
백포트 HIVE-20209: repl 덤프에서 첫 번째 시도에서 메타스토어 연결 실패
백포트 HIVE-20207: 벡터화: 필터 내 잘못된 결과 수정/비교 NULL
백포트 HIVE-20204: IN 중 유형 변환
백포트 HIVE-20203: 화살이 새어나오다 a SerDe DirectByteBuffer
백포트 HIVE-20197: 벡터화: DECIMAL _64 테스트 추가, 날짜/간격/타임스탬프 산술 추가, BY 집계 추가 GROUP
백포트 HIVE cboInfo -20193: 계획 설명 json에 없습니다.
백포트 HIVE-20192: 메타스토어가 HS2 내장되어 있으면 객체가 유출되고 있습니다. JDOPersistenceManager
백포트 HIVE-20183: 원본 테이블에 빈 버킷이 있는 경우 버킷이 있는 테이블에서 삽입하면 데이터가 손실될 수 있습니다.
백포트 HIVE-20177: 벡터화: 스트리밍 모드에서 할당 줄이기 KeyWrapper GroupBy
백포트 HIVE-20174: 벡터화: BY 집계 함수의 결과 오류/수정 문제 NULL GROUP
백포트 HIVE-20172: 원격 메타스토어에 연결하려는 중 예외가 StatsUpdater 발생하여 GSS 실패했습니다.
백포트 HIVE-20153: Hive 2+에서 카운트와 합계가 UDF 더 많은 메모리를 소비합니다.
백포트 HIVE-20152: repl 덤프가 실패하면 db 상태를 재설정하여 테이블 이름을 바꿀 수 있습니다.
백포트 HIVE-20149: 실패/시간 초과 TestHiveCli
백포트 HIVE-20130: 정보 스키마 동기화 프로그램의 로깅 개선
백포트 HIVE-20129: 오크 테이블의 위치 기반 스키마 진화로 되돌리기
백포트 HIVE-20118: SessionStateUserAuthenticator. getGroupNames
백포트 HIVE-20116: 부모 TezTask 로거를 사용하고 있습니다.
백포트 HIVE-20115: 애시드 테이블은 분석에 푸터 스캔을 사용해서는 안 됩니다.
백포트 HIVE-20103: WM: 카운터를 하나 이상 사용하는 경우에만 카운터를 DAG 집계합니다.
백포트 HIVE-20101: BloomKFilter: 로컬 바이트 [] 배열을 완전히 사용하지 마십시오.
백포트 HIVE-20100 OpTraits : 불일치가 감지되면 옵트레이트 선택이 중지되어야 합니다.
백포트 HIVE-20098: 통계: 날짜 열 파티션 통계를 가져오는 NPE 경우
백포트 HIVE-20095: jdbc 외부 테이블로 계산을 푸시하는 기능 수정
백포트 HIVE-20093: 회계 처리에 네티와 함께 사용 LlapOutputFomatService ArrowBuf
백포트 HIVE-20090: 새로운 기회를 발견할 수 있도록 세미조인 리덕션 필터 생성을 확대합니다.
백포트 HIVE-20088: Beeline 구성 위치 경로가 잘못 조합됨
백포트 HIVE-20082: 문자열로 HiveDecimal 변환할 때 십진수 형식이 올바르게 지정되지 않음
백포트 HIVE-20069: 세미조인 최적화의 경우 재최적화 문제 수정 DPP
백포트 HIVE-20051: 임시 테이블에 대한 권한 부여 건너뛰기
백포트 HIVE-2004: Arrow Serde는 문자 값을 채우고 빈 문자열을 올바르게 처리해야 합니다.
백포트 HIVE-20028: 메타스토어 클라이언트 캐시 구성이 잘못 사용됨
백포트 HIVE-20025: 에서 만든 이벤트 파일 정리 HiveProtoLoggingHook
백포트 HIVE-20020: 하이브 컨트리브 항아리는 라이브러리에 있으면 안 됩니다.
백포트 HIVE-20013: to_date 함수의 날짜 유형에 암시적 캐스트 추가
백포트 HIVE-20011: 프로토 로깅 후크의 추가 모드에서 벗어남
백포트 HIVE-20005: acid_table_stats, acid_no_buckets 등 - 브랜치에서의 쿼리 결과 변경
백포트 HIVE-20004: 64에서 잘못된 척도를 사용하면 ConvertDecimal 잘못된 ToDecimal 결과가 나타납니다.
백포트 HIVE-19995: 애시드 테이블의 행 트래픽 집계
백포트 HIVE-19993: 열 이름으로도 나타나는 테이블 별칭은 사용할 수 없습니다.
백포트 HIVE-19992: 벡터화: -19951 후속 작업 --> 호출을 추가합니다. HIVE SchemaEvolution isOnlyImplicit데이터 유형 변환이 암시적이지 않은 경우에만 인코딩된 LLAP I/O를 비활성화하도록 변환 ORC
백포트 HIVE-19989: 메타스토어가 메트릭에 잘못된 애플리케이션 이름을 사용합니다. HADOOP2
백포트 HIVE-19981: HiveStrictManagedMigration 유틸리티에서 외부 테이블로 변환한 관리 테이블은 테이블 삭제 시 데이터를 삭제하도록 설정해야 합니다.
백포트 HIVE-19967: SMB 조인: 작업을 위한 옵트레이트 필요 PTFOperator GBY
백포트 HIVE-19935: Hive WM 세션 종료: 작업 수 업데이트 실패 LLAP
백포트 HIVE-19924: Repl Load에서 실행한 태그 distcp 작업
백포트 HIVE-19891: 사용자 지정 파티션 디렉터리가 있는 외부 테이블에 삽입하면 데이터가 손실될 수 있음
백포트 HIVE-19850: Tez의 동적 파티션 프루닝으로 인해 '테이블 스캔에 대한 작업을 찾을 수 없음' 오류가 발생함
백포트 HIVE-19806: 테스트 결과를 정렬하여 테스트 결과의 결함을 방지합니다.
백포트 HIVE-19770: 선택 CBO 항목에 동일한 열이 여러 개 있는 쿼리 지원
백포트 HIVE-19769: DB 및 테이블 이름 전용 객체 생성
백포트 HIVE-19765: 파켓 전용 테스트 추가 BlobstoreCliDriver
백포트 HIVE-19759: 불안정한 테스트: # TestRpc testServerPort
백포트 HIVE-19711: 리팩터링 하이브 스키마 툴
백포트 HIVE-19701: getDelegationToken FromMetaStore 동기화할 필요가 없습니다.
백포트 HIVE-19694: 구체화된 뷰 생성 문은 MV의 명령문을 실행하기 전에 MV 이름 충돌을 확인해야 합니다. SQL
백포트 HIVE-19674: 십진 상수별 그룹화가 드루이드 테이블로 푸시다운
백포트 HIVE-19668: org.antlr.runtime 중복으로 인해 힙의 30% 이상이 낭비되었습니다. CommonToken및 중복 문자열
백포트 HIVE-19663: 리팩터링 LLAP IO 보고서 생성
백포트 HIVE-19661: 하이브를 Re2J 정규식 엔진을 사용하도록 UDFs 전환
백포트 HIVENPE-19628: 다음에서 가능 LLAP testSigning
백포트 HIVE-19568: 액티브/패시브 HS2 HA: 패시브 인스턴스에 대한 직접 연결 허용 안 함 HS2
백포트 HIVE-19564: 벡터화: 산술에서의 수정/잘못된 결과 문제 NULL
백포트 HIVE-1952 TestMiniDruidKafkaCliDriver: #druidkafkamini_basic q를 활성화합니다.
백포트 HIVE-19432: 하이브에 GetTablesOperation 데이터베이스와 테이블이 너무 많으면 속도가 너무 느립니다.
백포트 HIVE-19360:CBO: 객체에 “최적화된” 항목 추가 SQL QueryPlan
백포트 HIVE-19326: 통계 자동 수집: 쿼리 중 잘못된 집계 UNION
백포트 HIVE-19313: 테스트 실패 TestJdbcWith DBTokenStoreNoDoAs
백포트 HIVE-19285: 하위 클래스에 로그 추가 MetaDataOperation
백포트 HIVE-19235: 최소 테스트를 위한 골든 파일 업데이트
백포트 HIVE-19104: 재시도로 테스트를 시작할 때 MetaStore 인스턴스는 독립적이어야 합니다.
백포트 HIVE-18986: 테이블 이름을 바꾸면 java.lang이 실행됩니다. StackOverflowError 테이블에 많은 수의 열이 있는 dataNucleus 경우
백포트 HIVE-18920:CBO: 첫 번째 쿼리에 앞서 Janino 제공자를 초기화합니다.
백포트 HIVE-18873: 에서 MR에 대한 조건부 푸시다운을 자동으로 건너뛰면 스토리지 핸들러가 잘못된 결과를 생성할 수 있음 HiveInputFormat
백포트 HIVE-18871: hive.aux.jars.path를 hdfs로 설정하여 하이브 온 테즈 실행 오류가 발생했습니다.//
백포트 HIVE-18725: 잘못된 열 참조가 있는 경우 하위 쿼리에 대한 오류 처리를 개선합니다.
백포트 HIVE-18696: 다음과 같은 경우 .add_partitions_core 메서드에서 파티션 폴더가 제대로 정리되지 않을 수 있습니다. HiveMetaStore
백포트 HIVE-18453:: 통합 및 파켓 지원에 "" 구문 추가 ACID CREATE TRANSACTIONAL TABLE ACID ORC
백포트 HIVE-18201: sq_count_chec의 _를 비활성화합니다. XPROD EDGE
백포트 HIVE-18140: 파티션을 나눈 테이블 통계는 기본 통계 (혼용 사례) 에서 잘못될 수 있음
백포트 HIVE-17921: 구조체를 사용하여 집계하면 잘못된 결과가 생성됨 LLAP
백포트 HIVE-17896: T: 벡터화가 가능한 독립형 T 연산자 만들기 opNKey opNKey
백포트 HIVE-17840 HiveMetaStore : 다음과 transactionalListeners 같은 경우 예외를 발생시킵니다. notifyEvent 실패했습니다.
백포트 HIVE-17043: 나중에 참조하지 않을 경우 키별 그룹에서 고유하지 않은 열을 제거합니다.
백포트 HIVE-17040: FK 관계가 있는 상태에서 합류 제거
백포트 HIVE-16839: 같은 파티션을 동시에 변경할 때 /에 대한 openTransaction 불균형 호출 commitTransaction
백포트 HIVE-16100: 동적 정렬 파티션 최적화 프로그램이 형제 연산자를 잃습니다.
백포트 HIVE-15956: 파티션을 많이 삭제한 경우 StackOverflowError
백포트 HIVE-15177: kerberos 인증 유형이 로 설정되고 보안 주체에 _가 포함된 경우 하이브를 사용한 인증이 실패합니다. fromSubject HOST
백포트 HIVE-14898: HS2 빈 인증 헤더 오류에 대한 호출 스택을 기록하지 않아야 함
백포트 HIVE-14493: 구체화된 뷰에 대한 파티셔닝 지원
백포트 HIVE-14431: 다음과 COALESCE 같이 인식합니다. CASE
백포트 HIVE-13457: 모니터링 정보를 위한 엔드포인트 생성 HS2 REST API
백포트 HIVE-12342: hive.optimize.index.filter의 기본값을 true로 설정합니다.
백포트 HIVE-10296: 하이브가 메타스토어에서 멀티 조인 쿼리를 실행할 때 캐스트 예외가 관찰되었습니다.
백포트 HIVE-6980: 직접 SQL을 사용하여 테이블 삭제

아마존 EMR 6.6.0 - 하이브 구성 변경

  • OSS변경 HIVE-20703의 일부로 동적 파티션을 정렬하는 속성이 로 대체되었습니다. hive.optimize.sort.dynamic.partition hive.optimize.sort.dynamic.partition.threshold

    hive.optimize.sort.dynamic.partition.threshold 구성에는 다음과 같은 잠재적 값이 있습니다.

    값 설명

    0

    (기본값)

    파일을 사용할 때 ORC 동적 파티션을 정렬하기 위한 최적화를 비용 기반으로 결정합니다. INSERT쿼리에 허용되는 최대 작성기 수는 (실행기/컨테이너 메모리) * (orc가 차지한 메모리 비율) 를 단일 작성기가 차지한 최대 메모리 (스트라이프 크기) 로 나눈 값을 기준으로 계산됩니다.

    -1

    동적 파티션을 완전히 정렬하기 위해 최적화를 비활성화합니다.

    1

    동적 파티션의 글로벌 정렬을 활성화합니다. 이렇게 하면 reducer의 각 파티션 값에 대해 레코드 라이터를 하나만 열어 두므로 reducer에 가해지는 메모리 부담을 줄일 수 있습니다.

    2

    (또는 더 큰 정수)

    지정된 정수를 최대 라이터 수의 임계값으로 사용하도록 Hive에 지시합니다.

Amazon EMR 6.6.0 - 하이브의 알려진 문제

  • 조인과 동일한 열에 윈도우 함수를 사용하는 쿼리는 HIVE-25278에 보고된 바와 같이 잘못된 변환으로 이어져 잘못된 결과 또는 쿼리 실패를 초래할 수 있습니다. 해결 방법으로 이러한 쿼리를 쿼리 CBO 수준에서 사용하지 않도록 설정할 수 있습니다. 자세한 내용은 AWS 지원팀에 문의하세요.

  • Amazon EMR 6.6.0에는 하이브 소프트웨어 버전 3.1.2가 포함되어 있습니다. Hive 3.1.2에는 머리말과 꼬리말이 포함된 경우 텍스트 파일을 분할하는 기능이 도입되었습니다 (-21924). HIVE Apache Tez App Master는 각 파일을 읽고 데이터 범위에서 오프셋 지점을 결정합니다. 쿼리에서 작은 텍스트 파일을 많이 읽을 경우 이러한 동작이 결합되어 성능이 저하될 수 있습니다. 이 문제를 해결하려면 CombineHiveInputFormat을 사용하고 다음 속성을 구성하여 최대 분할 크기를 조정합니다.

    SET hive.tez.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
SET mapreduce.input.fileinputformat.split.maxsize=16777216;

  • Amazon EMR 6.6.0~6.9.x에서는 동적 파티션과 BY 또는 SORT BY 절을 사용하는 INSERT 쿼리에 ORDER 항상 두 개의 리듀서가 있습니다. 이 문제는 비용 기반 결정에 따라 동적 정렬 파티션 OSS 최적화가 HIVE적용되는 -20703 변경으로 인해 발생합니다. 워크로드에 동적 파티션 정렬이 필요하지 않은 경우 새 기능을 비활성화하고 올바르게 계산된 reducer 수를 가져오도록 hive.optimize.sort.dynamic.partition.threshold 속성을 -1로 설정하는 것이 좋습니다. 이 문제는 OSS 하이브에서 HIVE-22269의 일부로 수정되었으며 Amazon 6.10.0에서는 수정되었습니다. EMR