기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon EMR 6.6.0 - Hive 릴리스 정보
Amazon EMR 6.6.0 - Hive 변경
유형 | 설명 |
---|---|
업그레이드 |
Parquet을 1.12.1 |
업그레이드 |
jetty jars 버전을 9.4.43.v20210629로 업그레이드 |
버그 | Hive 클러스터에서 LLAP가 활성화되었을 때 모든 태스크 및 코어 노드에 Hive가 설치되는 문제를 수정했습니다. |
백포트 | HIVE-25942 |
백포트 | HIVE-25726 |
백포트 | HIVE-25680 |
백포트 | HIVE-25554 |
백포트 | HIVE-25242 |
백포트 | HIVE-25085 |
백포트 | HIVE-24827 |
백포트 | HIVE-24683 |
백포트 | HIVE-24656 |
백포트 | HIVE-24556 |
백포트 | HIVE-24408 |
백포트 | HIVE-24391 |
백포트 | HIVE-24362 |
백포트 | HIVE-24316 |
백포트 | HIVE-24307 |
백포트 | HIVE-24245 |
백포트 | HIVE-24224 |
백포트 | HIVE-24157 |
백포트 | HIVE-24113 |
백포트 | HIVE-23987 |
백포트 | HIVE-23972 |
백포트 | HIVE-23806 |
백포트 | HIVE-23779 |
백포트 | HIVE-23306 |
백포트 | HIVE-23164 |
백포트 | HIVE-22967 |
백포트 | HIVE-22934 |
백포트 | HIVE-22901 |
백포트 | HIVE-22769 |
백포트 | HIVE-22716 |
백포트 | HIVE-22648 |
백포트 | HIVE-22640 |
백포트 | HIVE-22621 |
백포트 | HIVE-22533 |
백포트 | HIVE-22532 |
백포트 | HIVE-22514 |
백포트 | HIVE-22476 |
백포트 | HIVE-22429 |
백포트 | HIVE-22412 |
백포트 | HIVE-22360 |
백포트 | HIVE-22332 |
백포트 | HIVE-22331 |
백포트 | HIVE-22275 |
백포트 | HIVE-22273 |
백포트 | HIVE-22270 |
백포트 | HIVE-22241 |
백포트 | HIVE-22241 |
백포트 | HIVE-22232 |
백포트 | HIVE-22231 |
백포트 | HIVE-22221 |
백포트 | HIVE-22208 |
백포트 | HIVE-22197 |
백포트 | HIVE-22170 |
백포트 | HIVE-22169 |
백포트 | HIVE-22168 |
백포트 | HIVE-22161 |
백포트 | HIVE-22120 |
백포트 | HIVE-22115 |
백포트 | HIVE-22113 |
백포트 | HIVE-22106 |
백포트 | HIVE-22099 |
백포트 | HIVE-22037 |
백포트 | HIVE-21976 |
백포트 | HIVE-21924 |
백포트 | HIVE-21913 |
백포트 | HIVE-21905 |
백포트 | HIVE-21902 |
백포트 | HIVE-21888 |
백포트 | HIVE-21868 |
백포트 | HIVE-21864 |
백포트 | HIVE-21863 |
백포트 | HIVE-21862 |
백포트 | HIVE-21846 |
백포트 | HIVE-21837 |
백포트 | HIVE-21834 |
백포트 | HIVE-21832 |
백포트 | HIVE-21827 |
백포트 | HIVE-21822 |
백포트 | HIVE-21818 |
백포트 | HIVE-21815 |
백포트 | HIVE-21805 |
백포트 | HIVE-21799 |
백포트 | HIVE-21794 |
백포트 | HIVE-21768 |
백포트 | HIVE-21746 |
백포트 | HIVE-21717 |
백포트 | HIVE-21685 |
백포트 | HIVE-21681 |
백포트 | HIVE-21651 |
백포트 | HIVE-21619 |
백포트 | HIVE-21592 |
백포트 | HIVE-21576 |
백포트 | HIVE-21573 |
백포트 | HIVE-21550 |
백포트 | HIVE-21544 |
백포트 | HIVE-21539 |
백포트 | HIVE-21538 |
백포트 | HIVE-21509 |
백포트 | HIVE-21499 |
백포트 | HIVE-21496 |
백포트 | HIVE-21468 |
백포트 | HIVE-21467 |
백포트 | HIVE-21435 |
백포트 | HIVE-21389 |
백포트 | HIVE-21385 |
백포트 | HIVE-21383 |
백포트 | HIVE-21382 |
백포트 | HIVE-21362 |
백포트 | HIVE-21340 |
백포트 | HIVE-21332 |
백포트 | HIVE-21329 |
백포트 | HIVE-21295 |
백포트 | HIVE-21294 |
백포트 | HIVE-21255 |
백포트 | HIVE-21253 |
백포트 | HIVE-21232 |
백포트 | HIVE-21214 |
백포트 | HIVE-21184 |
백포트 | HIVE-21182 |
백포트 | HIVE-21171 |
백포트 | HIVE-21126 |
백포트 | HIVE-21107 |
백포트 | HIVE-21061 |
백포트 | HIVE-21041 |
백포트 | HIVE-21013 |
백포트 | HIVE-21006 |
백포트 | HIVE-20992 |
백포트 | HIVE-20989 |
백포트 | HIVE-20988 |
백포트 | HIVE-20985 |
백포트 | HIVE-20978 |
백포트 | HIVE-20953 |
백포트 | HIVE-20952 |
백포트 | HIVE-20951 |
백포트 | HIVE-20949 |
백포트 | HIVE-20944 |
백포트 | HIVE-20940 |
백포트 | HIVE-20937 |
백포트 | HIVE-20926 |
백포트 | HIVE-20920 |
백포트 | HIVE-20918 |
백포트 | HIVE-20915 |
백포트 | HIVE-20910 |
백포트 | HIVE-20899 |
백포트 | HIVE-20898 |
백포트 | HIVE-20881 |
백포트 | HIVE-20880 |
백포트 | HIVE-20873 |
백포트 | HIVE-20868 |
백포트 | HIVE-20853 |
백포트 | HIVE-20850 |
백포트 | HIVE-20842 |
백포트 | HIVE-20839 |
백포트 | HIVE-20835 |
백포트 | HIVE-20834 |
백포트 | HIVE-20830 |
백포트 | HIVE-20829 |
백포트 | HIVE-20827 |
백포트 | HIVE-20826 |
백포트 | HIVE-20821 |
백포트 | HIVE-20815 |
백포트 | HIVE-20813 |
백포트 | HIVE-20804 |
백포트 | HIVE-20792 |
백포트 | HIVE-20788 |
백포트 | HIVE-20778 |
백포트 | HIVE-20772 |
백포트 | HIVE-20768 |
백포트 | HIVE-20767 |
백포트 | HIVE-20762 |
백포트 | HIVE-20761 |
백포트 | HIVE-20751 |
백포트 | HIVE-20746 |
백포트 | HIVE-20744 |
백포트 | HIVE-20740 |
백포트 | HIVE-20734 |
백포트 | HIVE-20731 |
백포트 | HIVE-20720 |
백포트 | HIVE-20719 |
백포트 | HIVE-20718 |
백포트 | HIVE-20716 |
백포트 | HIVE-20712 |
백포트 | HIVE-20710 |
백포트 | HIVE-20706 |
백포트 | HIVE-20704 |
백포트 | HIVE-20703 |
백포트 | HIVE-20702 |
백포트 | HIVE-20692 |
백포트 | HIVE-20691 |
백포트 | HIVE-20682 |
백포트 | HIVE-20676 |
백포트 | HIVE-20660 |
백포트 | HIVE-20652 |
백포트 | HIVE-20651 |
백포트 | HIVE-20649 |
백포트 | HIVE-20648 |
백포트 | HIVE-20646 |
백포트 | HIVE-20644 |
백포트 | HIVE-20636 |
백포트 | HIVE-20632 |
백포트 | HIVE-20627 |
백포트 | HIVE-20623 |
백포트 | HIVE-20619 |
백포트 | HIVE-20618 |
백포트 | HIVE-20617 |
백포트 | HIVE-20612 |
백포트 | HIVE-20603 |
백포트 | HIVE-20601 |
백포트 | HIVE-20583 |
백포트 | HIVE-20582 |
백포트 | HIVE-20563 |
백포트 | HIVE-20558 |
백포트 | HIVE-20552 |
백포트 | HIVE-20550 |
백포트 | HIVE-20537 |
백포트 | HIVE-20524 |
백포트 | HIVE-20522 |
백포트 | HIVE-20521 |
백포트 | HIVE-20515 |
백포트 | HIVE-20508 |
백포트 | HIVE-20507 |
백포트 | HIVE-20505 |
백포트 | HIVE-20503 |
백포트 | HIVE-20498 |
백포트 | HIVE-20496 |
백포트 | HIVE-20494 |
백포트 | HIVE-20477 |
백포트 | HIVE-20467 |
백포트 | HIVE-20462 |
백포트 | HIVE-20455 |
백포트 | HIVE-20439 |
백포트 | HIVE-20433 |
백포트 | HIVE-20432 |
백포트 | HIVE-20423 |
백포트 | HIVE-20418 |
백포트 | HIVE-20412 |
백포트 | HIVE-20406 |
백포트 | HIVE-20399 |
백포트 | HIVE-20393 |
백포트 | HIVE-20391 |
백포트 | HIVE-20383 |
백포트 | HIVE-20367 |
백포트 | HIVE-20366 |
백포트 | HIVE-20364 |
백포트 | HIVE-20352 |
백포트 | HIVE-20347 |
백포트 | HIVE-20345 |
백포트 | HIVE-20343 |
백포트 | HIVE-20340 |
백포트 | HIVE-20339 |
백포트 | HIVE-20337 |
백포트 | HIVE-20336 |
백포트 | HIVE-20326 |
백포트 | HIVE-20321 |
백포트 | HIVE-20320 |
백포트 | HIVE-20315 |
백포트 | HIVE-20314 |
백포트 | HIVE-20312 |
백포트 | HIVE-20302 |
백포트 | HIVE-20300 |
백포트 | HIVE-20299 |
백포트 | HIVE-20296 |
백포트 | HIVE-20294 |
백포트 | HIVE-20292 |
백포트 | HIVE-20290 |
백포트 | HIVE-20281 |
백포트 | HIVE-20277 |
백포트 | HIVE-20267 |
백포트 | HIVE-20263 |
백포트 | HIVE-20260 |
백포트 | HIVE-20252 |
백포트 | HIVE-20245 |
백포트 | HIVE-20241 |
백포트 | HIVE-20240 |
백포트 | HIVE-20226 |
백포트 | HIVE-20225 |
백포트 | HIVE-20213 |
백포트 | HIVE-20212 |
백포트 | HIVE-20210 |
백포트 | HIVE-20209 |
백포트 | HIVE-20207 |
백포트 | HIVE-20204 |
백포트 | HIVE-20203 |
백포트 | HIVE-20197 |
백포트 | HIVE-20193 |
백포트 | HIVE-20192 |
백포트 | HIVE-20183 |
백포트 | HIVE-20177 |
백포트 | HIVE-20174 |
백포트 | HIVE-20172 |
백포트 | HIVE-20153 |
백포트 | HIVE-20152 |
백포트 | HIVE-20149 |
백포트 | HIVE-20130 |
백포트 | HIVE-20129 |
백포트 | HIVE-20118 |
백포트 | HIVE-20116 |
백포트 | HIVE-20115 |
백포트 | HIVE-20103 |
백포트 | HIVE-20101 |
백포트 | HIVE-20100 |
백포트 | HIVE-20098 |
백포트 | HIVE-20095 |
백포트 | HIVE-20093 |
백포트 | HIVE-20090 |
백포트 | HIVE-20088 |
백포트 | HIVE-20082 |
백포트 | HIVE-20069 |
백포트 | HIVE-20051 |
백포트 | HIVE-20044 |
백포트 | HIVE-20028 |
백포트 | HIVE-20025 |
백포트 | HIVE-20020 |
백포트 | HIVE-20013 |
백포트 | HIVE-20011 |
백포트 | HIVE-20005 |
백포트 | HIVE-20004 |
백포트 | HIVE-19995 |
백포트 | HIVE-19993 |
백포트 | HIVE-19992 |
백포트 | HIVE-19989 |
백포트 | HIVE-19981 |
백포트 | HIVE-19967 |
백포트 | HIVE-19935 |
백포트 | HIVE-19924 |
백포트 | HIVE-19891 |
백포트 | HIVE-19850 |
백포트 | HIVE-19806 |
백포트 | HIVE-19770 |
백포트 | HIVE-19769 |
백포트 | HIVE-19765 |
백포트 | HIVE-19759 |
백포트 | HIVE-19711 |
백포트 | HIVE-19701 |
백포트 | HIVE-19694 |
백포트 | HIVE-19674 |
백포트 | HIVE-19668 |
백포트 | HIVE-19663 |
백포트 | HIVE-19661 |
백포트 | HIVE-19628 |
백포트 | HIVE-19568 |
백포트 | HIVE-19564 |
백포트 | HIVE-19552 |
백포트 | HIVE-19432 |
백포트 | HIVE-19360 |
백포트 | HIVE-19326 |
백포트 | HIVE-19313 |
백포트 | HIVE-19285 |
백포트 | HIVE-19235 |
백포트 | HIVE-19104 |
백포트 | HIVE-18986 |
백포트 | HIVE-18920 |
백포트 | HIVE-18873 |
백포트 | HIVE-18871 |
백포트 | HIVE-18725 |
백포트 | HIVE-18696 |
백포트 | HIVE-18453 |
백포트 | HIVE-18201 |
백포트 | HIVE-18140 |
백포트 | HIVE-17921 |
백포트 | HIVE-17896 |
백포트 | HIVE-17840 |
백포트 | HIVE-17043 |
백포트 | HIVE-17040 |
백포트 | HIVE-16839 |
백포트 | HIVE-16100 |
백포트 | HIVE-15956 |
백포트 | HIVE-15177 |
백포트 | HIVE-14898 |
백포트 | HIVE-14493 |
백포트 | HIVE-14431 |
백포트 | HIVE-13457 |
백포트 | HIVE-12342 |
백포트 | HIVE-10296 |
백포트 | HIVE-6980 |
Amazon EMR 6.6.0 - Hive 구성 변경
-
OSS 변경 HIVE-20703
의 일환으로 동적 파티션을 정렬하는 속성( hive.optimize.sort.dynamic.partition
)이hive.optimize.sort.dynamic.partition.threshold
로 바뀌었습니다.hive.optimize.sort.dynamic.partition.threshold
구성에는 다음과 같은 잠재적 값이 있습니다.값 설명 0
(기본값)
ORC 파일을 사용할 때 동적 파티션을 정렬하기 위한 최적화를 비용 기반으로 결정합니다. INSERT 쿼리에 허용되는 최대 라이터 수는 (실행기/컨테이너 메모리) * (orc가 차지하는 메모리 비율) 값을 단일 라이터가 사용한 최대 메모리(스트라이프 크기)로 나눈 값을 기준으로 계산됩니다.
-1
동적 파티션을 완전히 정렬하기 위해 최적화를 비활성화합니다.
1
동적 파티션의 글로벌 정렬을 활성화합니다. 이렇게 하면 reducer의 각 파티션 값에 대해 레코드 라이터를 하나만 열어 두므로 reducer에 가해지는 메모리 부담을 줄일 수 있습니다.
2
(또는 더 큰 정수)
지정된 정수를 최대 라이터 수의 임계값으로 사용하도록 Hive에 지시합니다.
Amazon EMR 6.6.0 - Hive 알려진 문제
-
조인과 동일한 열에서 윈도우 함수를 사용하는 쿼리는 HIVE-25278
에서 보고된 바와 같이 잘못된 변환으로 이어져 잘못된 결과를 생성하거나 쿼리에 실패할 수 있습니다. 해결 방법으로 이러한 쿼리에 대해 쿼리 수준에서 CBO를 비활성화할 수 있습니다. 자세한 내용은 AWS 지원팀에 문의하십시오. -
Amazon EMR 6.6.0에는 Hive 소프트웨어 버전 3.1.2가 포함되어 있습니다. Hive 3.1.2에서는 머리글과 바닥글을 포함하는 경우 텍스트 파일을 분할하는 기능을 도입했습니다(HIVE-21924
). Apache Tez App Master는 각 파일을 읽고 데이터 범위에서 오프셋 지점을 결정합니다. 쿼리에서 작은 텍스트 파일을 많이 읽을 경우 이러한 동작이 결합되어 성능이 저하될 수 있습니다. 이 문제를 해결하려면 CombineHiveInputFormat
을 사용하고 다음 속성을 구성하여 최대 분할 크기를 조정합니다.SET hive.tez.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; SET mapreduce.input.fileinputformat.split.maxsize=16777216;
Amazon EMR 6.6.0~6.9.x에서는 ORDER BY 또는 SORT BY 절과 동적 파티션에서의 INSERT 쿼리에 항상 두 개의 reducer가 있습니다. 이 문제는 OSS 변경 HIVE-20703
때문에 발생하며, 이로 인해 비용 기반 의사 결정에 따라 동적 정렬 파티션 최적화가 적용됩니다. 워크로드에 동적 파티션 정렬이 필요하지 않은 경우 새 기능을 비활성화하고 올바르게 계산된 reducer 수를 가져오도록 hive.optimize.sort.dynamic.partition.threshold
속성을-1
로 설정하는 것이 좋습니다. 이 문제는 OSS Hive에서 HIVE-22269일부로 수정되었으며 Amazon EMR 6.10.0에서 수정되었습니다.