Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Amazon EMR 6.6.0 - Note di rilascio di Hive
Amazon EMR 6.6.0 - Modifiche a Hive
Tipo | Descrizione |
---|---|
Upgrade |
Aggiorna Parquet a 1.12.1 |
Upgrade |
Aggiorna la versione dei jar jetty a 9.4.43.v20210629 |
Bug | È stato risolto un problema che causava l'installazione di Hive su tutti i nodi task/core quando LLAP era abilitato su un cluster Hive. |
Backport | HIVE-25942 |
Backport | HIVE-25726 |
Backport | HIVE-25680 |
Backport | HIVE-25554 |
Backport | HIVE-25242 |
Backport | HIVE-25085: i client non sono più condivisi tra le sessioni. |
Backport | HIVE-24827 |
Backport | HIVE-24683 |
Backport | HIVE-24656 |
Backport | HIVE-24556 |
Backport | HIVE-24408 |
Backport | HIVE-24391: Corregge |
Backport | HIVE-24362 |
Backport | HIVE-24316 |
Backport | HIVE-24307: Beeline con property-file e parametro -e |
Backport | HIVE-24245 |
Backport | HIVE-24224 |
Backport | HIVE-24157 |
Backport | HIVE-24113 |
Backport | HIVE-23987 |
Backport | HIVE-23972 |
Backport | HIVE-23806 |
Backport | HIVE-23779 |
Backport | HIVE-23306 |
Backport | HIVE-23164 |
Backport | HIVE-22967 |
Backport | HIVE-22934 |
Backport | HIVE-22901 |
Backport | HIVE-22769 |
Backport | HIVE-22716 |
Backport | HIVE-22648 |
Backport | HIVE-22640 |
Backport | HIVE-22621 |
Backport | HIVE-22533 |
Backport | HIVE-22532 |
Backport | HIVE-22514: potrebbe consumare molta memoria |
Backport | HIVE-22476 |
Backport | HIVE-22429 |
Backport | HIVE-22412 |
Backport | HIVE-22360 |
Backport | HIVE-22332 |
Backport | HIVE-22331 |
Backport | HIVE OperationManager-22275 |
Backport | HIVE-22273 |
Backport | HIVE-22270 |
Backport | HIVE-22241 |
Backport | HIVE-22241: Implementa |
Backport | HIVE-22232 |
Backport | HIVE-22231 |
Backport | HIVE-22221 |
Backport | HIVE-22208 |
Backport | HIVE-22197 |
Backport | HIVE-22170 |
Backport | HIVE-22169 |
Backport | HIVE-22168 |
Backport | HIVE-22161:: |
Backport | HIVE-22120 |
Backport | HIVE-22115 |
Backport | HIVE-22113: Impedisce |
Backport | HIVE-22106 |
Backport | HIVE-22099 |
Backport | HIVE-22037 |
Backport | HIVE-21976 |
Backport | HIVE-21924 |
Backport | HIVE-21913 |
Backport | HIVE-21905 |
Backport | HIVE-21902 |
Backport | HIVE-21888: imposta |
Backport | HIVE-21868 |
Backport | HIVE-21864 |
Backport | HIVE-21863 |
Backport | HIVE-21862 |
Backport | HIVE-21846 |
Backport | HIVE-21837 |
Backport | HIVE-21834 |
Backport | HIVE-21832 |
Backport | HIVE-21827 |
Backport | HIVE-21822 |
Backport | HIVE-21818 |
Backport | HIVE-21815 |
Backport | HIVE-21805:2: HiveServer Usa |
Backport | HIVE-21799 |
Backport | HIVE-21794 |
Backport | HIVE-21768 |
Backport | HIVE-21746 |
Backport | HIVE-21717 |
Backport | HIVE-21685 |
Backport | HIVE-21681 |
Backport | HIVE-21651 |
Backport | HIVE-21619 |
Backport | HIVE-21592 |
Backport | HIVE-21576 |
Backport | HIVE-21573 |
Backport | HIVE-21550 |
Backport | HIVE-21544 |
Backport | HIVE-21539 |
Backport | HIVE-21538 |
Backport | HIVE-21509 |
Backport | HIVE-21499 |
Backport | HIVE-21496 |
Backport | HIVE-21468 |
Backport | HIVE-21467 |
Backport | HIVE-21435 |
Backport | HIVE-21389 |
Backport | HIVE-21385 |
Backport | HIVE-21383: gestore di JDBC archiviazione: utilizza |
Backport | HIVE-21382 |
Backport | HIVE-21362 |
Backport | HIVE-21340 |
Backport | HIVE-21332 |
Backport | HIVE-21329 |
Backport | HIVE-21295 |
Backport | HIVE-21294 |
Backport | HIVE-21255 |
Backport | HIVE-21253 |
Backport | HIVE-21232 |
Backport | HIVE-21214 |
Backport | HIVE-21184 |
Backport | HIVE-21182 |
Backport | HIVE-21171 |
Backport | HIVE-21126 |
Backport | HIVE-21107 |
Backport | HIVE-21061 |
Backport | HIVE-21041 |
Backport | HIVE-21013 |
Backport | HIVE-21006 |
Backport | HIVE-20992 |
Backport | HIVE-20989 |
Backport | HIVE-20988 |
Backport | HIVE-20985 |
Backport | HIVE-20978: «hive.jdbc.*» dovrebbe essere aggiunto a |
Backport | HIVE-20953 |
Backport | HIVE-20952 |
Backport | HIVE-20951 |
Backport | HIVE-20949 |
Backport | HIVE-20944 |
Backport | HIVE-20940 |
Backport | HIVE-20937 |
Backport | HIVE-20926 |
Backport | HIVE-20920 |
Backport | HIVE-20918 |
Backport | HIVE-20915 |
Backport | HIVE-20910 |
Backport | HIVE-20899 |
Backport | HIVE-20898 |
Backport | HIVE-20881: La propagazione costante semplifica eccessivamente le proiezioni |
Backport | HIVE-20880: aggiorna il valore predefinito per hive.stats.filter.in.min.ratio |
Backport | HIVE-20873 |
Backport | HIVE-20868 |
Backport | HIVE-20853: Esporre. |
Backport | HIVE-20850 |
Backport | HIVE-20842 |
Backport | HIVE-20839 |
Backport | HIVE-20835 |
Backport | HIVE-20834: voci Hive |
Backport | HIVE-20830 |
Backport | HIVE-20829: tiri |
Backport | HIVE-20827 |
Backport | HIVE-20826 |
Backport | HIVE-20821 |
Backport | HIVE-20815 |
Backport | HIVE-20813 |
Backport | HIVE-20804 |
Backport | HIVE-20792 |
Backport | HIVE-20788 |
Backport | HIVE-20778 |
Backport | HIVE-20772 |
Backport | HIVE-20768: |
Backport | HIVE-20767 |
Backport | HIVE-20762 |
Backport | HIVE-20761 |
Backport | HIVE-20751 |
Backport | HIVE-20746 |
Backport | HIVE-20744 |
Backport | HIVE-20740 |
Backport | HIVE-20734 |
Backport | HIVE JdbcStorageHandler-20731 |
Backport | HIVE-20720 |
Backport | HIVE-20719 |
Backport | HIVE-20718 |
Backport | HIVE-20716 |
Backport | HIVE HivePointLookupOptimizer -20712 |
Backport | HIVE-20710 |
Backport | HIVE-20706 |
Backport | HIVE-20704 |
Backport | HIVE-20703 |
Backport | HIVE-20702 |
Backport | HIVE-20692 |
Backport | HIVE-20691: corregge org.apache.hadoop.hive.cli |
Backport | HIVE-20682 |
Backport | HIVE-20676 |
Backport | HIVE-20660 |
Backport | HIVE-20652 |
Backport | HIVE JdbcStorageHandler -20651 |
Backport | HIVE-20649 |
Backport | HIVE-20648 |
Backport | HIVE-20646 |
Backport | HIVE-20644 |
Backport | HIVE-20636 |
Backport | HIVE-20632 |
Backport | HIVE-20627 |
Backport | HIVE-20623: Lavoro condiviso: estende la condivisione delle voci della cache map-join |
Backport | HIVE-20619: include in 2 |
Backport | HIVE-20618 |
Backport | HIVE-20617 |
Backport | HIVE-20612 |
Backport | HIVE-20603 |
Backport | HIVEPARTITION-20601 |
Backport | HIVE-20583 |
Backport | HIVE-20582: rende configurabile la registrazione dei protocolli hflush in hive |
Backport | HIVE-20563 |
Backport | HIVE-20558 |
Backport | HIVE-20552 |
Backport | HIVE-20550 |
Backport | HIVE-20537 |
Backport | HIVE-20524 |
Backport | HIVE-20522 |
Backport | HIVE-20521 |
Backport | HIVE-20515 |
Backport | HIVE-20508 |
Backport | HIVE-20507 |
Backport | HIVE-20505: aggiorna org.openjdk.jmh:jmh-core a 1.21 |
Backport | HIVE-20503: |
Backport | HIVE-20498: |
Backport | HIVE-20496: Vettorizzazione: vettorializzata |
Backport | HIVE-20494 |
Backport | HIVE-20477 |
Backport | HIVE-20467 |
Backport | HIVE-20462 |
Backport | HIVE-20455 |
Backport | HIVE-20439 |
Backport | HIVE-20433 |
Backport | HIVE-20432 |
Backport | HIVE-20423: Imposta |
Backport | HIVE-20418 |
Backport | HIVE-20412 |
Backport | HIVE-20406 |
Backport | HIVE-20399 |
Backport | HIVE-20393 |
Backport | HIVE-20391 |
Backport | HIVE-20383 |
Backport | HIVE-20367 |
Backport | HIVE-20366: -DS query78 |
Backport | HIVE-20364 |
Backport | HIVE-20352 |
Backport | HIVE-20347: hive.optimize.sort.dynamic.partition dovrebbe funzionare con partitioned |
Backport | HIVE-20345 |
Backport | HIVE-20343: Hive 3 |
Backport | HIVE-20340 |
Backport | HIVE-20339 |
Backport | HIVE-20337 |
Backport | HIVE-20336 |
Backport | HIVE-20326 |
Backport | HIVE-20321: Vettorizzazione: riduce |
Backport | HIVE-20320 |
Backport | HIVE-20315: vettorizzazione: corregge altri problemi relativi ai risultati errati ed evita cast/conversioni non necessari |
Backport | HIVE-20314: include l'eliminazione delle partizioni nella riscrittura delle viste materializzate |
Backport | HIVE-20312 |
Backport | HIVE-20302 |
Backport | HIVE-20300 |
Backport | HIVE-20299 |
Backport | HIVE-20296 |
Backport | HIVE-20294: Vettorizzazione: correzione |
Backport | HIVE-20292 |
Backport | HIVE-20290 |
Backport | HIVE-20281 |
Backport | HIVE-20277 |
Backport | HIVE-20267: espansione |
Backport | HIVE-20263 |
Backport | HIVE-20260 |
Backport | HIVE-20252 |
Backport | HIVE-20245: Vettorizzazione: Correzione |
Backport | HIVE-20241 |
Backport | HIVE-20240 |
Backport | HIVE-20226 |
Backport | HIVE-20225 |
Backport | HIVE-20213: aggiorna Calcite |
Backport | HIVE-20212 |
Backport | HIVE-20210 |
Backport | HIVE-20209 |
Backport | HIVE-20207: Vettorizzazione: correggi/problemi |
Backport | HIVE-20204: conversione del tipo durante IN |
Backport | HIVE-20203 |
Backport | HIVE-20197 |
Backport | HIVE-20193: non è presente nel piano di spiegazione json |
Backport | HIVE-20192 |
Backport | HIVE-20183 |
Backport | HIVE-20177 |
Backport | HIVE-20174: Vettorizzazione: correzione |
Backport | HIVE-20172 |
Backport | HIVE-20153 |
Backport | HIVE-20152 |
Backport | HIVE-20149 |
Backport | HIVE-20130 |
Backport | HIVE-20129 |
Backport | HIVE-2018 |
Backport | HIVE-20116 |
Backport | HIVE-20115 |
Backport | HIVE-20103 |
Backport | HIVE-20101 |
Backport | HIVE-20100 |
Backport | HIVE-20098 |
Backport | HIVE-20095 |
Backport | HIVE-20093 |
Backport | HIVE-20090 |
Backport | HIVE-20088 |
Backport | HIVE-20082 |
Backport | HIVE-20069 |
Backport | HIVE-20051: ignora |
Backport | HIVE-20044 |
Backport | HIVE-20028 |
Backport | HIVE-20025: pulizia dei file di eventi creati |
Backport | HIVE-20020 |
Backport | HIVE-20013 |
Backport | HIVE-20011 |
Backport | HIVE-20005 |
Backport | HIVE-20004 |
Backport | HIVE-19995 |
Backport | HIVE-19993: Non |
Backport | HIVE-19992 |
Backport | HIVE-19989 |
Backport | HIVE-19981 |
Backport | HIVE-19967 |
Backport | HIVE-19935 |
Backport | HIVE-19924 |
Backport | HIVE-19891 |
Backport | HIVE-19850 |
Backport | HIVE-19806 |
Backport | HIVE-19770 |
Backport | HIVE-19769 |
Backport | HIVE-19765 |
Backport | HIVE-19759: test Flaky |
Backport | HIVE-19711 |
Backport | HIVE-19701 |
Backport | HIVE-19694 |
Backport | HIVE-19674 |
Backport | HIVE-19668 |
Backport | HIVE-19663 |
Backport | HIVE-19661 |
Backport | HIVENPE-19628 |
Backport | HIVE-19568 |
Backport | HIVE-19564: Vettorizzazione: correzione |
Backport | HIVE-19552 |
Backport | HIVE-19432 |
Backport | HIVE-19360 |
Backport | HIVE-19326 |
Backport | HIVE-19313 |
Backport | HIVE-19285 |
Backport | HIVE-19235 |
Backport | HIVE-19104 |
Backport | HIVE-18986 |
Backport | HIVE-18920 |
Backport | HIVE-18873 |
Backport | HIVE-18871 |
Backport | HIVE-18725 |
Backport | HIVE-18696 |
Backport | HIVE-18453 |
Backport | HIVE-18201 |
Backport | HIVE-18140 |
Backport | HIVE-17921 |
Backport | HIVE-17896 |
Backport | HIVE-17840: mangia l'eccezione f. |
Backport | HIVE-17043 |
Backport | HIVE-17040 |
Backport | HIVE-16839 |
Backport | HIVE-16100 |
Backport | HIVE-15956 |
Backport | HIVE-15177 |
Backport | HIVE-14898 |
Backport | HIVE-14493 |
Backport | HIVE-14431 |
Backport | HIVE-13457 |
Backport | HIVE-12342 |
Backport | HIVE-10296 |
Backport | HIVE-6980 |
Amazon EMR 6.6.0 - Modifiche alla configurazione di Hive
-
Come parte della OSS modifica HIVE-20703
, la proprietà per ordinare le partizioni dinamiche è stata sostituita con. hive.optimize.sort.dynamic.partition
hive.optimize.sort.dynamic.partition.threshold
La configurazione
hive.optimize.sort.dynamic.partition.threshold
presenta i seguenti valori potenziali:Valore Descrizione 0
(default) (predefinito)
Rende l'ottimizzazione dell'ordinamento delle partizioni dinamiche una decisione basata sui costi quando vengono utilizzati i file. ORC Il numero massimo di scrittori consentiti nelle INSERT query viene calcolato in base a (memoria esecutore/contenitore) * (percentuale di memoria occupata da orc) diviso per la memoria massima (dimensione dello stripe) occupata da un singolo scrittore.
-1
Disabilita l'ottimizzazione per l'ordinamento completo delle partizioni dinamiche.
1
Consente l'ordinamento globale delle partizioni dinamiche. Ciò mantiene aperto solo un scrittore di record per ogni valore di partizione nel riduttore, riducendo così la pressione della memoria sui riduttori.
2
(or greater integer) (o numero intero maggiore)
Indica a Hive di utilizzare il numero intero specificato come soglia per il numero massimo di scrittori.
Amazon EMR 6.6.0 - Problemi noti di Hive
-
Le interrogazioni con funzioni di finestra sulla stessa colonna di join possono portare a trasformazioni non valide come riportato in HIVE-25278
e causare risultati errati o errori di query. Come soluzione alternativa, è possibile disabilitare CBO tali interrogazioni a livello di query. Contatta l' AWS assistenza per ulteriori informazioni. -
Amazon EMR 6.6.0 include la versione 3.1.2 del software Hive. Hive 3.1.2 introduce una funzionalità che divide i file di testo se contengono un'intestazione e un piè di pagina (-21924). HIVE
Apache Tez App Master legge ciascuno dei file per determinare i punti di offset nell'intervallo di dati. La combinazione di questi comportamenti potrebbe influire negativamente sulle prestazioni se le query leggono un numero elevato di file di testo di piccole dimensioni. Come soluzione alternativa, è possibile utilizzare CombineHiveInputFormat
e regolare la dimensione massima della divisione configurando le seguenti proprietà:SET hive.tez.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; SET mapreduce.input.fileinputformat.split.maxsize=16777216;
Con Amazon da EMR 6.6.0 a 6.9.x, INSERT le query con partizione dinamica e una clausola ORDER BY o SORT BY avranno sempre due riduttori. Questo problema è causato dalla OSS modifica HIVE-20703, che pone l'ottimizzazione dinamica delle partizioni di ordinamento al centro di
una decisione basata sui costi. Se il carico di lavoro non richiede l'ordinamento delle partizioni dinamiche, ti consigliamo di impostare la proprietà hive.optimize.sort.dynamic.partition.threshold
su-1
per disabilitare la nuova caratteristica e ottenere il numero di riduttori calcolato correttamente. Questo problema è stato risolto in OSS Hive come parte di HIVE-22269ed è stato risolto in Amazon 6.10.0. EMR