View a markdown version of this page

Amazon EMR 6.8.0 - Note sul rilascio di Hive - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Amazon EMR 6.8.0 - Note sul rilascio di Hive

Amazon EMR 6.8.0 - Modifiche a Hive

Tipo Description
Miglioramenti Riduci le chiamate al file system nel comando msck. Miglioramenti delle prestazioni (~15-20 volte su oltre 10.000 partizioni)
Backport HIVE-20678: HiveHBaseTableOutputFormat dovrebbe essere implementato HiveOutputFormat per garantire la compatibilità
Backport HIVE-21040: msck elenca i file non necessari all'ultimo livello dell'albero delle directory
Backport HIVE-21460: Il caricamento dei dati seguiti da una query select * produce risultati errati
Backport HIVE-21660: Risultato errato quando si usa union all e later view with explode
Backport HIVE-22505: ClassCastException causato da una selezione errata dell'operatore vettorializzato
Backport HIVE-22513: La propagazione costante della colonna proiettata nelle operazioni di filtro può causare risultati errati
Backport HIVE-23435: Il risultato completo dell'unione esterna è costituito da righe mancanti
Backport HIVE-24209: Conversione errata dell'argomento di ricerca per l'operazione NOT BETWEEN quando la vettorizzazione è abilitata
Backport HIVE-24934: l' VectorizedExpressions annotazione non è necessaria in GenericUDFSQCountCheck
Backport HIVE-25278: HiveProjectJoinTransposeRule può eseguire trasformazioni non valide con espressioni a finestra
Backport HIVE-25505: risultati errati con header. skip.header.line.count se la prima riga è vuota
Backport HIVE-26080: Aggiorna accumulo-core alla versione 1.10.1
Backport HIVE-26235: OR La condizione sulla colonna binaria restituisce un risultato vuoto
Bug Corregge più registri di avvisi relativi ai binding SLF4J in stderr durante l'avvio
Bug Corregge l'errore della query SHOW TABLE EXTENDED con l'errore FS errato quando la partizione e la tabella si trovano su file.

Amazon EMR 6.8.0 - Problemi noti di Hive

  • Con le versioni da 6.6.0 a 6.9.x di Amazon EMR, le query INSERT con partizione dinamica e una clausola ORDER BY o SORT BY avranno sempre due riduttori. Questo problema è causato dalla modifica dell'OSS HIVE-20703, che subordina l'ottimizzazione delle partizioni di ordinamento dinamico a una decisione basata sui costi. Se il carico di lavoro non richiede l'ordinamento delle partizioni dinamiche, ti consigliamo di impostare la proprietà hive.optimize.sort.dynamic.partition.threshold su -1 per disabilitare la nuova caratteristica e ottenere il numero di riduttori calcolato correttamente. Questo problema è stato risolto in OSS Hive come parte di HIVE-22269 e viene risolto in Amazon EMR 6.10.0.