Amazon EMR 6.8.0 - Note sul rilascio di Hive - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Amazon EMR 6.8.0 - Note sul rilascio di Hive

Amazon EMR 6.8.0 - Modifiche a Hive

Type Descrizione
Miglioramenti Riduci le chiamate al file system nel comando msck. Miglioramenti delle prestazioni (~15-20 volte su oltre 10.000 partizioni)
Backport HIVE-20678: HiveH HiveOutputFormat dovrebbe BaseTableOutputFormat essere implementato per garantire la compatibilità
Backport HIVE-21040: msck elenca i file non necessari all'ultimo livello dell'albero di directory
Backport HIVE-21460: il caricamento dei dati seguito da una query seleziona * produce risultati errati
Backport HIVE-21660: risultato errato quando si utilizza l'unione completa e la vista successiva con explode
Backport HIVE-22505: causato da una selezione vettoriale errata dell'operatore ClassCastException
Backport HIVE-22513: la propagazione costante della colonna generata nelle operazioni di filtro può causare risultati errati
Backport HIVE-23435: mancano le righe al risultato completo dell'outer join
Backport HIVE-24209: conversione errata degli argomenti di ricerca per l'operazione NOT BETWEEN quando la vettorizzazione è abilitata
Backport HIVE-24934: l'annotazione non è necessaria in GenericUDFsq VectorizedExpressions CountCheck
Backport HIVE-25278: può eseguire trasformazioni non valide con espressioni in finestra HiveProjectJoinTransposeRule
Backport HIVE-25505: risultati errati con l'intestazione. skip.header.line.count se la prima riga è vuota
Backport HIVE-26080: Aggiorna accumulo-core a 1.10.1
Backport HIVE-26235: La condizione OR sulla colonna binaria restituisce un risultato vuoto
Bug Corregge più registri di avvisi relativi ai binding SLF4J in stderr durante l'avvio
Bug Corregge l'errore della query SHOW TABLE EXTENDED con l'errore FS errato quando la partizione e la tabella si trovano su file.

Amazon EMR 6.8.0 - Problemi noti di Hive

  • Con le versioni da 6.6.0 a 6.9.x di Amazon EMR, le query INSERT con partizione dinamica e una clausola ORDER BY o SORT BY avranno sempre due riduttori. Questo problema è causato dalla modifica dell'OSS HIVE-20703, che assoggetta l'ottimizzazione dinamica delle partizioni di ordinamento a una decisione basata sui costi. Se il carico di lavoro non richiede l'ordinamento delle partizioni dinamiche, ti consigliamo di impostare la proprietà hive.optimize.sort.dynamic.partition.threshold su -1 per disabilitare la nuova caratteristica e ottenere il numero di riduttori calcolato correttamente. Questo problema è stato corretto in OSS Hive come parte di HIVE-22269 ed è stato risolto in Amazon EMR 6.10.0.