Amazon EMR 6.8.0 - Note sul rilascio di Hive

PDFRSS

Amazon EMR 6.8.0 - Modifiche a Hive

Tipo	Descrizione
Miglioramenti	Riduci le chiamate al file system nel comando msck. Miglioramenti delle prestazioni (~15-20 volte su oltre 10.000 partizioni)
Backport	HIVE-20678: Hive dovrebbe HBase TableOutputFormat HiveOutputFormat essere implementato per garantire la compatibilità
Backport	HIVE-21040: msck elenca i file non necessari all'ultimo livello dell'albero di directory
Backport	HIVE-21460: il caricamento dei dati seguito da una query seleziona * produce risultati errati
Backport	HIVE-21660: risultato errato quando si utilizza l'unione completa e la vista successiva con explode
Backport	HIVE-22505: causato da una selezione vettoriale errata dell'operatore ClassCastException
Backport	HIVE-22513: la propagazione costante della colonna generata nelle operazioni di filtro può causare risultati errati
Backport	HIVE-23435: mancano le righe al risultato completo dell'outer join
Backport	HIVE-24209: conversione errata degli argomenti di ricerca per l'operazione NOT BETWEEN quando la vettorizzazione è abilitata
Backport	HIVE-24934: l'annotazione non è necessaria in Generic Check VectorizedExpressions UDFSQCount
Backport	HIVE-25278: HiveProjectJoinTransposeRule può eseguire trasformazioni non valide con espressioni in finestra
Backport	HIVE-25505: risultati errati con l'intestazione. skip.header.line.count se la prima riga è vuota
Backport	HIVE-26080: Aggiorna accumulo-core a 1.10.1
Backport	HIVE-26235: La condizione OR sulla colonna binaria restituisce un risultato vuoto
Bug	Correggi i registri di avviso di più collegamenti SLF4 J in stderr durante l'avvio
Bug	Corregge l'errore della query SHOW TABLE EXTENDED con l'errore FS errato quando la partizione e la tabella si trovano su file.

Amazon EMR 6.8.0 - Problemi noti di Hive

• Con le versioni da 6.6.0 a 6.9.x di Amazon EMR, le query INSERT con partizione dinamica e una clausola ORDER BY o SORT BY avranno sempre due riduttori. Questo problema è causato dalla modifica dell'OSS HIVE-20703, che assoggetta l'ottimizzazione dinamica delle partizioni di ordinamento a una decisione basata sui costi. Se il carico di lavoro non richiede l'ordinamento delle partizioni dinamiche, ti consigliamo di impostare la proprietà hive.optimize.sort.dynamic.partition.threshold su -1 per disabilitare la nuova caratteristica e ottenere il numero di riduttori calcolato correttamente. Questo problema è stato corretto in OSS Hive come parte di HIVE-22269 ed è stato risolto in Amazon EMR 6.10.0.