Amazon EMR 6.11.0: note di rilascio per Hive

Amazon EMR 6.11.0: modifiche di Hive

Tipo	Descrizione
Miglioramenti	Aggiunto il supporto per l'eliminazione multithread delle partizioni per migliorare le prestazioni di eliminazione di queste ultime
Miglioramenti	Supporto della lettura di file di query Hive codificati
Miglioramenti	Abilitazione di Tez Shuffle Handler per impostazione predefinita per i processi Hive su Tez
Bug	Aggiunta un'opzione per abilitare la distribuzione deterministica delle chiavi sui riduttori per correggere il risultato errato quando hive.groupby.skewindata è abilitato (segnalato in HIVE-20220)
Bug	Correzione dell'errore di calcolo delle statistiche quando è configurato il nome della partizione predefinita
Bug	Rispetta tutti i parametri di classificazione SSL personalizzati trasmessi quando SSL viene configurato immediatamente per 2 in un cluster con crittografia in transito abilitata HiveServer
Backport	HIVE-23617: Risolti i problemi relativi alle API di archiviazione FindBug
Backport	HIVE-26408: Vettorizzazione: corregge la deallocazione delle colonne scratch, non riutilizza un elemento secondario come output ConstantVectorExpression
Backport	HiveConfig HIVE-23614: Passa sempre a removeTempOr DuplicateFiles
Backport	HIVE-23354: rimuove il controllo di integrità delle dimensioni del file da compareTempOr DuplicateFiles
Backport	HIVE-20344: Risolto il problema con il lancio di SBA. PrivilegeSynchronizer AccessControlException È stata inoltre introdotta la proprietà hive.privilege.synchronizer per disabilitare la sincronizzazione dei privilegi
Backport	HIVE-15826: Supporta la configurazione di 'serialization.encoding' per tutti SerDes
Backport	HIVE-18284: correzione dell'NPE durante l'inserimento di dati con la clausola "distribute by" con ottimizzazione dell'ordinamento in dynpart
Backport	HIVE-24930: il cortocircuito Operator.setDone() da child op non viene utilizzato nel codepath vettorizzato (se childSize == 1)
Backport	HIVE-24523: il percorso di lettura vettorializzato per non rispetta SERDEPROPERTIES per il timestamp LazySimpleSerde
Backport	HIVE-23265: i set di righe duplicati vengono restituiti con Limit e Offset impostati
Backport	HIVE-21492: impossibile leggere il file di parquet generato utilizzando lo strumento thrift/custom VectorizedParquetRecordReader
Backport	HIVE-22540: Vettorizzazione: le colonne Decimal64 non funzionano con. VectorizedBatchUtil makeLikeColumnVettore ()
Backport	HIVE-22588: svuota le righe rimanenti per il resto dei set di raggruppamento quando si cambia la modalità del vettore groupby
Backport	HIVE-22551: BytesColumnVector InitBuffer dovrebbe pulire il vettore e la lunghezza in modo coerente
Backport	HIVE-22448: CBO: espandi il conteggio multiplo distinto con una chiave group-by
Backport	HIVE-22248: correzione dei problemi persistenti delle statistiche
Backport	HIVE-22210: la vettorizzazione può riutilizzare le colonne di output di calcolo coinvolte nel filtraggio
Backport	HIVE-21531: vettorizzazione: tutti gli hashcode NULL non vengono calcolati utilizzando Murmur3
Backport	HIVE-20419: Vettorizzazione: impedisce la mutazione dopo essere stata utilizzata in una chiave hashmap VectorPartitionDesc
Backport	ClassCastException HIVE-19388 VectorMapJoinCommonOperator : durante l'inizializzazione
Backport	HIVE-21584: preparazione a Java 11: il caricatore di classi di sistema non è Loader URLClass
Backport	HIVE-25107: la registrazione di Classpath deve essere al livello DEBUG (#2271)
Backport	HIVE-22097: java.util non compatibile. ArrayListper java 11
Backport	HIVE-23938: LLAP: JDK11 - alcuni argomenti jvm relativi alla rotazione dei file di registro GC non possono più essere utilizzati
Backport	HIVE-26226: esclusione di jdk.tools dep da hive-metastore in upgrade-acid
Backport	HIVE-17879: aggiornamento del plugin Datanucleus Maven
Backport	HIVE-27004: DateTimeFormatterBuilder # appendZoneText non può analizzare 'UTC+' nelle versioni Java superiori a 8
Backport	HIVE-16812: non filtra gli eventi di eliminazione VectorizedOrcAcidRowBatchReader
Backport	VectorizedOrcAcidRowBatchReaderHIVE-17917:. computeOffsetAndOttimizzazione del secchio
Backport	HIVE-19985: ACID: saltare la decodifica delle sezioni ROW__ID per le query di sola lettura
Backport	HIVE-20635: VectorizedOrcAcidRowBatchReader non filtra gli eventi di eliminazione per i file originali
Upgrade	Aggiornamento di Javadoc a 3.3.1
Upgrade	Aggiornamento di Javassist a 3.24.1-GA
Upgrade	Aggiornamento a apache-directory-server 2.0.0-M14

Nuove configurazioni

Nome	Classificazione	Descrizione
hive.metastore.fs.drop.partition.threads	hive-site	Numero di thread principali nel pool di thread della partizione eliminata.
hive.metastore.fs.drop.partition.keepalive.time	hive-site	Tempo in secondi in cui un thread asincrono della partizione inattiva (dal pool di thread) attende l'arrivo di una nuova attività prima di terminare.
hive.metastore.fs.drop.partition.threadpool.max.queue.size	hive-site	Dimensione massima della coda da utilizzare nel pool di thread per eliminare le partizioni dal file system.
hive.groupby.enable.deterministic.distribution	hive-site	Abilita la distribuzione deterministica delle chiavi sui riduttori. Passa un valore seed costante durante la chiamata alla funzione rand utilizzata per il partizionamento casuale.
hive.privilege.synchronizer	hive-site	Se sincronizzare periodicamente i privilegi dall'autorizzatore esterno in 2. HiveServer
hive.cli.query.file.encoding	hive-site	Codifica dei file per tutti i tipi di file di query (file di query, file di query init, file rc ecc.) forniti negli argomenti CLI.
hive.emr.tez.shuffle.enabled	hive-site	I lavori Hive su Tez ora utilizzano tez_shuffle per impostazione predefinita invece di mapreduce_shuffle come Shuffle Handler predefinito.

Configurazioni obsolete

Le seguenti proprietà di configurazione sono obsolete a causa di HIVE-23354 e non sono più supportate con Amazon EMR 6.11.0 e versioni successive.

Nome	Valore predefinito
hive.mapred.reduce.tasks.speculative.execution	false
tez.am.speculation.enabled	false