Amazon EMR 6.12.0: note di rilascio per Hive - Amazon EMR

Amazon EMR 6.12.0: note di rilascio per Hive

Amazon EMR 6.12.0: modifiche di Hive

Type (Tipo) Descrizione
Miglioramenti Aggiunto il supporto per JDK 11 e JDK 17 Runtime
Miglioramenti Aggiunta del supporto per eseguire query sui nomi delle colonne di parole chiave riservate e con distinzione tra maiuscole e minuscole quando utilizzi S3 Select. Per utilizzarlo, definisci la proprietà della tabella nel formato "s3select.column.mapping" = "column1:fieldName1, column2:fieldName2,..."
Miglioramenti HIVE-23133: le operazioni numeriche possono avere risultati diversi tra gli archi hardware
Miglioramenti HIVE-27145: utilizzo di StrictMath per le restanti funzioni matematiche come seguito di HIVE-23133
Correzioni di bug Correzione dell'incompatibilità con i jolly nelle API HMS get_partitions_by_filter e get_num_partitions_by_filter causata dal porting di HIVE-22900 in EMR Hive 6.4.0
Correzioni di bug HIVE-26736: errore di autorizzazione per le viste annidate con clausola WITH
Correzioni di bug HIVE-22416: log delle operazioni relativi a MR mancanti quando è abilitata l'esecuzione parallela
Correzioni di bug HIVE-19653: pushdown errato dei predicati per groupby con set di raggruppamento
Correzioni di bug HIVE-22094: query con esito negativo con ClassCastException: hive.ql.exec.vector.DecimalColumnVector non può essere lanciata su hive.ql.exec.vector.decimal64ColumnVector
Correzioni di bug HIVE-26340: l'operatore PTF vettorizzato ha esito negtivo se la query ha la funzione di finestra in maiuscolo
Correzioni di bug HIVE-26184: COLLECT_SET con GROUP BY è lento quando alcune chiavi sono molto asimmetriche
Correzioni di bug HIVE-26373: ClassCastException durante la lettura dei timestamp dalla tabella HBase con dati Avro
Correzioni di bug HIVE-26388: ClassCastException quando non è presente una colonna di tipo stringa nella tabella di origine della query CTAS Aggiornamento di HIVE-26172: Hive - Aggiornamento di Ant a 1.10.11 grazie a CVE-2021-36373 e CVE-2021-36374
Correzioni di bug HIVE-26114: la correzione della connessione jdbc hiveserver2 utilizzando il comando dfs con lo spazio del prefisso causa un'eccezione
Correzioni di bug HIVE-26396: la funzione trunc ha un problema con l'intercettazione di precisione e il risultato contiene 0
Correzioni di bug HIVE-26446: HiveProtoLoggingHook non è in grado di compilare il campo TablesWritten per le tabelle partizionate.
Correzioni di bug HIVE-26639: ConstantVectorExpression e ExplainTask non dovrebbero basarsi sul set di caratteri predefinito
Correzioni di bug HIVE-22670: ArrayIndexOutOfBoundsException quando si utilizza un lettore vettoriale per leggere un file parquet
Correzioni di bug HIVE-23607: problema di autorizzazione: la creazione di una vista su di un'altra viene eseguita correttamente ma la modifica della visualizzazione ha esito negativo
Correzioni di bug HIVE-25498: la query con più di 31 funzioni distinte di conteggio restituisce un risultato errato
Correzioni di bug HIVE-25780: DistinctExpansion crea più di 64 set di raggruppamento II
Correzioni di bug HIVE-23868: specifiche della funzione di windowing: supporta 0 precedenti/seguenti
Correzioni di bug HIVE-24539: la generazione dello schema OrcInputFormat deve rispettare il delimitatore di colonna
Correzioni di bug HIVE-23476: LLAP: preallocazione delle arene anche per il caso mmap
Correzioni di bug HIVE-25806: possibile perdita di dati in LlapCacheAwareFs - Parquet, LLAP I/O
Correzioni di bug HIVE-23498: disabilitazione del metodo HTTP Trace su ThriftHttpCliService
Correzioni di bug HIVE-25729: ThriftUnionObjectInspector deve ricevere una notifica quando è completamente avviato
Correzioni di bug HIVE-23846: possibilità di evitare la serializzazione e la deserializzazione non necessarie dei bitvector
Correzioni di bug HIVE-24233: la sottoquery except genera nullpointer con cbo disabilitato
Correzioni di bug HIVE-24276: vulnerabilità scripting cross-site (XSS) di HiveServer2 loggerconf jsp
Correzioni di bug HIVE-25721: il risultato di outer join è errato
Correzioni di bug HIVE-25223: selezione con limite non restituisce alcuna riga su una tabella non nativa
Correzioni di bug HIVE-25794: CombineHiveRecordReader: le istruzioni di log in un ciclo causano una pressione della memoria
Correzioni di bug HIVE-23602: utilizzo di Java Concurrent Package per Operation Handle Set
Correzioni di bug HIVE-24045: nessun log relativo alla creazione del database predefinito
Correzioni di bug HIVE-24305: lo schema decimale avro non inserisce correttamente il dimensionamento o la precisione se il valore è racchiuso tra virgolette
Correzioni di bug HIVE-25844: errori di deserializzazione eccezionali possono causare la terminazione immediata di beeline
Correzioni di bug HIVE-25040: Drop database cascade non può rimuovere le funzioni persistenti
Correzioni di bug HIVE-23501: AOOB in VectorDeserializeRow quando i tipi complessi vengono convertiti in tipi primitivi
Correzioni di bug HIVE-23704: il server HTTP Thrift non gestisce correttamente l'handle di autenticazione
Correzioni di bug HIVE-23529: CTAS è interrotto per uniontype quando row_deserialize
Correzioni di bug HIVE-24144: getIdentifierQuoteString in HiveDatabaseMetadata restituisce un valore errato
Correzioni di bug HIVE-23850: consente PPD quando il soggetto non è una colonna con set di raggruppamento presenti
Correzioni di bug HIVE-24036: Kryo Exception durante la serializzazione del piano per la chiamata UDF getSplits
Correzioni di bug HIVE-25919: ClassCastException quando si invia il predicato di colonna booleano in HBaseStorageHandler
Correzioni di bug HIVE-25261: RetryingHMSHandler dovrebbe racchiudere MetaException con una breve descrizione del target
Correzioni di bug HIVE-24792: potenziale perdita di thread durante il funzionamento
Correzioni di bug HIVE-23409: Se la riapertura dell'applicazione TezSession ha esito negativo a causa dell'interruzione del servizio Timeline, la TEZSession predefinita di SessionPool viene chiusa dopo un nuovo tentativo
Correzioni di bug HIVE-23615: nessuna deferenza a puntatori nulli nella classe dei comandi di Beeline
Correzioni di bug HIVE-24849: creazione di un timeout esterno per il socket della tabella quando la posizione ha un numero elevato di file (riguarda la versione 3.1.2)
Correzioni di bug HIVE-24193: la query di selezione sulla tabella hive acid rinominata non produce alcun output
Correzioni di bug HIVE-25209: query SELECT con funzione SUM che produce risultati imprevisti
Correzioni di bug HIVE-23666: checkHashModeEfficiency viene saltato quando un operatore groupby non dispone di un set di raggruppamento
Correzioni di bug HIVE-23873: la query della tabella JDBCStorageHandler di Hive ha esito negativo con NPE quando CBO è disattivato
Correzioni di bug HIVE-24149: HiveStreamingConnection non chiude la connessione HMS
Correzioni di bug HIVE-25561: l'attività interrotta non deve salvare il file. (Riguarda le versioni 2.x e 3.x)
Correzioni di bug HIVE-25683: chiusura del lettore in AcidUtils.isRawFormatFile
Correzioni di bug HIVE-24294: le sessioni TEZSessionPool possono generare AssertionError
Correzioni di bug HIVE-24182: problema di autorizzazione Ranger con UDF permanenti
Correzioni di bug HIVE-22805: la vettorizzazione con array o mappa condizionale non è implementata e genera un errore
Correzioni di bug HIVE-22828: Decimal64: le istruzioni NVL e CASE convertono implicitamente decimal64 in 128
Correzioni di bug HIVE-21398: le colonne che contengono statistiche stimate non devono essere considerate chiavi univoche
Correzioni di bug HIVE-22490: l'aggiunta di jar con caratteri speciali nel loro percorso genera un errore
Correzioni di bug HIVE-22700: le compattazioni possono perdere memoria se non autorizzate
Correzioni di bug HIVE-22053: il nome della funzione non è normalizzato durante la creazione della funzione
Correzioni di bug HIVE-22595: gli inserimenti dinamici delle partizioni hanno esito negativo sulla tabella Avro con schema esterno
Correzioni di bug HIVE-21795: la riga di riepilogo del rollup potrebbe mancare quando si verifica un mapjoin su una tabella partizionata
Correzioni di bug HIVE-22987: ClassCastException in VectorCoalescE quando DataTypePhysicalVariation è nullo
Correzioni di bug HIVE-22814: ArrayIndexOutOfBound nella vettorizzazione getDataTypePhysicalVariation
Correzioni di bug HIVE-22523: il gestore degli errori in LlapRecordReader potrebbe bloccarsi se la coda è piena
Correzioni di bug HIVE-21796: ArrayWritableObjectInspector.equals può richiedere del tempo O(2^nesting_depth)
Correzioni di bug HIVE-22929: prestazioni: l'analisi degli identificatori tra virgolette utilizza Regex usa e getta tramite String.replaceAll()
Correzioni di bug HIVE-21641: il client esterno Llap restituisce colonne decimali con precisione/dimensionamento diversi rispetto a beeline
Correzioni di bug HIVE-22207: Tez: SplitGenerator genera NumberFormatException quando "dfs.block.size" sul cluster è "128m"
Correzioni di bug HIVE-22114: la query di inserimento per la sola tabella partizionata ha esito negativo quando tutti i bucket sono vuoti
Correzioni di bug HIVE-22165: la sincronizzazione introdotta da HIVE-14296 su SessionManager.closeSession causa un'elevata latenza in un server hive occupato
Correzioni di bug HIVE-22744: TezTask per il vertice con più di un outedge dovrebbe avere una memoria di ordinamento proporzionale
Correzioni di bug HIVE-22072: l'alterazione della tabella per apportare una modifica alla colonna non aggiorna i riferimenti ai vincoli
Correzioni di bug HIVE-22075: correzione della regressione max-reducers=1 da HIVE-14200
Correzioni di bug HIVE-22527: Hive su Tez: il processo di unione di file di piccole dimensioni viene inviato in un'altra coda (coda predefinita)
Correzioni di bug HIVE-22816: QueryCache: le query che utilizzano le viste possono averle memorizzate nella cache dopo l'espansione CTE
Correzioni di bug HIVE-22733: dopo aver disabilitato la proprietà del log delle operazioni in hive, HS2 sta ancora salvando il log delle operazioni
Correzioni di bug HIVE-22699: le UDF della maschera devono mascherare il valore numerico 0
Correzioni di bug HIVE-23356: l'aggregazione di hash è sempre disabilitata durante l'elaborazione di query con espressioni di set di raggruppamento.
Correzioni di bug HIVE-21568: HiveRelOptUtil.isRowFilteringPlan dovrebbe saltare il progetto
Correzioni di bug HIVE-21760: l'ottimizzazione del lavoro condiviso deve essere ignorata per i join SMB
Correzioni di bug HIVE-22712: il driver ReExec esegue l'invio della query nella coda predefinita indipendentemente dalla coda definita dall'utente
Correzioni di bug HIVE-21397: la tabella BloomFilter per hive Managed [ACID] non funziona come previsto
Correzioni di bug HIVE-23011: lo strumento di ottimizzazione del lavoro condiviso dovrebbe controllare i predicati residui quando si confrontano i join
Correzioni di bug HIVE-21412: PostExecOrcFileDump non funziona con le tabelle ACID
Correzioni di bug HIVE-22201: ConvertJoinMapJoin#checkShuffleSizeForLargeTable genera ArrayIndexOutOfBoundsException se non è selezionata alcuna tabella grande
Correzioni di bug HIVE-21971: HS2 perde il classloader a causa di "ReflectionUtils::CONSTRUCTOR_CACHE" con funzioni temporanee + GenericUDF
Correzioni di bug HIVE-21368: vettorizzazione: conversione Decimal64 -> HiveDecimal non necessaria
Correzioni di bug HIVE-25416: perdita di memoria del metastore di Hive a causa del bug datanucleus-api-jdo
Correzioni di bug HIVE-22219: la disattivazione di un gestore di nodi blocca il riavvio del servizio LLAP
Correzioni di bug HIVE-21793: CBO recupera le statistiche delle colonne anche se hive.stats.fetch.column.stats è impostato su falso
Correzioni di bug HIVE-22163: CBO: l'abilitazione di CBO attiva la stima delle statistiche, anche quando la stima è disabilitata
Correzioni di bug HIVE-18735: creazione di una tabella come se si verificasse la perdita dell'attributo transazionale
Correzioni di bug HIVE-22433: Hive JDBC Storage Handler: risultati errati recuperati da BOOLEAN e TIMESTAMP DataType dall'origine dati JDBC
Correzioni di bug HIVE-19430: ObjectStore.cleanNotificationEvents OutOfMemory su un gran numero di eventi in sospeso
Correzioni di bug HIVE-20785: nome chiave errato nel metodo JDBC DatabaseMetadata.getPrimaryKeys
Correzioni di bug HIVE-16116: Beeline genera NPE quando beeline.hiveconfvariables={} in beeline.properties
Correzioni di bug HIVE-20066: hive.load.data.owner viene confrontato con il principale completo
Correzioni di bug HIVE-20489: spiegazione del piano dei blocchi delle query
Correzioni di bug HIVE-21033: dimenticare di chiudere l'operazione interrompe l'ulteriore output di HiveServer2
Correzioni di bug HIVE-19888: avviso fuorviante "METASTORE_FILTER_HOOK will be ignored" da SessionState
Correzioni di bug HIVE-20303: INSERT OVERWRITE TABLE db.table PARTITION (…) IF NOT EXISTS genera InvalidTableException
Correzioni di bug HIVE-16144: CompactionInfo non ha equals/hashCode ma viene utilizzato in Set
Correzioni di bug HIVE-20818: le viste create con una sottoquery WHERE considerano le viste a cui si fa riferimento nella sottoquery come input diretto
Correzioni di bug HIVE-21005: LLAP: la lettura di più strisce per split perde ZlibCodecs
Correzioni di bug HIVE-20771: LazyBinarySerde ha esito negativo su strutture vuote.
Correzioni di bug HIVE-18852: messaggio di errore fuorviante nella convalida della tabella alter
Correzioni di bug HIVE-21124: HPL/SQL non supporta l'istruzione CREATE TABLE LIKE
Correzioni di bug HIVE-20935: il caricamento del file tarball del pacchetto llap ha esito negativo in EC2, causando un errore di avvio del servizio LLAP
Correzioni di bug HIVE-20409: Hive ACID: Aggiorna/elimina/unisci non pulisce la directory di staging hdfs
Correzioni di bug HIVE-20570: union ALL con hive.optimize.union.remove=true contiene un piano errato
Correzioni di bug HIVE-20421: entità di caratteri non valida "\b" in hive-default.xml.template
Correzioni di bug HIVE-19133: i parametri delle prestazioni fase per fase di HS2 WebUI non vengono visualizzati correttamente
Correzioni di bug HIVE-18977: l'elenco delle partizioni restituisce risultati diversi con JDO e Direct SQL
Correzioni di bug HIVE-20034: ripristino delle modifiche alla gestione delle eccezioni di MetaStore per la compatibilità con le versioni precedenti
Correzioni di bug HIVE-20672: il thread di registrazione in LlapTaskSchedulerService dovrebbe riportare ogni intervallo fisso
Correzioni di bug HIVE-12812: abilitazione di mapred.input.dir.recursive per impostazione predefinita per supportare l'unione con la funzione aggregata
Correzioni di bug HIVE-20147: l'importazione dello streaming di Hive si basa sulla registrazione sincronizzata
Correzioni di bug HIVE-19203: problema di sicurezza dei thread in HiveMetastore
Correzioni di bug HIVE-20091: Tez: aggiunta di credenziali di sicurezza per l'output di FileSinkOperator
Correzioni di bug HIVE-16906: Hive ATSHook dovrebbe verificare la presenza di yarn.timeline-service.enabled prima di connettersi ad ATS
Correzioni di bug HIVE-20714: SHOW tblproperties per una proprietà singola restituisce il valore nella colonna del nome
Correzioni di bug HIVE-24730: le classi Shims sovrascrivono silenziosamente i valori di hive-site.xml e tez-site.xml
Correzioni di bug HIVE-22055: il conteggio delle selezioni fornisce un risultato errato dopo il caricamento dei dati dal file di testo