Seleziona le tue preferenze relative ai cookie

Utilizziamo cookie essenziali e strumenti simili necessari per fornire il nostro sito e i nostri servizi. Utilizziamo i cookie prestazionali per raccogliere statistiche anonime in modo da poter capire come i clienti utilizzano il nostro sito e apportare miglioramenti. I cookie essenziali non possono essere disattivati, ma puoi fare clic su \"Personalizza\" o \"Rifiuta\" per rifiutare i cookie prestazionali.

Se sei d'accordo, AWS e le terze parti approvate utilizzeranno i cookie anche per fornire utili funzionalità del sito, ricordare le tue preferenze e visualizzare contenuti pertinenti, inclusa la pubblicità pertinente. Per continuare senza accettare questi cookie, fai clic su \"Continua\" o \"Rifiuta\". Per effettuare scelte più dettagliate o saperne di più, fai clic su \"Personalizza\".

Amazon EMR 6.6.0 - Note di rilascio di Hive - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Amazon EMR 6.6.0 - Note di rilascio di Hive

Amazon EMR 6.6.0 - Modifiche a Hive

Tipo Descrizione
Upgrade

Aggiorna Parquet a 1.12.1.

Upgrade

Aggiorna la versione dei jar jetty a 9.4.43.v20210629

Bug È stato risolto un problema che causava l'installazione di Hive su tutti i nodi task/core quando LLAP era abilitato su un cluster Hive.
Backport HIVE-25942: Aggiorna commons-io alla versione 2.8.0 grazie a -2021-29425 CVE
Backport HIVE-25726: aggiorna la velocità a 2.3 grazie a CVE -2020-13936
Backport HIVE-25680: autorizza il server #get_table_meta a utilizzare uno qualsiasi dei modelli di autorizzazione. HiveMetastore API HiveMetastore
Backport HIVE-25554: Aggiorna la versione di Arrow alla 0.15
Backport HIVE-25242: La query viene eseguita in modo estremamente lento con vectorized.adaptor = chosen
Backport HIVE-25085: i client non sono più condivisi tra le sessioni. MetaStore
Backport HIVE-24827: la query di aggregazione Hive restituisce risultati errati per file non di testo.
Backport HIVE-24683: Hadoop23Shims è incline a utilizzare percorsi inesistenti getFileId NPE
Backport HIVE-24656: fallisce per le interrogazioni con è null sui tipi di mappa e array CBO
Backport HIVE-24556: ottimizzato per i casi senza nipoti DefaultGraphWalker
Backport HIVE-24408: aggiorna Parquet alla versione 1.11.1
Backport HIVE-24391: Corregge gli errori in branch-3.1 FIX TestOrcFile
Backport HIVE-24362: l'elaborazione degli alberi non è ottimale per AST alberi con un numero elevato di nodi
Backport HIVE-24316: aggiornamento ORC da 1.5.6 a 1.5.8 in branch-3.1
Backport HIVE-24307: Beeline con property-file e parametro -e non funziona
Backport HIVE-24245: PTF vettorializzato con count e distinto su una partizione che produce risultati errati.
Backport HIVE-24224: Risolto il problema di saltare l'intestazione/il piè di pagina per Hive on Tez su un file compresso
Backport HIVE-24157: modalità rigorosa per fallire su timestamp ↔ numeric CAST
Backport HIVE-24113: NPE in G enericUDFTo UnixTimeStamp
Backport HIVE-23987: Aggiorna la versione di arrow alla 0.11.0
Backport HIVE-23972: aggiunge l'ID client esterno al client esterno LLAP
Backport HIVE-23806: Evita di cancellare gli stati statistici delle colonne in tutte le partizioni nel caso in cui lo schema venga esteso. Ciò migliora il runtime dell'istruzione "alter table add columns" ("modifica tabelle aggiungi colonne").
Backport HIVE-23779: Le informazioni non vengono stampate nella console di Beeline BasicStatsTask
Backport HIVE-23306: il RESET comando non funziona se è presente una configurazione impostata da System. getProperty
Backport HIVE-23164: Il server non è terminato correttamente a causa di thread non daemon
Backport HIVE-22967: Support hive.reloadable.aux.jars.path per Hive on Tez
Backport HIVE-22934: contatori di registro interattivi del server Hive per il flusso di errori
Backport HIVE-22901: La sostituzione delle variabili può portare a riferimenti circolari OOM
Backport HIVE-22769: risultati di interrogazione errati ed errore di interrogazione durante la generazione di file di testo compressi
Backport HIVE-22716: Reading to è interrotto ByteBuffer ParquetFooterInputFromCache
Backport HIVE-22648: aggiorna Parquet alla versione 1.11.0
Backport HIVE-22640: Decimal64: quando il tipo di colonna della partizione è Decimale ColumnVector ClassCastException
Backport HIVE-22621: testcase TestLlapSignerImpl instabile:. testSigning
Backport HIVE-22533: corregge possibili vulnerabilità dell'interfaccia utente web LLAP daemon
Backport HIVE-22532: PTFPPD può spingere il limite in modo errato tramite la funzione Rank/ DenseRank
Backport HIVE-22514: potrebbe consumare molta memoria HiveProtoLoggingHook
Backport HIVE-22476: la funzione Hive datediff ha fornito risultati incoerenti quando hive.fetch.task.conversion è impostata su none
Backport HIVE-22429: le tabelle cluster migrate che utilizzano bucketing_version 1 su hive 3 utilizzano bucketing_version 2 per gli inserti
Backport HIVE-22412: StatsUtils lancia quando spiega NPE
Backport HIVE-22360: MultiDelimitSerDe restituisce risultati errati nell'ultima colonna quando il file caricato ha più colonne di quelle nello schema della tabella
Backport HIVE-22332: Hive dovrebbe garantire impostazioni di evoluzione dello schema valide dal -540 ORC
Backport HIVE-22331: unix_timestamp senza argomento restituisce il timestamp in millisecondi anziché in secondi
Backport HIVE OperationManager-22275:. queryIdOperationnon pulisce correttamente più elementi queryIds
Backport HIVE-22273: il controllo dell'accesso non riesce quando viene rimossa una directory temporanea
Backport HIVE-22270: aggiorna commons-io alla versione 2.6
Backport HIVE-22241: UDF Implementa l'interpretazione di data/ora utilizzando la sua rappresentazione interna e il calendario ibrido gregoriano-giuliano
Backport HIVE-22241: Implementa l'interpretazione di data/ora utilizzando la sua rappresentazione interna e l'ibrido gregoriano-giuliano UDF
Backport HIVE-22232NPE: quando hive.order.columnalignment è impostato su false
Backport HIVE-22231: la query Hive con grandi dimensioni tramite knox fallisce con Broken pipe Write fallita
Backport HIVE-22221: client esterno Llap - È necessario ridurre # LlapBaseInputFormat getSplits
Backport HIVE-22208: il nome della colonna con parola chiave riservata non viene ignorato quando la query che include il join sulla tabella con la colonna mask viene riscritta
Backport HIVE-22197: Common Merge join genera l'eccezione cast della classe.
Backport HIVE-22170: from_unixtime e unix_timestamp devono utilizzare il fuso orario della sessione utente
Backport HIVE-22169: Tez: prova a cercare file di piano che non esisteranno per Tez SplitGenerator
Backport HIVE-22168: rimuove la registrazione molto costosa dall'hotpath della cache llap
Backport HIVE-22161:: si sincronizza su org.apache.hadoop.hive.ql.udf. UDF FunctionRegistry UDFTypeclasse
Backport HIVE-22120: corregge i risultati/le ArrayOutOfBound eccezioni errati nelle giunzioni della mappa esterna sinistra in base a condizioni limite specifiche
Backport HIVE-22115: impedisce la creazione dell'appender di routing delle query se la proprietà è impostata su false
Backport HIVE-22113: Impedisce l'arresto del dispositivo correlato LLAP AMReporter RuntimeException
Backport HIVE-22106: rimuove la sincronizzazione tra query per il partition-eval
Backport HIVE-22099: Diverse date relative a date non sono in grado di gestire correttamente le date giuliane a partire da -20007 UDFs HIVE
Backport HIVE-22037: HS2 dovrebbe registrarsi quando si spegne a causa di OOM
Backport HIVE-21976: L'offset dovrebbe essere nullo anziché zero in Calcite HiveSortLimit
Backport HIVE-21924: divide i file di testo anche se esiste l'intestazione/piè di pagina
Backport HIVE-21913: G enericUDTFGet Splits dovrebbe gestire i nomi utente allo stesso modo di LLAP
Backport HIVE-21905: miglioramento dei farmaci generici durante la classe FetchOperator
Backport HIVE-21902: HiveServer 2 UI: è necessario l'header Jetty Response X-Frame-Options
Backport HIVE-21888: imposta il valore predefinito di hive.parquet.timestamp.skip.conversion su true
Backport HIVE-21868: CAST vettorializza... FORMAT
Backport HIVE-21864: # LlapBaseInputFormat closeAll
Backport HIVE-21863: Migliora il casting del tipo Vectorizer per l'espressione WHEN
Backport HIVE-21862: ppd produce risultati errati con timestamp ORC
Backport HIVE-21846: crea un thread in TeZam che recuperi periodicamente le metriche LlapDaemon
Backport HIVE-21837: genera un'eccezione quando la colonna MapJoin selezionata ha valori completamente nulli
Backport HIVE-21834: evita chiamate non necessarie per semplificare le condizioni del filtro
Backport HIVE-21832: nuove metriche per ottenere il tempo medio queue/serving/response
Backport HIVE-21827: più chiamate in SemanticAnalyzer entrata non passano attraverso il metodo getTableObject ByName
Backport HIVE-21822: LlapDaemon esponi le metriche tramite un nuovo metodo API
Backport HIVE-21818:: La copia genera traffico di metastore CBO TableRelOptHiveTable
Backport HIVE-21815: Le statistiche nel file vengono analizzate due volte ORC
Backport HIVE-21805:2: HiveServer Usa il veloce ShutdownHookManager APIs
Backport HIVE-21799: NullPointerException in DynamicPartitionPruningOptimization, quando la chiave di unione si trova nella colonna di aggregazione
Backport HIVE-21794: aggiunge i parametri della vista materializzata a sqlStdAuth SafeVarNameRegexes
Backport HIVE-21768:JDBC: Elimina il prefisso di unione predefinito per le interrogazioni non racchiuse UNION
Backport HIVE-21746: durante l'hash join partizionato dinamicamente, con disabilitato ArrayIndexOutOfBoundsException CBO
Backport HIVE-21717: La ridenominazione non è riuscita per l'operazione di spostamento della cartella.
Backport HIVE-21685: semplificazione errata nella query con più clausole IN
Backport HIVE-21681: Descrive formatted mostra informazioni errate per più chiavi primarie
Backport HIVE-21651: sposta il server protobuf in hive-exec.
Backport HIVE-21619: stampa il tipo di timestamp senza precisione in explain extended SQL
Backport HIVE-21592: non OptimizedSql viene visualizzato quando l'espressione contiene CONCAT
Backport HIVE-21576: Introduci... CAST FORMATe un elenco limitato di formati data/ora: 2016 SQL
Backport HIVE-21573: Il trasporto binario ignorerà il principal se l'autenticazione è impostata su delegationToken
Backport HIVE-21550: TestObjectStore i test sono instabili - Non è stato possibile ottenere un lucchetto entro il tempo richiesto
Backport HIVE-21544: La propagazione costante danneggia le espressioni durante la piegatura coalesce/case/when
Backport HIVE-21539: GroupBy + dove la clausola sulla stessa colonna determina una riscrittura errata della query
Backport HIVE-21538: Beeline: l'origine della password, sebbene il lettore della console non sia passata al parametro di connessione
Backport HIVE-21509: LLAP può memorizzare nella cache i vettori di colonna danneggiati e restituire risultati di interrogazione errati
Backport HIVE-21499: non dovrebbe rimuovere la funzione dal registro se il comando create non è riuscito con AlreadyExistsException
Backport HIVE-21496: il dimensionamento automatico del buffer non ordinato può esaurirsi
Backport HIVE-21468: distinzione tra maiuscole e minuscole nei nomi degli identificatori per il gestore di archiviazione JDBC
Backport HIVE-21467: rimuove le importazioni JUnit.framework.assert obsolete
Backport HIVE-21435: dovrebbe ottenere il numero dell'attività da _ _ID conf, se presente, durante la creazione LlapBaseInputFormat TASK ATTEMPT SubmitWorkRequestProto
Backport HIVE-21389: la distribuzione di Hive perde javax.ws.rs-api.jar dopo -21247 HIVE
Backport HIVE-21385: consente di disabilitare il pushdown del calcolo non divisibile alle sorgenti JDBC
Backport HIVE-21383: gestore di JDBC archiviazione: utilizza il catalogo e lo schema per recuperare le tabelle, se specificato
Backport HIVE-21382: Ottimizzazione della riduzione del gruppo per chiavi: le chiavi non vengono ridotte nella query23
Backport HIVE-21362: Aggiunge un formato di input e serde per leggere dai file protobuf.
Backport HIVE-21340:: CBO Pota le colonne non chiave inserendole in un SemiJoin
Backport HIVE-21332: Elimina i buffer non bloccati anziché quelli bloccati
Backport HIVE-21329: dimensione non ordinata del buffer di output del runtime Tez personalizzato a seconda della pipeline dell'operatore
Backport HIVE-21295: StorageHandler deve convertire la data in stringa usando la convenzione Hive
Backport HIVE-21294: Vettorizzazione: 1-reducer Shuffle può saltare le funzioni di hash degli oggetti
Backport HIVE-21255 QueryConditionBuilder : Rimuovi dentro JdbcStorageHandler
Backport HIVE-21253: Supporto in DB2 JDBC StorageHandler
Backport HIVE-21232:LLAP: Aggiunge un provider di affinità split compatibile con cache-miss
Backport HIVE-21214: MoveTask : Utilizza attemptId al posto della dimensione del file per la deduplicazione dei file compareTempOr DuplicateFiles
Backport HIVE-21184: Aggiunge un piano formattato, spiega e spiega con informazioni sui costi CBO
Backport HIVE-21182: Salta la configurazione di hive scratch dir durante la pianificazione
Backport HIVE-21171: Salta la creazione di scratch dir per il tè se è attivo RPC
Backport HIVE-21126: consente le interrogazioni a livello di sessione in # LlapBaseInputFormat getSplit
Backport HIVE-21107: errore «Impossibile trovare il campo» durante l'hash join partizionato dinamicamente
Backport HIVE-21061: la query fallisce con una sorgente vuota CTAS IllegalStateException
Backport HIVE-21041:NPE, ParseException nell'ottenere lo schema dal piano logico
Backport HIVE-21013: JdbcStorageHandler impossibile trovare la colonna di partizione in Oracle
Backport HIVE-21006: Estendi SharedWorkOptimizer per rimuovere i semijoin quando esiste un'opportunità di riutilizzo
Backport HIVE-20992: suddivide la configurazione hive.metastore.dbaccess.ssl.properties in configurazioni più significative
Backport HIVE-20989JDBC: GetOperationStatus - Il log + può bloccare l'avanzamento delle query tramite sleep
Backport HIVE-20988: risultati errati per le interrogazioni di raggruppamento con chiave primaria su più colonne
Backport HIVE-20985: Se gli input dell'operatore selezionato sono colonne temporanee, la vettorizzazione può riutilizzarne alcune come output
Backport HIVE-20978: «hive.jdbc.*» dovrebbe essere aggiunto a sqlStdAuth SafeVarNameRegexes
Backport HIVE-20953: rimuove una funzione dal registro delle funzioni quando non può essere aggiunta al metastore durante la creazione.
Backport HIVE-20952: pulizia di .java VectorizationContext
Backport HIVE-20951:: Imposta sempre Xms al 50% LLAP
Backport HIVE-20949: Migliora la stima della cardinalità nella pianificazione fisica PKFK
Backport HIVE-20944: non convalida le statistiche durante la compilazione delle query
Backport HIVE-20940: risolve i casi in cui la risoluzione dei tipi di Calcite è più rigida di quella di Hive.
Backport HIVE-20937: la query jdbc di Postgres fallisce con "non deve essere negativo» LIMIT
Backport HIVE-20926: Il suggerimento di riduzione Semi Join non funziona quando le voci del filtro Bloom sono alte o quando non ci sono statistiche
Backport HIVE-20920: utilizza i SQL vincoli per migliorare l'algoritmo di riordino dei join
Backport HIVE-20918: contrassegno per abilitare/disabilitare il pushdown del calcolo da Calcite alla connessione JDBC
Backport HIVE-20915: rende disponibile l'ottimizzazione dinamica delle partizioni di ordinamento per HoS e MR
Backport HIVE-20910: L'inserimento nella tabella a gruppi non riesce a causa dell'ottimizzazione dinamica dell'ordinamento delle partizioni
Backport HIVE-20899: Keytab URI for Service è restrittivo solo per il supporto LLAP YARN HDFS
Backport HIVE-20898: per le funzioni relative al tempo, gli argomenti non possono essere assegnati a un tipo non annullabile
Backport HIVE-20881: La propagazione costante semplifica eccessivamente le proiezioni
Backport HIVE-20880: aggiorna il valore predefinito per hive.stats.filter.in.min.ratio
Backport HIVE-20873: usa l' VectorHashKeyWrapperTwoLong hash Murmur per ridurre la collisione degli hash
Backport HIVE-20868: SMB Join fallisce a intermittenza quando è presente un child op in TezDummyOperator getFinalOp MapRecordProcessor
Backport HIVE-20853: Esporre. ShuffleHandler registerDagnel demone llap API
Backport HIVE-20850: se possibile, trasferite case conditional dalle proiezioni alle tabelle delle dimensioni
Backport HIVE-20842: corregge la logica introdotta in HIVE -20660 per stimare le statistiche relative al gruppo per
Backport HIVE-20839: errore «Impossibile trovare il campo» durante l'hash join partizionato dinamicamente
Backport HIVE-20835: L'interazione tra i vincoli e la riscrittura MV può creare dei loop nel pianificatore Calcite
Backport HIVE-20834: voci Hive che mantengono il riferimento a una query memorizzata nella cache QueryResultCache SemanticAnalyzer
Backport HIVE-20830: errore di asserzione della query di JdbcStorageHandler intervallo in alcuni casi
Backport HIVE-20829: tiri divisi a distanza JdbcStorageHandler NPE
Backport HIVE-20827: risultati incoerenti per gli array vuoti
Backport HIVE-20826: Migliora la HiveSemiJoin regola per convertire il gruppo join + sul lato sinistro in Left Semi Join
Backport HIVE-20821: SUM Riscrivi 0 in una combinazione + SUM COALESCE
Backport HIVE-20815: JdbcRecordReader .next non farà eccezione
Backport HIVE-20813: udf to_epoch_milli deve supportare anche il timestamp senza fuso orario.
Backport HIVE-20804: ulteriori miglioramenti al raggruppamento mediante ottimizzazione con vincoli
Backport HIVE-20792: L'inserimento del timestamp con zone tronca i dati
Backport HIVE-20788: La riduzione estesa dell'SJ può far tornare indietro le colonne in modo errato durante la creazione di filtri
Backport HIVE-20778: il riordino dei join potrebbe non essere attivato se tutti i join del piano sono creati dalla logica di decorrelazione
Backport HIVE-20772CPU: registra i contatori per attività in LLAP
Backport HIVE-20768: aggiunta di Tumbling Window UDF
Backport HIVE-20767: Più progetti tra operatori di join possono influire sul riordino dei join mediante vincoli
Backport HIVE-20762: NOTIFICATION _ l'intervallo di LOG pulizia è codificato come 60s ed è troppo piccolo
Backport HIVE-20761: Seleziona per l'aggiornamento sulla tabella notification_sequence ha un intervallo di tentativi e il conteggio dei tentativi è troppo basso
Backport HIVE-20751: Aggiorna la versione di Arrow alla 0.10.0
Backport HIVE-20746: HiveProtoHookLogger non chiude il file a fine giornata.
Backport HIVE-20744: utilizza i SQL vincoli per migliorare l'algoritmo di riordino delle giunzioni
Backport HIVE-20740: rimuove il blocco globale. ObjectStore setConf metodo. Questo cherrypick supporta HIVE -20740 destinato a Hive 3.2 e da 4.x a 3.1.x
Backport HIVE-20734: Beeline: quando beeline-site.xml è attivo e hive CLI reindirizza a beeline, dovrebbe usare il nome utente/password fittizia di sistema invece di richiederne una
Backport HIVE JdbcStorageHandler-20731: il file keystore in deve essere autorizzato
Backport HIVE-20720: aggiunge l'opzione della colonna di partizione al gestore JDBC
Backport HIVE-20719: l'SELECTistruzione fallisce dopo aver UPDATE attivato l'ottimizzazione e la vettorizzazione di hive.optimize.sort.dynamic.partition
Backport HIVE-20718: aggiungi il driver perf cli con vincoli
Backport HIVE-20716: imposta il valore predefinito per hive.cbo.stats.correlated.multi.key.joins su true
Backport HIVE HivePointLookupOptimizer -20712: dovrebbe estrarre casi profondi
Backport HIVE-20710: La piegatura costante potrebbe non creare costanti nulle senza tipi
Backport HIVE-20706: errore intermittente di external_jdbc_table2.q
Backport HIVE-20704: estendi per supportare altre funzioni HivePreFilteringRule
Backport HIVE-20703: Includi l'ottimizzazione dinamica delle partizioni di ordinamento tra le decisioni basate sui costi
Backport HIVE-20702: Tieni conto del sovraccarico derivante dalle stime basate sulla struttura dei dati durante la selezione di mapjoin
Backport HIVE-20692: abilita la piegatura delle espressioni x IS () [|] NOT NOT TRUE FALSE
Backport HIVE-20691: corregge org.apache.hadoop.hive.cli. TestMiniLlapCliDriver. testCliDriver[ctrl]
Backport HIVE-20682: l'esecuzione di una query asincrona può potenzialmente fallire se shared viene chiuso dal thread principale sessionHive
Backport HIVE-20676: 2: HiveServer non è impostato sullo stato del demone PrivilegeSynchronizer
Backport HIVE-20660: la stima del gruppo per statistiche potrebbe essere migliorata limitando il numero totale di righe alla tabella di origine
Backport HIVE-20652: JdbcStorageHandler invia l'unione di due diverse origini dati al driver jdbc
Backport HIVE JdbcStorageHandler -20651: la password deve essere crittografata
Backport HIVE-20649: LLAP gestore di memoria consapevole per scrittori Orc
Backport HIVE-20648:LLAP: Il gruppo vettoriale per operatore dovrebbe usare la memoria per esecutore
Backport HIVE-20646: la condizione del filtro di partizione non viene trasferita alla query metastore se ha IS NOT NULL
Backport HIVE-20644: evita di esporre informazioni sensibili tramite un'eccezione di Hive Runtime
Backport HIVE-20636: Migliora la stima del numero di valori nulli dopo l'outer join
Backport HIVE-20632: la query con UDF get_splits fallisce se la vista materializzata viene creata sulla tabella interrogata
Backport HIVE-20627: Le query asincrone simultanee hanno esito negativo a intermittenza e causano perdite di memoria LockException
Backport HIVE-20623: Lavoro condiviso: estende la condivisione delle voci della cache map-join in LLAP
Backport HIVE-20619: include in 2 per impostazione predefinita MultiDelimitSerDe HiveServer
Backport HIVE-20618: durante la selezione dei partecipanti BucketMapJoin potrebbe essere scelto per tavoli non raggruppati
Backport HIVE-20617: corregge il tipo di costanti nelle espressioni IN per avere il tipo corretto
Backport HIVE-20612: crea un nuovo flag di correlazione a più chiavi di unione per CBO
Backport HIVE-20603: Errore «Wrong FS» durante l'inserimento nella partizione dopo aver modificato il filesystem di posizione della tabella
Backport HIVEPARTITION-20601: EnvironmentContext ALTER null in _ evento in DbNotificationListener
Backport HIVE-20583: utilizza il nome host canonico solo per l'autenticazione Kerberos in HiveConnection
Backport HIVE-20582: rende configurabile la registrazione dei protocolli hflush in hive
Backport HIVE-20563: Vettorizzazione: l'espressione fallisce quando/type e il tipo di risultato sono diversi CASE WHEN THEN ELSE
Backport HIVE-20558: modifica il valore predefinito di hive.hashtable.key.count.adjustment a 0,99
Backport HIVE-20552: LogicalPlan ottieni Schema più velocemente
Backport HIVE-20550: cambia W ebHCat per utilizzare beeline per inviare domande su Hive
Backport HIVE-20537: Multicolonna unisce le stime con colonne non correlate diverse in E Hive CBO
Backport HIVE-20524: Il controllo dell'evoluzione dello schema si interrompe nel passaggio dalla versione 2 alla versione 3 di Hive per ALTER TABLE VARCHAR DECIMAL
Backport HIVE-20522: HiveFilterSetOpTransposeRule può generare un errore di asserzione a causa della nullabilità dei campi
Backport HIVE-20521: HS2 doAs =true ha problemi di autorizzazione con hadoop.tmp.dir, con i filesystem MR e S3A
Backport HIVE-20515: risultati di interrogazione vuoti quando si utilizza la cache dei risultati e la directory temp delle query, la directory della cache dei risultati in diversi filesystem
Backport HIVE-20508: Hive non supporta i nomi utente di tipo «user @realm»
Backport HIVE-20507: Beeline: aggiunge un comando di utilità per recuperare tutti gli URI da beeline-site.xml
Backport HIVE-20505: aggiorna org.openjdk.jmh:jmh-core a 1.21
Backport HIVE-20503: utilizza stime basate sulla struttura dei dati durante la selezione di mapjoin
Backport HIVE-20498: Supporta il tipo di data per l'autogather delle statistiche delle colonne
Backport HIVE-20496: Vettorizzazione: vettorializzata PTF IllegalStateException
Backport HIVE-20494: G si enericUDFRestrict InformationSchema rompe dopo -19440 HIVE
Backport HIVE-20477: OptimizedSql non viene visualizzato se l'espressione contiene INs
Backport HIVE-20467: Consenti IF NOT EXISTS/IF EXISTS in Resource plan creation/drop
Backport HIVE-20462: "CREATEVIEWIF" fallisce se NOT EXISTS la vista esiste già
Backport HIVE-20455: Spew di log da security.authorization. PrivilegeSynchonizer.correre
Backport HIVE-20439: utilizza il limite di memoria gonfiato durante la selezione dei join per llap
Backport HIVE-20433: la conversione implicita da stringa a timestamp è lenta
Backport HIVE-20432: riscrivi in IN per i tipi interi per la stima delle statistiche BETWEEN
Backport HIVE-20423: Imposta come ordinamento nullo predefinito NULLS LAST
Backport HIVE-20418: LLAP IO potrebbe non gestire ORC i file con l'indice di riga disabilitato correttamente per le query senza colonne selezionate
Backport HIVE-20412: NPE in HiveMetaHook
Backport HIVE-20406: Coalesce annidata che fornisce risultati errati
Backport HIVE-20399: con una posizione di tabella personalizzata CTAS che non è completamente qualificata fallisce per le tabelle MM
Backport HIVE-20393: Riduzione semijoin: For si comporta in modo incoerente markSemiJoin DPP
Backport HIVE-20391: può dedurre un tipo di ritorno errato durante la decomposizione della funzione aggregata HiveAggregateReduceFunctionsRule
Backport HIVE-20383: nome di coda non valido e problemi di sincronizzazione nell'hook hive proto events.
Backport HIVE-20367: Vettorizzazione: Supporta lo streaming per,, PTF AVG MAX MIN SUM
Backport HIVE-20366: -DS query78: le stime dello stato non sono valide per il suo TPC filtro nullo
Backport HIVE-20364: aggiornamento predefinito per hive.map.aggr.hash.min.reduction
Backport HIVE-20352: Vettorizzazione: supporta la funzione di raggruppamento
Backport HIVE-20347: hive.optimize.sort.dynamic.partition dovrebbe funzionare con partitioned e MV CTAS
Backport HIVE-20345: Il database Drop potrebbe bloccarsi se le tabelle vengono eliminate da una chiamata diversa
Backport HIVE-20343: Hive 3: non rispetta le transactional_properties CTAS
Backport HIVE-20340: Druid ha bisogno di informazioni esplicite CASTs da Timestamp a quando l'output della funzione timestamp viene utilizzato come Strin STRING
Backport HIVE-20339: Vettorizzazione: elimina le restrizioni non necessarie che impediscono la vettorializzazione di alcuni wb PTF RANK
Backport HIVE-20337:: Expr non sta compilando correttamente l'elenco delle partizioni CachedStore getPartitionsBy
Backport HIVE-20336: politiche di mascheramento e filtraggio per le viste materializzate
Backport HIVE-20326: crea vincoli con come impostazione predefinita anziché NO RELY RELY
Backport HIVE-20321: Vettorizzazione: riduce la dimensione della memoria da 1 col a <1 VectorHashKeyWrapper CacheLine
Backport HIVE-20320: attiva il flag hive.optimize.remove.sq_count_check
Backport HIVE-20315: vettorizzazione: corregge altri problemi relativi ai risultati errati ed evita cast/conversioni non necessari NULL
Backport HIVE-20314: include l'eliminazione delle partizioni nella riscrittura delle viste materializzate
Backport HIVE-20312: consente ai client Arrow di utilizzare i propri con BufferAllocator LlapOutputFormatService
Backport HIVE-20302LLAP: l'esecuzione non vettorializzata in IO ignora le colonne virtuali, incluso __ID ROW
Backport HIVE-20300: VectorFileSinkArrowOperator
Backport HIVE-20299: potenziale gara nel test unitario per i firmatari LLAP
Backport HIVE-20296: Migliora HivePointLookupOptimizerRule per essere in grado di estrarre da contesti più sofisticati
Backport HIVE-20294: Vettorizzazione: correzione dei problemi relativi ai risultati errati in/NULLCOALESCEELT
Backport HIVE-20292: errato ordinamento dei join in tpcds query93 con vincolo primario definito
Backport HIVE-20290: inizializzazione Lazy in modo da non allocare i buffer durante ArrowColumnarBatchSerDe GetSplits
Backport HIVE-20281: SharedWorkOptimizer fallisce con «i contenuti della cache dell'operatore e il piano effettivo differiscono»
Backport HIVE-20277: Vettorizzazione: le espressioni maiuscole restituite non sono supportate per BOOLEAN FILTER
Backport HIVE-20267: espansione di WebUI per includere un modulo per configurare dinamicamente i livelli di registro
Backport HIVE-20263: HiveReduceExpressionsWithStatsRule errore di battitura nella variabile
Backport HIVE-20260: NDV di una colonna non deve essere ridimensionato quando il conteggio delle righe viene modificato filtrando su un'altra colonna
Backport HIVE-20252: Riduzione della semijoin: i cicli dovuti al ramo semi join possono non essere rilevati se sul lato della tabella è presente una mappa che si collega a monte.
Backport HIVE-20245: Vettorizzazione: Correzione dei problemi relativi ai risultati errati in /IN NULL BETWEEN
Backport HIVE-20241: Supporta le specifiche di partizionamento nelle istruzioni CTAS
Backport HIVE-20240: Riduzione Semijoin: utilizza la variabile locale per verificare le condizioni esterne della tabella
Backport HIVE-20226: HMS getNextNotification genererà un'eccezione quando la richiesta supera le max_rows della tabella maxEvents
Backport HIVE-20225: per supportare il formato binario Teradata SerDe
Backport HIVE-20213: aggiorna Calcite alla versione 1.17.0
Backport HIVE-20212: Hiveserver2 in modalità http emette la metrica Default.general.open_connections in modo errato
Backport HIVE-20210: L'ottimizzatore MapReduce Simple Fetch dovrebbe portare a quando il filtro su una colonna non partizionata e la conversione sono minime
Backport HIVE-20209: la connessione Metastore fallisce al primo tentativo in repl dump
Backport HIVE-20207: Vettorizzazione: correggi/problemi relativi ai risultati errati in Filtro/Confronta NULL
Backport HIVE-20204: conversione del tipo durante IN
Backport HIVE-20203: Arrow perde un SerDe DirectByteBuffer
Backport HIVE-20197: vettorizzazione: aggiungi il test DECIMAL _64, aggiungi l'aritmetica e aggiungi altra aggregazione BY Date/Interval/Timestamp GROUP
Backport HIVE-20193: non è presente nel piano di spiegazione json cboInfo
Backport HIVE-20192: HS2 con il metastore incorporato si verificano perdite di oggetti JDOPersistenceManager
Backport HIVE-20183: L'inserimento da una tabella a periodi può causare la perdita di dati, se la tabella di origine contiene un bucket vuoto
Backport HIVE-20177: vettorizzazione: riduzione dell'allocazione in modalità Streaming KeyWrapper GroupBy
Backport HIVE-20174: Vettorizzazione: correzione di problemi relativi ai risultati errati nelle funzioni di aggregazione BY NULL GROUP
Backport HIVE-20172: StatsUpdater errore con eccezione durante il tentativo di connessione al metastore remoto GSS
Backport HIVE-20153: Count and Sum consumano più memoria in Hive 2+ UDF
Backport HIVE-20152: ripristina lo stato db, quando repl dump fallisce, in modo da poter rinominare la tabella
Backport HIVE-20149: TestHiveCli guasto/timeout
Backport HIVE-20130: migliore registrazione per il sincronizzatore dello schema informativo
Backport HIVE-20129: torna all'evoluzione dello schema basata sulla posizione per le tabelle orc
Backport HIVE-2018: SessionStateUserAuthenticator. getGroupNames
Backport HIVE-20116: TezTask sta usando il logger principale
Backport HIVE-20115: le tabelle Acid non devono utilizzare la scansione del piè di pagina per l'analisi
Backport HIVE-20103: WM: contatori aggregati DAG solo se ne viene utilizzato almeno uno
Backport HIVE-20101: BloomKFilter: evita di utilizzare completamente gli array di byte [] locali
Backport HIVE-20100: OpTraits : Select Optraits dovrebbe interrompersi quando viene rilevata una mancata corrispondenza
Backport HIVE-20098: Statistiche: quando si ottengono le statistiche sulla partizione della colonna Date NPE
Backport HIVE-20095: funzione di correzione per inviare il calcolo a tabelle esterne jdbc
Backport HIVE-20093:: Utilizzo con Netty per la contabilità LlapOutputFomatService ArrowBuf
Backport HIVE-20090: Estendete la creazione di filtri di riduzione dei semigiunti per scoprire nuove opportunità
Backport HIVE-20088: il percorso di posizione della configurazione di Beeline è assemblato in modo errato
Backport HIVE-20082: la conversione in stringa non formatta correttamente HiveDecimal il decimale
Backport HIVE-20069: corregge la riottimizzazione in caso di ottimizzazione di e Semijoin DPP
Backport HIVE-20051: ignora l'autorizzazione per le tabelle temporanee
Backport HIVE-20044: Arrow Serde dovrebbe inserire i valori dei caratteri e gestire correttamente le stringhe vuote
Backport HIVE-20028: la configurazione della cache del client Metastore viene utilizzata in modo errato
Backport HIVE-20025: pulizia dei file di eventi creati da HiveProtoLoggingHook
Backport HIVE-20020: il jar contrib di Hive non dovrebbe essere in lib
Backport HIVE-20013: aggiunge un cast implicito al tipo di data per la funzione to_date
Backport HIVE-20011: abbandona la modalità di aggiunta nel proto logging hook
Backport HIVE-20005: acid_table_stats, acid_no_buckets, ecc - modifica del risultato della query sul ramo
Backport HIVE-20004: la scala errata utilizzata da ConvertDecimal 64 ToDecimal dà risultati errati
Backport HIVE-19995: traffico filare aggregato per le tabelle acide
Backport HIVE-19993: Non è possibile utilizzare un alias di tabella che appare anche come nome di colonna
Backport HIVE-19992: Vettorizzazione: proseguimento di -19951 --> aggiungi chiamata a. HIVE SchemaEvolution isOnlyImplicitConversione per disabilitare l'I/O LLAP codificato solo quando la conversione del tipo di dati non è implicita ORC
Backport HIVE-19989: Metastore utilizza un nome di applicazione errato per le metriche HADOOP2
Backport HIVE-19981: Le tabelle gestite convertite in tabelle esterne dall' HiveStrictManagedMigration utilità devono essere impostate per eliminare i dati quando la tabella viene eliminata
Backport HIVE-19967: SMB Join: Serve Optraits per ala Op PTFOperator GBY
Backport HIVE-19935: sessione Hive WM interrotta: impossibile aggiornare il conteggio delle attività LLAP
Backport HIVE-19924: contrassegna i job distcp eseguiti da Repl Load
Backport HIVE-19891: l'inserimento in tabelle esterne con directory di partizione personalizzate può causare la perdita di dati
Backport HIVE-19850: l'eliminazione dinamica delle partizioni in Tez causa l'errore «Nessun lavoro trovato per tablescan»
Backport HIVE-19806: ordina l'output dei qtest per evitare squilibri nei risultati dei test
Backport HIVE-19770: Supporto CBO per le query con più colonne uguali in select
Backport HIVE-19769: Crea oggetti dedicati per i nomi di DB e Tabelle
Backport HIVE-19765: aggiungi test specifici per Parquet a BlobstoreCliDriver
Backport HIVE-19759: test Flaky: # TestRpc testServerPort
Backport HIVE-19711: Strumento per lo schema Refactor Hive
Backport HIVE-19701: getDelegationToken FromMetaStore non ha bisogno di essere sincronizzato
Backport HIVE-19694: l'istruzione Create Materialized View dovrebbe verificare la presenza di conflitti di nomi MV prima di eseguire l'istruzione di MV. SQL
Backport HIVE-19674: Il raggruppamento per costanti decimali viene spostato verso il basso nella tabella di Druid
Backport HIVE-19668: Oltre il 30% dell'heap viene sprecato dalla duplicazione di org.antlr.runtime. CommonTokene stringhe duplicate
Backport HIVE-19663: generazione di report IO con refactor LLAP
Backport HIVE-19661: cambia UDFs Hive per utilizzare il motore regex Re2J
Backport HIVENPE-19628: possibile in LLAP testSigning
Backport HIVE-19568: HS2 HA attivo/passivo: non consente la connessione diretta all'istanza passiva HS2
Backport HIVE-19564: Vettorizzazione: correzione dei problemi relativi ai risultati errati in aritmetica NULL
Backport HIVE-19552 TestMiniDruidKafkaCliDriver: abilita #druidkafkamini_basic .q
Backport HIVE-19432: GetTablesOperation è troppo lento se l'hive ha troppi database e tabelle
Backport HIVE-19360:CBO: Aggiungi un oggetto «ottimizzato» SQL QueryPlan
Backport HIVE-19326: raccolta automatica delle statistiche: aggregazione errata durante le interrogazioni UNION
Backport HIVE-19313: i test stanno fallendo TestJdbcWith DBTokenStoreNoDoAs
Backport HIVE-19285: aggiunge i log alle sottoclassi di MetaDataOperation
Backport HIVE-19235: aggiorna i file dorati per i test Minimr
Backport HIVE-19104: Quando il test MetaStore viene avviato con retry, le istanze dovrebbero essere indipendenti
Backport HIVE-18986: la ridenominazione della tabella eseguirà java.lang. StackOverflowError in dataNucleus se la tabella contiene un numero elevato di colonne
Backport HIVE-18920:CBO: Inizializza i provider Janino prima della prima query
Backport HIVE-18873: Ignorare silenziosamente il prefisso del predicato per MR può causare risultati errati da parte dei gestori di archiviazione HiveInputFormat
Backport HIVE-18871: errore di esecuzione di hive on tez dovuto all'impostazione di hive.aux.jars.path su hdfs://
Backport HIVE-18725: Migliora la gestione degli errori per le sottoquery se c'è un riferimento di colonna errato
Backport HIVE-18696: Le cartelle delle partizioni potrebbero non essere pulite correttamente nel metodo.add_partitions_core se HiveMetaStore
Backport HIVE-18453:: Aggiunge la sintassi "" per il supporto di Unify & Parquet ACID CREATE TRANSACTIONAL TABLE ACID ORC
Backport HIVE-18201: disabilita _ per sq_count_chec XPROD EDGE
Backport HIVE-18140: Le statistiche delle tabelle partizionate possono andare male nelle statistiche di base (maiuscole e minuscole)
Backport HIVE-17921: L'aggregazione con struct in produce risultati errati LLAP
Backport HIVE-17896: TopNKey: crea un operatore T vettorializzabile autonomo opNKey
Backport HIVE-17840: mangia l'eccezione f. HiveMetaStore transactionalListeners notifyEvent fallire
Backport HIVE-17043: rimuove le colonne non univoche dal gruppo per chiavi se non vi si fa riferimento in seguito
Backport HIVE-17040: eliminazione congiunta in presenza di una relazione FK
Backport HIVE-16839: chiamate sbilanciate aopenTransaction/quando si modifica contemporaneamente la stessa partizione commitTransaction
Backport HIVE-16100: L'ottimizzatore Dynamic Sorted Partition perde gli operatori di pari livello
Backport HIVE-15956: quando si eliminano molte partizioni StackOverflowError
Backport HIVE-15177: L'autenticazione con hive fallisce quando il tipo di autenticazione kerberos è impostato su e principal contiene _ fromSubject HOST
Backport HIVE-14898: HS2 non dovrebbe registrare il callstack per un errore di intestazione di autenticazione vuoto
Backport HIVE-14493: supporto al partizionamento per viste materializzate
Backport HIVE-14431: COALESCE Riconosci come CASE
Backport HIVE-13457: Crea HS2 REST API endpoint per il monitoraggio delle informazioni
Backport HIVE-12342: imposta il valore predefinito di hive.optimize.index.filter su true
Backport HIVE-10296: eccezione di cast osservata quando hive esegue una query multijoin su metastore
Backport HIVE-6980: elimina la tabella utilizzando direct sql

Amazon EMR 6.6.0 - Modifiche alla configurazione di Hive

  • Come parte della OSS modifica HIVE-20703, la proprietà per ordinare le partizioni dinamiche è stata sostituita con. hive.optimize.sort.dynamic.partition hive.optimize.sort.dynamic.partition.threshold

    La configurazione hive.optimize.sort.dynamic.partition.threshold presenta i seguenti valori potenziali:

    Valore Descrizione

    0

    (default) (predefinito)

    Rende l'ottimizzazione dell'ordinamento delle partizioni dinamiche una decisione basata sui costi quando vengono utilizzati i file. ORC Il numero massimo di scrittori consentiti nelle INSERT query viene calcolato in base a (memoria esecutore/contenitore) * (percentuale di memoria occupata da orc) diviso per la memoria massima (dimensione dello stripe) occupata da un singolo scrittore.

    -1

    Disabilita l'ottimizzazione per l'ordinamento completo delle partizioni dinamiche.

    1

    Consente l'ordinamento globale delle partizioni dinamiche. Ciò mantiene aperto solo un scrittore di record per ogni valore di partizione nel riduttore, riducendo così la pressione della memoria sui riduttori.

    2

    (or greater integer) (o numero intero maggiore)

    Indica a Hive di utilizzare il numero intero specificato come soglia per il numero massimo di scrittori.

Amazon EMR 6.6.0 - Problemi noti di Hive

  • Le interrogazioni con funzioni di finestra sulla stessa colonna di join possono portare a trasformazioni non valide come riportato in HIVE-25278 e causare risultati errati o errori di query. Come soluzione alternativa, è possibile disabilitare CBO tali interrogazioni a livello di query. Contatta l' AWS assistenza per ulteriori informazioni.

  • Amazon EMR 6.6.0 include la versione 3.1.2 del software Hive. Hive 3.1.2 introduce una funzionalità che divide i file di testo se contengono un'intestazione e un piè di pagina (-21924). HIVE Apache Tez App Master legge ciascuno dei file per determinare i punti di offset nell'intervallo di dati. La combinazione di questi comportamenti potrebbe influire negativamente sulle prestazioni se le query leggono un numero elevato di file di testo di piccole dimensioni. Come soluzione alternativa, è possibile utilizzare CombineHiveInputFormat e regolare la dimensione massima della divisione configurando le seguenti proprietà:

    SET hive.tez.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; SET mapreduce.input.fileinputformat.split.maxsize=16777216;
  • Con Amazon da EMR 6.6.0 a 6.9.x, INSERT le query con partizione dinamica e una clausola ORDER BY o SORT BY avranno sempre due riduttori. Questo problema è causato dalla OSS modifica HIVE-20703, che pone l'ottimizzazione dinamica delle partizioni di ordinamento al centro di una decisione basata sui costi. Se il carico di lavoro non richiede l'ordinamento delle partizioni dinamiche, ti consigliamo di impostare la proprietà hive.optimize.sort.dynamic.partition.threshold su -1 per disabilitare la nuova caratteristica e ottenere il numero di riduttori calcolato correttamente. Questo problema è stato risolto in OSS Hive come parte di HIVE-22269 ed è stato risolto in Amazon 6.10.0. EMR

Argomento successivo:

Hudi

Argomento precedente:

Note del rilascio 6.7.0
PrivacyCondizioni del sitoPreferenze cookie
© 2025, Amazon Web Services, Inc. o società affiliate. Tutti i diritti riservati.