Amazon EMR 6.9.0 - Note sul rilascio per Hive
Amazon EMR 6.9.0 - Modifiche a Hive
Type (Tipo) | Descrizione |
---|---|
Upgrade | Aggiornamento di Jetty a 9.4.48.v20220622 |
Upgrade | Supporto per Hadoop 3.3.3 |
Caratteristica | Integrazione di Amazon EMR Hive con Lake Formation per carichi di lavoro interattivi utilizzando l'API di GCSC. |
Caratteristica | Integrazione di Amazon EMR Hive con Iceberg. |
Miglioramenti | Abilita SSL in HiveServer2 quando la crittografia in transito è abilitata utilizzando le configurazioni di sicurezza di Amazon EMR. |
Miglioramenti | Abilita il committer ottimizzato per Amazon S3 di Hive EMRFS per impostazione predefinita. Per ulteriori informazioni, consulta Abilitazione del committer ottimizzato EMRFS S3 di Hive. |
Miglioramenti | Aggiungi HiveHBaseTableInputFormatV2 , che eredita solo la versione mapred di InputFormat per correggere SPARK-34210hive.hbase.inputformat.v2 su true per utilizzarlo. |
Miglioramenti | Attendi che TezAM si avvii in background con hive.cli.tez.session.async invece di terminare la sessione e avviarne immediatamente un'altra. Utilizza hive.emr.cli.tez.session.open.timeout per impostare questo timeout in secondi. |
Miglioramenti | Aggiungi l'opzione hive.conf.restricted.list.append per aggiungere configurazioni separate da virgole all'elenco di configurazioni con restrizioni hive.conf.restricted.list esistente. |
Miglioramenti | È stato reso più chiaro il messaggio di errore restituito quando la query Hive fallisce perché la posizione non è definita per il database. |
Backport | HIVE-24484 |
Backport | HIVE-22398 |
Backport | HIVE-23190 |
Backport | HIVE-22185 |
Backport | HIVE-21670mockito-all è stata sostituita con la dipendenza mockito-core . |
Backport | HIVE-24542 |
Backport | HIVE-23751#mkdirs() è stato sovrascritto in ProxyFileSystem per l'allineamento in seguito a HADOOP-16582. |
Backport | HIVE-21603 |
Backport | HIVE-24083hcatalog , è necessario il tipo di autenticazione, in Hadoop 3.3.0. |
Backport | HIVE-24282 |
Backport | HIVE-20656 |
Backport | HIVE-25443 |
Backport | HIVE-19792 |
Backport | HIVE-20437 |
Backport | HIVE-21987 |
Backport | HIVE-20038 |
Amazon EMR 6.9.0 - Problemi noti di Hive
Con le versioni da 6.6.0 a 6.9.x di Amazon EMR, le query INSERT con partizione dinamica e una clausola ORDER BY o SORT BY avranno sempre due riduttori. Questo problema è causato dalla modifica dell'OSS HIVE-20703
, che assoggetta l'ottimizzazione dinamica delle partizioni di ordinamento a una decisione basata sui costi. Se il carico di lavoro non richiede l'ordinamento delle partizioni dinamiche, ti consigliamo di impostare la proprietà hive.optimize.sort.dynamic.partition.threshold
su-1
per disabilitare la nuova caratteristica e ottenere il numero di riduttori calcolato correttamente. Questo problema è stato corretto in OSS Hive come parte di HIVE-22269ed è stato risolto in Amazon EMR 6.10.0.