Amazon EMR 6.11.0 - Notas da versão do Hive

Amazon EMR 6.11.0 - Alterações no Hive

Tipo	Descrição
Melhoria	Adicionado suporte para descarte multithreaded de partições em vários segmentos para melhorar a peformance do descarte de partições
Melhoria	Compatível com a leitura de arquivos de consulta codificados do Hive
Melhoria	Habilitado o Tez Shuffle Handler por padrão para trabalhos do Hive no Tez
Bug	Adicionada uma opção para habilitar uma distribuição determinística de chaves para redutores na correção de resultados incorretos quando hive.groupby.skewindata está habilitado (informado no HIVE-20220)
Bug	Corrigida falha no cálculo de estatísticas quando o nome da partição padrão é configurado
Bug	Respeite todos os parâmetros de classificação SSL personalizados passados quando o SSL é configurado imediatamente para HiveServer 2 em um cluster com criptografia em trânsito ativada
Backport	HIVE-23617: problemas de API de armazenamento corrigidos FindBug
Backport	HIVE-26408: Vetorização: corrija a desalocação de colunas de rascunho, não reutilize uma criança como saída ConstantVectorExpression
Backport	HIVE-23614: Sempre passe para HiveConfig removeTempOr DuplicateFiles
Backport	HIVE-23354: Remova a verificação de integridade do tamanho do arquivo de compareTempOr DuplicateFiles
Backport	HIVE-20344: corrigido PrivilegeSynchronizer para lançamento de SBA. AccessControlException Também introduzida a propriedade hive.privilege.synchronizer para desabilitar o sincronizador de privilégios
Backport	HIVE-15826: Support a configuração de 'serialization.encoding' para todos SerDes
Backport	HIVE-18284: corrigir o NPE ao inserir dados com a cláusula ‘distribuir por’ com otimização de classificação dynpart
Backport	HIVE-24930: o curto-circuito Operator.setDone() da operação filha não é usado no caminho de código vetorizado (se childSize == 1)
Backport	HIVE-24523: O caminho de leitura vetorizado para LazySimpleSerde não respeita o SERDEPROPERTIES para timestamp
Backport	HIVE-23265: conjuntos de linhas duplicadas são retornados com os conjuntos Limit e Offset
Backport	HIVE-21492: não VectorizedParquetRecordReader consigo ler o arquivo de parquete gerado usando uma ferramenta econômica ou personalizada
Backport	HIVE-22540: Vetorização: colunas decimal64 não funcionam com. VectorizedBatchUtil makeLikeColumnVetor ()
Backport	HIVE-22588: descarregar as linhas restantes para o resto dos conjuntos de agrupamento ao mudar o modo groupby vetorial
Backport	HIVE-22551: O BytesColumnVector initBuffer deve limpar o vetor e o comprimento de forma consistente
Backport	HIVE-22448: CBO: expanda a contagem múltipla distinta com uma chave de agrupamento
Backport	HIVE-22248: corrigir problemas persistentes das estatísticas
Backport	HIVE-22210: a vetorização pode reutilizar colunas de saída de computação envolvidas na filtragem
Backport	HIVE-21531: vetorização: todos os hashcodes NULL não são computados usando Murmur3
Backport	HIVE-20419: Vetorização: evite a mutação após ser usado em uma chave de hashmap VectorPartitionDesc
Backport	HIVE-19388: durante a inicialização ClassCastException VectorMapJoinCommonOperator
Backport	HIVE-21584: Preparação para o Java 11: o carregador de classes do sistema não é o carregador URLClass
Backport	HIVE-25107: o registro em log do caminho de classe deve estar no nível DEBUG (#2271)
Backport	HIVE-22097: java.util incompatível. ArrayListpara java 11
Backport	HIVE-23938: LLAP: JDK11 - alguns argumentos jvm relacionados à rotação do arquivo de log do GC não podem mais ser usados
Backport	HIVE-26226: excluir jdk.tools dep do hive-metastore em upgrade-acid
Backport	HIVE-17879: atualizar o plug-in Datanucleus Maven
Backport	HIVE-27004: DateTimeFormatterBuilder # appendZoneText não pode analisar 'UTC+' em versões Java superiores a 8
Backport	HIVE-16812: VectorizedOrcAcidRowBatchReader não filtra eventos de exclusão
Backport	HIVE-17917:. VectorizedOrcAcidRowBatchReader computeOffsetAndOtimização de buckets
Backport	HIVE-19985: ACID: ignorar a decodificação das seções ROW__ID para consultas somente leitura
Backport	HIVE-20635: VectorizedOrcAcidRowBatchReader não filtra eventos de exclusão dos arquivos originais
Upgrade	Atualizar o Javadoc para 3.3.1
Upgrade	Atualizar o Javassist para 3.24.1-GA
Upgrade	Atualização apache-directory-server para 2.0.0-M14

Novas configurações

Name	Classificação	Descrição
hive.metastore.fs.drop.partition.threads	hive-site	Número de threads principais no grupo de threads de partições descartadas.
hive.metastore.fs.drop.partition.keepalive.time	hive-site	Tempo em segundos em que um thread assíncrono de partições descartadas ociosas (do grupo de threads) aguardará a chegada de uma nova tarefa antes de ser encerrado.
hive.metastore.fs.drop.partition.threadpool.max.queue.size	hive-site	Tamanho máximo da fila a ser usada no grupo de threads para descartar partições do sistema de arquivos.
hive.groupby.enable.deterministic.distribution	hive-site	Habilite a distribuição determinística de chaves para redutores. Isso passará um valor de semente constante ao chamar a função rand usada para particionamento aleatório.
hive.privilege.synchronizer	hive-site	Se os privilégios do autorizador externo devem ser sincronizados periodicamente em 2. HiveServer
hive.cli.query.file.encoding	hive-site	Codificação de arquivo para todos os tipos de arquivos de consulta (arquivo de consulta, arquivo de consulta inicial, arquivo rc etc.) fornecidos nos argumentos da cli.
hive.emr.tez.shuffle.enabled	hive-site	Os trabalhos do Hive no Tez agora usam tez_shuffle por padrão em vez de mapreduce_shuffle como Shuffle Handler padrão.

Configurações descontinuadas

As propriedades de configuração a seguir foram descontinuadas como resultado do HIVE-23354 e não são mais compatíveis com as versões 6.11.0 e posteriores do Amazon EMR.

Name	Valor padrão
hive.mapred.reduce.tasks.speculative.execution	false
tez.am.speculation.enabled	false