Amazon EMR 6.6.0: notas de versão do Hadoop

Amazon EMR 6.6.0: alterações no Hadoop

Tipo	Descrição
Bug	Registros duplicados corrigidos ao ler arquivos BZip2 de texto.
Backport	HADOOP-18136: verificar o tratamento de arquivos .tar ausentes por FileUtils.unTar()
Backport	HADOOP-17627: backport para branch-3.2 HADOOP-17371, HADOOP-17621, HADOOP-17625 para atualizar o Jetty para 9.4.39
Backport	HADOOP-17655: atualizar o Jetty para 9.4.40
Backport	HADOOP-17796: atualizar a versão do Jetty para 9.4.43
Backport	HADOOP-17661: mvn versions:set falha ao analisar pom.xml
Backport	HADOOP-17236: aumentar o snakeyaml para 1.26 para mitigar o CVE-2017-18640
Backport	HADOOP-16717: Remova a dependência de IsLog4JLogger no Log4 GenericsUtil jLoggerAdapter
Backport	HADOOP-17633: aumente o json-smart para 2.4.2 e 9.8 devido a nimbus-jose-jwt CVEs
Backport	HADOOP-17844: atualizar o JSON smart para 2.4.7
Backport	HADOOP-17972: backport do HADOOP-17683 (atualização commons-io para 2.8.0) para branch-3.2
Backport	HADOOP-16555: atualizar o commons-compress para 1.19
Backport	HADOOP-17370: atualizar o commons-compress para 1.21
Backport	HADOOP-17096: Corrigir o deslocamento do buffer de entrada do compressor ZStandard
Backport	HADOOP-17112: não são permitidos espaços em branco nos caminhos ao salvar arquivos no s3a via confirmador
Backport	HADOOP-13500: sincronizar a iteração do objeto de propriedades de configuração
Backport	HDFS-14099: Descritor de quadro desconhecido ao descompactar vários quadros no Descompressor ZStandard
Backport	HDFS-16410: Análise insegura de Xml em OfflineEditsXmlLoader
Backport	HDFS-14498: LeaseManager pode repetir para sempre o arquivo cuja criação falhou
Backport	HDFS-15290: entrada NPE durante a inicialização HttpServer NameNode
Backport	HDFS-15293: flexibilizar a condição para aceitar uma fsimage ao receber um ponto de verificação
Backport	HDFS-12979: StandbyNode deve ser carregado após o ponto de verificação FsImage ObserverNode
Backport	YARN-10538: adicionar nós de reativação à lista de nós atualizados retornados ao AM
Backport	YARN-10472: Backport YARN-10314 (lançado apenas com jars de cliente sombreados) para o YarnClient NoClassDefFoundError branch-3.2 WebSocketException
Backport	YARN-9968: o localizador público está saindo em NodeManager devido a NullPointerException
Backport	YARN-10651: CapacityScheduler travou com NPE em AbstractYarnScheduler.updateNodeResource()
Backport	YARN-9339: métrica de aplicações pendentes incorreta após mover a aplicação para uma nova fila
Backport	YARN-10438: manipular containerId nulo em ClientRMService#getContainerReport()
Backport	YARN-7266: o ATS 1.5 não conseguirá iniciar se os arquivos RollingLevelDb estiverem corrompidos ou ausentes
Backport	YARN-9063: o ATS 1.5 não conseguirá iniciar se os arquivos RollingLevelDb estiverem corrompidos ou ausentes
Backport	YARN-9848: reverter o YARN-4946 (o RM não deve considerar uma aplicação como COMPLETED quando a agregação de logs não está em um estado terminal).