Amazon EMR 7.4.0 — Notas de lançamento do Hadoop

Amazon EMR 7.4.0 - Alterações no Hadoop

Tipo	Descrição
Upgrade	A versão do Hadoop foi atualizada para 3.4.0, consulte as notas de lançamento do OSS.
Correção de bugs	Corrija métricas negativas do Yarn pendentes e alocadas para FairScheduler
Correção de bugs	YARN-11702: Fixe o fio sobre a alocação de contêineres
Correção de bugs	Melhore o tratamento das condições de corrida ao reduzir a escala dos nós
Melhoria	HADOOP-18679: Adicionar API para exclusão de arquivos bulk/paged
Melhoria	HADOOP-19203: API WrappEdio para aumentar como não verificada BulkDelete IOEs IOExceptions
Melhoria	HADOOP-19205: S3A: mais lento do que com o SDK v1 initialization/close
Melhoria	HADOOP-19161: S3A: opção fs.s3a.performance.flags para obter uma lista de sinalizadores de desempenho
Melhoria	HADOOP-19072: S3A: expanda as otimizações nas lojas com fs.s3a.performance.flags para mkdir

Amazon EMR 7.4.0 - Recursos do Hadoop

Consulte a lista a seguir para ver os novos recursos do Hadoop no Amazon EMR 7.4.0.

• Os valores de configuração padrão foram ajustados para um desempenho ideal:

  • mapreduce.input.fileinputformat.list-status.num-threads=10 — Isso é acima de 1.

  • fs.s3a.block.size=64M — Isso é acima de 32M.

  • fs.s3a.multipart.size=128M — Isso é acima de 64M.

• Out-of-the-box otimizações de aprimoramento de desempenho para acelerar MapReduce trabalhos com o sistema de arquivos S3A.