Amazon EMR 7.4.0 — Notas de lançamento do Hadoop

Amazon EMR 7.4.0 - Alterações no Hadoop

Tipo	Description
Upgrade	A versão do Hadoop foi atualizada para 3.4.0, consulte as notas de lançamento do OSS.
Correção de bugs	Corrija métricas negativas do Yarn pendentes e alocadas para FairScheduler
Correção de bugs	YARN-11702 : Fixe o Yarn sobre a alocação de contêineres
Correção de bugs	Melhorar o tratamento das condições de corrida ao reduzir a escala dos nós
Melhoria	HADOOP-18679 : Adicionar API para bulk/paged exclusão de arquivos
Melhoria	HADOOP-19203: BulkDelete API WrappEdio para gerar IOs como UncheckEdIOExceptions
Melhoria	HADOOP-19205: S3A: initialization/close mais lento do que com o SDK v1
Melhoria	HADOOP-19161: S3A: opção fs.s3a.performance.flags para obter uma lista de sinalizadores de desempenho
Melhoria	HADOOP-19072: S3A: expanda as otimizações nas lojas com fs.s3a.performance.flags para mkdir

Amazon EMR 7.4.0 - Recursos do Hadoop

Consulte a lista a seguir para ver os novos recursos do Hadoop no Amazon EMR 7.4.0.

• Os valores de configuração padrão foram ajustados para uma performance ideal:

  • mapreduce.input.fileinputformat.list-status.num-threads=10 – Isso representa um aumento em relação a 1.

  • fs.s3a.block.size=64M – Isso representa um aumento em relação aos 32 milhões anteriores.

  • fs.s3a.multipart.size=128M – Isso representa um aumento em relação aos 64 milhões anteriores.

• Out-of-the-box otimizações de aprimoramento de desempenho para acelerar MapReduce trabalhos com o sistema de arquivos S3A.