Amazon EMR 6.12.0 - Notas da versão do Tez - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Amazon EMR 6.12.0 - Notas da versão do Tez

Amazon EMR 6.12.0 - Alterações no Tez

Type Descrição
Melhoria Adicionado suporte para runtime do JDK 11 e do JDK 17
Correção de bugs TEZ-4492: atualize o Bowerrc para usar o espelho bower.herokuapp para evitar o problema CERT_EXPIRE do registro do Bower (BOWER-2608)
Upgrade Atualizado o Surefire para 3.0.0-M7

Amazon EMR 6.12.0 - Problemas conhecidos da Tez

  • Trabalhos do Pig em execução no Tez — Em clusters com SSL habilitado executando o EMR versão 6.9.0 a 7.0.0, há um problema conhecido em que os trabalhos do Pig executados no Tez falham com exceção. SSLHandshake Isso está relacionado ao problema de código aberto TEZ-4096, que foi introduzido com a atualização do Tez para a versão 0.10.2 no EMR 6.9.0. O problema exige que as configurações relacionadas ao SSL sejam passadas do lado do cliente (Pig).

    Versão fixa: — EMR 7.1.0

    Solução alternativa — adicione a seguinte configuração SSL ao tez-site.xml:

    <property> <name>ssl.client.truststore.location</name> <value>{SSL_TRUSTSTORE_LOCATION}</value> </property>
  • Problema de limpeza do Tez DAG (EMR 6.11.0 - EMR 7.2.0) — Em clusters com SSL habilitado executando as versões 6.11.0 a 7.2.0 do EMR, há um problema SSLHandshake conhecido em que ocorre uma exceção no TEZ Application Master (AM) durante a fase de limpeza do DAG. Isso acontece ao tentar excluir dados aleatórios intermediários de nós remotos por HTTPS após a conclusão da consulta, não durante a execução da consulta. O problema ocorre porque o Tez AM não consegue ler a configuração relevante do TrustStore ao chamar o endpoint do serviço shuffle handler. No entanto, isso afeta apenas a limpeza dos dados aleatórios durante a limpeza do DAG. A limpeza no nível do aplicativo (AM) acontece de qualquer maneira e limpa todos os dados aleatórios remanescentes. Portanto, isso não leva ao acúmulo aleatório de dados.

    Versão fixa: — EMR 7.3.0

    Solução alternativa — adicione a seguinte configuração SSL ao tez-site.xml:

    <property> <name>ssl.client.truststore.location</name> <value>{SSL_TRUSTSTORE_LOCATION}</value> </property>