Amazon EMR 6.11.0 - Notas da versão do Tez

Amazon EMR 6.11.0 - Alterações no Tez

Type	Descrição
Bug	Corrigida a transição de estado de vértices inválida durante a limpeza em nível de vértice de dados embaralhados
Bug	Corrigida a limpeza em nível de DAG ou vértice de dados embaralhados que não funcionam
Melhoria	Ative tez.am.dag.cleanup.on.completion por padrão para limpar os dados aleatórios de concluídos DAGs

Amazon EMR 6.11.0 - Problemas conhecidos da Tez

• Trabalhos do Pig em execução no Tez — Em clusters com SSL habilitado executando o EMR versão 6.9.0 a 7.0.0, há um problema conhecido em que os trabalhos do Pig executados no Tez falham com exceção. SSLHandshake Isso está relacionado ao problema de código aberto TEZ-4096, que foi introduzido com a atualização do Tez para a versão 0.10.2 no EMR 6.9.0. O problema exige que as configurações relacionadas ao SSL sejam passadas do lado do cliente (Pig).

  Versão fixa: — EMR 7.1.0

  Solução alternativa — adicione a seguinte configuração SSL ao tez-site.xml:

  <property>
      <name>ssl.client.truststore.location</name>
      <value>{SSL_TRUSTSTORE_LOCATION}</value>
  </property>

• Problema de limpeza do Tez DAG (EMR 6.11.0 - EMR 7.2.0) — Em clusters com SSL habilitado executando as versões 6.11.0 a 7.2.0 do EMR, há um problema SSLHandshake conhecido em que ocorre uma exceção no TEZ Application Master (AM) durante a fase de limpeza do DAG. Isso acontece ao tentar excluir dados aleatórios intermediários de nós remotos por HTTPS após a conclusão da consulta, não durante a execução da consulta. O problema ocorre porque o Tez AM não consegue ler a configuração relevante do TrustStore ao chamar o endpoint do serviço shuffle handler. No entanto, isso afeta apenas a limpeza dos dados aleatórios durante a limpeza do DAG. A limpeza no nível do aplicativo (AM) acontece de qualquer maneira e limpa todos os dados aleatórios remanescentes. Portanto, isso não leva ao acúmulo aleatório de dados.

  Versão fixa: — EMR 7.3.0

  Solução alternativa — adicione a seguinte configuração SSL ao tez-site.xml:

  <property>
      <name>ssl.client.truststore.location</name>
      <value>{SSL_TRUSTSTORE_LOCATION}</value>
  </property>