Amazon EMR 7.2.0 - Notas de lançamento do Tez

Amazon EMR 7.2.0 - Mudanças no Tez

Type	Descrição
Melhoria	Opção fornecida para desativar as restrições de localidade ao solicitar contêineres para tarefas.
Correção de bugs	Torne o TaskDependencies# addTaskDependency thread seguro
Upgrade	Atualize a versão TLS para 1.3 para Tez.

Amazon EMR 7.2.0 - Novas configurações

Classificação	Nome	Padrão	Descrição
tez-site	tez.task.relaxed.localidade	false	Quando ativadas, as restrições de localidade do rack e do nó não são consideradas ao solicitar um contêiner para uma tarefa.

Amazon EMR 7.2.0 - Tez problemas conhecidos

Problema de limpeza do Tez DAG (EMR 6.11.0 - EMR 7.2.0) — Em clusters com SSL habilitado executando as versões 6.11.0 a 7.2.0 do EMR, há um problema SSLHandshake conhecido em que ocorre uma exceção no TEZ Application Master (AM) durante a fase de limpeza do DAG. Isso acontece ao tentar excluir dados aleatórios intermediários de nós remotos por HTTPS após a conclusão da consulta, não durante a execução da consulta. O problema ocorre porque o Tez AM não consegue ler a configuração relevante do TrustStore ao chamar o endpoint do serviço shuffle handler. No entanto, isso afeta apenas a limpeza dos dados aleatórios durante a limpeza do DAG. A limpeza no nível do aplicativo (AM) acontece de qualquer maneira e limpa todos os dados aleatórios remanescentes. Portanto, isso não leva ao acúmulo aleatório de dados.

Versão fixa: — EMR 7.3.0

Solução alternativa — adicione a seguinte configuração SSL ao tez-site.xml:

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>