Amazon EMR 6.10.0 - Tez 릴리스 정보

Amazon EMR 6.10.0 - Tez 변경

Type	설명
기능	기본적으로 tez.runtime.transfer.data-via-events.enabled 활성화
백포트	TEZ-4450: 셔플 데이터가 데이터 이동 이벤트를 통해 전송될 때 나타나는 셔플 데이터 가져오기 실패 수정
백포트	TEZ-4460: Tez 셔플 핸들러에서 셔플 데이터를 가져올 때 발생하는 읽기 제한 시간 오류 수정
백포트	TEZ-4455: 더 나은 디버깅을 위해 ShuffleHandler 파이프라인에 LoggingHandler 추가
버그	태스크 선점이 활성화된 경우 Tez 작업이 간헐적으로 멈추는 문제 수정

Amazon EMR 6.10.0 - Tez 알려진 문제

• Tez에서 실행되는 Hive 작업 - EMR 버전 6.9.0을 실행하는 SSL이 활성화된 클러스터에서는 Tez에서 실행되는 Hive 작업이 SSLHandshakeException으로 실패하는 문제가 있습니다. 이는 EMR 6.9.0의 Tez 버전 0.10.2로 업그레이드되면서 발생한 오픈 소스 문제 TEZ-4096과 관련이 있습니다. 이 문제를 해결하려면 클라이언트 측(Hive)에서 SSL 관련 구성을 전달합니다.

  수정 버전: – EMR 6.10.0

  버전 6.9의 해결 방법 - tez-site.xml에 다음 SSL 구성을 추가합니다.

  <property>
      <name>ssl.client.truststore.location</name>
      <value>{SSL_TRUSTSTORE_LOCATION}</value>
  </property>

• Tez에서 실행되는 Pig 작업 - EMR 버전 6.9.0~7.0.0을 실행하는 SSL이 활성화된 클러스터에서는 Tez에서 실행되는 Pig 작업이 SSLHandshakeException으로 실패하는 문제가 있습니다. 이는 EMR 6.9.0의 Tez 버전 0.10.2로 업그레이드되면서 발생한 오픈 소스 문제 TEZ-4096과 관련이 있습니다. 이 문제를 해결하려면 클라이언트 측(Pig)에서 SSL 관련 구성을 전달합니다.

  수정 버전: – EMR 7.1.0

  해결 방법 – tez-site.xml에 다음 SSL 구성을 추가합니다.

  <property>
      <name>ssl.client.truststore.location</name>
      <value>{SSL_TRUSTSTORE_LOCATION}</value>
  </property>