Amazon EMR 7.1.0 - Catatan rilis Tez

Amazon EMR 7.1.0 - Perubahan Tez

Tipe	Deskripsi
Perbaikan Bug	TEZ-4394— Netty4 ShuffleHandler: harus menggunakan 1 utas bos (#256)
Peningkatan	Meningkatkan Netty ke 4.1.100.Final.
Peningkatan	Meningkatkan Jetty ke 9.4.53.v20231009.

Amazon EMR 7.1.0 - Tez masalah yang diketahui

• Masalah pembersihan Tez DAG (EMR 6.11.0 - EMR 7.2.0) - Di cluster dengan SSL diaktifkan menjalankan EMR versi 6.11.0 hingga 7.2.0, ada masalah yang diketahui SSLHandshakeException terjadi di TEZ Application Master (AM) selama fase pembersihan DAG. Ini terjadi ketika mencoba menghapus data shuffle perantara dari node jarak jauh melalui HTTPS setelah penyelesaian kueri, bukan selama eksekusi kueri. Masalah terjadi karena Tez AM tidak dapat membaca konfigurasi TrustStore yang relevan saat memanggil titik akhir layanan handler shuffle. Namun ini hanya memengaruhi pembersihan data shuffle selama pembersihan DAG, pembersihan tingkat aplikasi (AM) tetap terjadi dan membersihkan data shuffle yang tersisa. Jadi ini tidak mengarah pada akumulasi data shuffle.

  Perbaiki versi: - EMR 7.3.0

  Solusi - Tambahkan konfigurasi SSL berikut ke tez-site.xml:

  <property>
      <name>ssl.client.truststore.location</name>
      <value>{SSL_TRUSTSTORE_LOCATION}</value>
  </property>

• Pekerjaan babi yang berjalan di Tez - Di cluster dengan SSL diaktifkan menjalankan EMR versi 6.9.0 hingga 7.0.0, ada masalah yang diketahui di mana pekerjaan Pig yang berjalan di Tez gagal. SSLHandshakeException Ini terkait dengan masalah sumber terbuka TEZ-4096, yang diperkenalkan dengan peningkatan Tez ke versi 0.10.2 di EMR 6.9.0. Masalah ini membutuhkan SSL-related konfigurasi untuk diteruskan dari sisi klien (Babi).

  Perbaiki versi: - EMR 7.1.0

  Solusi - Tambahkan konfigurasi SSL berikut ke tez-site.xml:

  <property>
      <name>ssl.client.truststore.location</name>
      <value>{SSL_TRUSTSTORE_LOCATION}</value>
  </property>