Kesalahan Klaster Hive

Anda biasanya dapat menemukan penyebab kesalahan Hive di file syslog, yang Anda tautkan dari panel Langkah. Jika Anda tidak dapat menentukan masalahnya di sana, periksa pesan kesalahan Hadoop upaya tugas. Tautkan ke sana pada panel Upaya Tugas.

Kesalahan berikut umum terjadi untuk klaster Hive.

Apakah Anda menggunakan versi terbaru dari Hive?

Versi terbaru dari Hive memiliki semua patch dan perbaikan bug terbaru dan dapat menyelesaikan masalah Anda.

Apakah Anda mengalami kesalahan sintaks dalam skrip Hive?

Jika langkah gagal, lihat file stdout log untuk langkah yang menjalankan skrip Hive. Jika kesalahan tidak ada di sana, lihat file syslog log upaya tugas untuk upaya tugas yang gagal. Untuk informasi selengkapnya, lihat Melihat berkas log.

Apakah pekerjaan gagal saat berjalan secara interaktif?

Jika Anda menjalankan Hive secara interaktif pada simpul utama dan klaster tersebut gagal, lihat entri syslog dalam log upaya tugas untuk upaya tugas yang gagal. Untuk informasi selengkapnya, lihat Melihat berkas log.

Apakah Anda mengalami kesulitan memuat data ke atau dari Amazon S3 ke Hive?

Jika Anda mengalami kesulitan mengakses data di Amazon S3, periksa dulu kemungkinan penyebab yang tercantum dalam Apakah Anda mengalami kesulitan memuat data ke atau dari Amazon S3?. Jika masalah yang ada di sana bukan penyebabnya, pertimbangkan opsi berikut khusus untuk Hive.

• Pastikan Anda menggunakan versi Hive terbaru, yang memiliki semua patch dan perbaikan bug terbaru yang dapat menyelesaikan masalah Anda. Untuk informasi selengkapnya, lihat Apache Hive.

• Menggunakan INSERT OVERWRITE memerlukan pencantuman isi bucket atau folder Amazon S3. Ini adalah operasi yang mahal. Jika memungkinkan, pangkas jalurnya secara manual alih-alih membuat Hive mencantumkan dan menghapus objek yang ada.

• Jika Anda menggunakan versi EMR rilis Amazon lebih awal dari 5.0, Anda dapat menggunakan perintah berikut di HiveQL untuk melakukan pra-cache hasil operasi daftar Amazon S3 secara lokal di klaster:

  set hive.optimize.s3.query=true;

• Gunakan partisi statis jika memungkinkan.

• Dalam beberapa versi Hive dan AmazonEMR, ada kemungkinan bahwa penggunaan ALTER TABLES akan gagal karena tabel disimpan di lokasi yang berbeda dari yang diharapkan oleh Hive. Solusinya adalah menambahkan atau memperbarui hal berikut di /home/hadoop/conf/core-site.xml:

  <property>
      <name>fs.s3n.endpoint</name>
      <value>s3.amazonaws.com</value>
  </property>