Mengonfigurasi metastore eksternal untuk Hive - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengonfigurasi metastore eksternal untuk Hive

Secara default, catatan Hive informasi metastore dalam database MySQL pada sistem file master node. metastore berisi deskripsi tabel dan data yang mendasari yang dibangun, termasuk nama partisi, tipe data, dan sebagainya. Ketika sebuah cluster berakhir, semua gugus node menutup, termasuk node master. Ketika hal ini terjadi, data lokal hilang karena sistem file simpul menggunakan penyimpanan sementara. Jika Anda membutuhkan metastore untuk bertahan, Anda harus membuat metastore eksternal yang ada di luar cluster.

Anda memiliki dua pilihan untuk metastore eksternal:

catatan

Jika Anda menggunakan Hive 3 dan menemukan terlalu banyak koneksi ke Hive metastore, mengkonfigurasi parameterdatanucleus.connectionPool.maxPoolSize untuk memiliki nilai yang lebih kecil atau meningkatkan jumlah koneksi server database dapat menangani. Peningkatan jumlah koneksi adalah karena cara Hive menghitung jumlah maksimum koneksi JDBC. Untuk menghitung nilai optimal untuk kinerja, lihat Hive Configuration Properties.