Konfigurasikan aplikasi untuk menggunakan Java Virtual Machine tertentu - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasikan aplikasi untuk menggunakan Java Virtual Machine tertentu

Java 8 adalah Java Virtual Machine (JVM) default untuk instans klaster yang dibuat menggunakan Amazon EMR versi rilis 5.0.0 atau setelahnya. Untuk menimpa pengaturan JVM ini - misalnya, untuk menggunakan Java 8 dengan klaster yang dibuat menggunakan Amazon EMR versi 4.8.0 - atur JAVA_HOME untuk aplikasi dengan menyediakan pengaturan untuk klasifikasi lingkungannya, application-env. Untuk Hadoop dan Hive, hal ini akan terlihat seperti contoh berikut.

[ { "Classification": "hadoop-env", "Configurations": [ { "Classification": "export", "Configurations": [], "Properties": { "JAVA_HOME": "/usr/lib/jvm/java-1.8.0" } } ], "Properties": {} } ]

Untuk Spark, jika Anda menulis driver untuk pengiriman dalam mode klaster, driver akan menggunakan Java 7. Namun demikian, pengaturan lingkungan dapat memastikan bahwa pelaksana menggunakan Java 8. Untuk melakukan ini, kami merekomendasikan pengaturan klasifikasi Hadoop dan Spark.

[ { "Classification": "hadoop-env", "Configurations": [ { "Classification": "export", "Configurations": [], "Properties": { "JAVA_HOME": "/usr/lib/jvm/java-1.8.0" } } ], "Properties": {} }, { "Classification": "spark-env", "Configurations": [ { "Classification": "export", "Configurations": [], "Properties": { "JAVA_HOME": "/usr/lib/jvm/java-1.8.0" } } ], "Properties": {} } ]

Port layanan

Berikut ini adalah port layanan YARN dan HDFS. Pengaturan ini mencerminkan default Hadoop. Layanan aplikasi lain di-host di port default kecuali jika didokumentasikan berbeda. Untuk informasi lebih lanjut, lihat dokumentasi proyek aplikasinya.

Pengaturan port untuk YARN dan HDFS
Pengaturan Nama Host/Port
fs.default.name default (hdfs://emrDeterminedIP:8020)
dfs.datanode.address default (0.0.0.0:50010)
dfs.datanode.http.address default (0.0.0.0:50075)
dfs.datanode.https.address default (0.0.0.0:50475)
dfs.datanode.ipc.address default (0.0.0.0:50020)
dfs.http.address default (0.0.0.0:50070)
dfs.https.address default (0.0.0.0:50470)
dfs.secondary.http.address default (0.0.0.0:50090)
yarn.nodemanager.address default (${yarn.nodemanager.hostname}:0)
yarn.nodemanager.localizer.address default (${yarn.nodemanager.hostname}:8040)
yarn.nodemanager.webapp.address default (${yarn.nodemanager.hostname}:8042)
yarn.resourcemanager.address default (${yarn.resourcemanager.hostname}:8032)
yarn.resourcemanager.admin.address default (${yarn.resourcemanager.hostname}:8033)
yarn.resourcemanager.resource-tracker.address default (${yarn.resourcemanager.hostname}:8031)
yarn.resourcemanager.scheduler.address default (${yarn.resourcemanager.hostname}:8030)
yarn.resourcemanager.webapp.address default (${yarn.resourcemanager.hostname}:8088)
yarn.web-proxy.address default (no-value)
yarn.resourcemanager.hostname emrDeterminedIP
catatan

Istilah emrDeterminedIP adalah alamat IP yang dihasilkan oleh pesawat kontrol Amazon EMR. Dalam versi yang lebih baru, konvensi ini telah dihapus, kecuali untuk pengaturan yarn.resourcemanager.hostname dan fs.default.name.

Pengguna aplikasi

Aplikasi menjalankan proses sebagai penggunanya sendiri. Misalnya, Hive JVM berjalan sebagai penggunahive, MapReduce JVM berjalan sebagaimapred, dan sebagainya. Hal ini ditunjukkan dalam contoh status proses berikut.

USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND hive 6452 0.2 0.7 853684 218520 ? Sl 16:32 0:13 /usr/lib/jvm/java-openjdk/bin/java -Xmx256m -Dhive.log.dir=/var/log/hive -Dhive.log.file=hive-metastore.log -Dhive.log.threshold=INFO -Dhadoop.log.dir=/usr/lib/hadoop hive 6557 0.2 0.6 849508 202396 ? Sl 16:32 0:09 /usr/lib/jvm/java-openjdk/bin/java -Xmx256m -Dhive.log.dir=/var/log/hive -Dhive.log.file=hive-server2.log -Dhive.log.threshold=INFO -Dhadoop.log.dir=/usr/lib/hadoop/l hbase 6716 0.1 1.0 1755516 336600 ? Sl Jun21 2:20 /usr/lib/jvm/java-openjdk/bin/java -Dproc_master -XX:OnOutOfMemoryError=kill -9 %p -Xmx1024m -ea -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode -Dhbase.log.dir=/var/ hbase 6871 0.0 0.7 1672196 237648 ? Sl Jun21 0:46 /usr/lib/jvm/java-openjdk/bin/java -Dproc_thrift -XX:OnOutOfMemoryError=kill -9 %p -Xmx1024m -ea -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode -Dhbase.log.dir=/var/ hdfs 7491 0.4 1.0 1719476 309820 ? Sl 16:32 0:22 /usr/lib/jvm/java-openjdk/bin/java -Dproc_namenode -Xmx1000m -Dhadoop.log.dir=/var/log/hadoop-hdfs -Dhadoop.log.file=hadoop-hdfs-namenode-ip-10-71-203-213.log -Dhadoo yarn 8524 0.1 0.6 1626164 211300 ? Sl 16:33 0:05 /usr/lib/jvm/java-openjdk/bin/java -Dproc_proxyserver -Xmx1000m -Dhadoop.log.dir=/var/log/hadoop-yarn -Dyarn.log.dir=/var/log/hadoop-yarn -Dhadoop.log.file=yarn-yarn- yarn 8646 1.0 1.2 1876916 385308 ? Sl 16:33 0:46 /usr/lib/jvm/java-openjdk/bin/java -Dproc_resourcemanager -Xmx1000m -Dhadoop.log.dir=/var/log/hadoop-yarn -Dyarn.log.dir=/var/log/hadoop-yarn -Dhadoop.log.file=yarn-y mapred 9265 0.2 0.8 1666628 260484 ? Sl 16:33 0:12 /usr/lib/jvm/java-openjdk/bin/java -Dproc_historyserver -Xmx1000m -Dhadoop.log.dir=/usr/lib/hadoop/logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/usr/lib/hadoop