Konfigurasikan aplikasi - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasikan aplikasi

Untuk menimpa konfigurasi default untuk aplikasi, Anda dapat menyediakan objek konfigurasi. Anda dapat menggunakan sintaks singkatan untuk menyediakan konfigurasi, atau Anda dapat menggunakan referensi objek konfigurasi dalam file JSON. Objek konfigurasi terdiri dari klasifikasi, properti, dan konfigurasi bersarang opsional. Properti sesuai dengan pengaturan aplikasi yang ingin Anda ubah. Anda dapat menentukan beberapa klasifikasi untuk beberapa aplikasi dalam objek JSON tunggal.

Awas

Operasi Amazon EMR Describe dan Daftar API akan memancarkan pengaturan kustom dan yang dapat dikonfigurasi, yang digunakan sebagai bagian dari alur kerja Amazon EMR, di plaintext. Kami merekomendasikan untuk tidak memasukkan informasi sensitif, misalnya kata sandi, dalam pengaturan ini.

Klasifikasi konfigurasi yang tersedia bervariasi berdasarkan versi rilis Amazon EMR. Untuk daftar klasifikasi konfigurasi yang didukung di versi rilis tertentu, lihat halaman untuk versi rilis di bawahTentang Rilis Amazon EMR.

Berikut ini adalah contoh file JSON untuk daftar konfigurasi.

[ { "Classification": "core-site", "Properties": { "hadoop.security.groups.cache.secs": "250" } }, { "Classification": "mapred-site", "Properties": { "mapred.tasktracker.map.tasks.maximum": "2", "mapreduce.map.sort.spill.percent": "0.90", "mapreduce.tasktracker.reduce.tasks.maximum": "5" } } ]

Klasifikasi konfigurasi sering kali memetakan ke file konfigurasi spesifik-aplikasi. Misalnya, klasifikasi hive-site memetakan ke pengaturan di file konfigurasi hive-site.xml untuk Hive. Pengecualian untuk ini adalah tindakan bootstrap yang tidak lagi didukung configure-daemons, yang digunakan untuk mengatur parameter lingkungan seperti --namenode-heap-size. Pilihan seperti ini akan dimasukkan ke dalam klasifikasi hadoop-env dan yarn-env dengan klasifikasi eksport bersarang mereka sendiri. Jika ada klasifikasi yang berakhiran dengan env, gunakan sub-klasifikasi ekspor.

Pengecualian lainnya adalah s3get, yang digunakan untuk menempatkan objek EncryptionMaterialsProvider pelanggan pada setiap simpul dalam sebuah klaster untuk digunakan dalam enkripsi di sisi klien. Sebuah opsi ditambahkan ke dalam klasifikasi emrfs-site untuk tujuan ini.

Berikut ini adalah contoh klasifikasi hadoop-env.

[ { "Classification": "hadoop-env", "Properties": { }, "Configurations": [ { "Classification": "export", "Properties": { "HADOOP_DATANODE_HEAPSIZE": "2048", "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19" }, "Configurations": [ ] } ] } ]

Berikut ini adalah contoh klasifikasi yarn-env.

[ { "Classification": "yarn-env", "Properties": { }, "Configurations": [ { "Classification": "export", "Properties": { "YARN_RESOURCEMANAGER_OPTS": "-Xdebug -Xrunjdwp:transport=dt_socket" }, "Configurations": [ ] } ] } ]

Pengaturan berikut bukan milik file konfigurasi tetapi digunakan oleh Amazon EMR untuk kemungkinan melakukan konfigurasi dengan beberapa pengaturan atas nama Anda.

Pengaturan terkurasi oleh Amazon EMR
Aplikasi Klasifikasi label rilis Properti yang valid Kapan harus menggunakan
Spark spark maximizeResourceAllocation Konfigurasikan pelaksana untuk memanfaatkan sumber daya maksimum setiap simpul.