Konfigurasikan aplikasi

Untuk menimpa konfigurasi default untuk aplikasi, Anda dapat menyediakan objek konfigurasi. Anda dapat menggunakan sintaks singkatan untuk menyediakan konfigurasi, atau Anda dapat menggunakan referensi objek konfigurasi dalam file JSON. Objek konfigurasi terdiri dari klasifikasi, properti, dan konfigurasi bersarang opsional. Properti sesuai dengan pengaturan aplikasi yang ingin Anda ubah. Anda dapat menentukan beberapa klasifikasi untuk beberapa aplikasi dalam objek JSON tunggal.

Awas

Operasi Amazon EMR Deskripsikan dan Daftar API memancarkan pengaturan khusus dan dapat dikonfigurasi, yang digunakan sebagai bagian dari alur kerja EMR Amazon, dalam teks biasa. Untuk memberikan informasi sensitif, seperti kata sandi, dalam pengaturan ini, lihat Menyimpan data konfigurasi sensitif di AWS Secrets Manager.

Klasifikasi konfigurasi yang tersedia bervariasi berdasarkan versi rilis Amazon EMR. Untuk daftar klasifikasi konfigurasi yang didukung dalam versi rilis tertentu, lihat halaman untuk versi rilis di bawahTentang Rilis Amazon EMR.

Berikut ini adalah contoh file JSON untuk daftar konfigurasi.

[
  {
    "Classification": "core-site",
    "Properties": {
      "hadoop.security.groups.cache.secs": "250"
    }
  },
  {
    "Classification": "mapred-site",
    "Properties": {
      "mapred.tasktracker.map.tasks.maximum": "2",
      "mapreduce.map.sort.spill.percent": "0.90",
      "mapreduce.tasktracker.reduce.tasks.maximum": "5"
    }
  }
]

Klasifikasi konfigurasi sering kali memetakan ke file konfigurasi spesifik-aplikasi. Misalnya, klasifikasi hive-site memetakan ke pengaturan di file konfigurasi hive-site.xml untuk Hive. Pengecualian untuk ini adalah tindakan bootstrap yang tidak lagi didukung configure-daemons, yang digunakan untuk mengatur parameter lingkungan seperti --namenode-heap-size. Pilihan seperti ini akan dimasukkan ke dalam klasifikasi hadoop-env dan yarn-env dengan klasifikasi eksport bersarang mereka sendiri. Jika ada klasifikasi yang berakhiran dengan env, gunakan sub-klasifikasi ekspor.

Pengecualian lainnya adalah s3get, yang digunakan untuk menempatkan objek EncryptionMaterialsProvider pelanggan pada setiap simpul dalam sebuah klaster untuk digunakan dalam enkripsi di sisi klien. Sebuah opsi ditambahkan ke dalam klasifikasi emrfs-site untuk tujuan ini.

Berikut ini adalah contoh klasifikasi hadoop-env.

[
  {
    "Classification": "hadoop-env",
    "Properties": {
      
    },
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "HADOOP_DATANODE_HEAPSIZE": "2048",
          "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19"
        },
        "Configurations": [
          
        ]
      }
    ]
  }
]

Berikut ini adalah contoh klasifikasi yarn-env.

[
  {
    "Classification": "yarn-env",
    "Properties": {
      
    },
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "YARN_RESOURCEMANAGER_OPTS": "-Xdebug -Xrunjdwp:transport=dt_socket"
        },
        "Configurations": [
          
        ]
      }
    ]
  }
]

Pengaturan berikut bukan milik file konfigurasi tetapi digunakan oleh Amazon EMR untuk kemungkinan melakukan konfigurasi dengan beberapa pengaturan atas nama Anda.

Pengaturan terkurasi oleh Amazon EMR
Aplikasi	Klasifikasi label rilis	Properti yang valid	Kapan harus menggunakan
Spark	spark	maximizeResourceAllocation	Konfigurasikan pelaksana untuk memanfaatkan sumber daya maksimum setiap simpul.

Topik

• Konfigurasikan aplikasi saat Anda membuat klaster
• Lakukan konfigurasi ulang pada grup instans di klaster yang sedang berjalan
• Menyimpan data konfigurasi sensitif di AWS Secrets Manager
• Konfigurasikan aplikasi untuk menggunakan Java Virtual Machine tertentu