Konfigurasikan aplikasi - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasikan aplikasi

Untuk menimpa konfigurasi default untuk aplikasi, Anda dapat menyediakan objek konfigurasi. Anda dapat menggunakan sintaks singkatan untuk menyediakan konfigurasi, atau Anda dapat mereferensikan objek konfigurasi dalam file. JSON Objek konfigurasi terdiri dari klasifikasi, properti, dan konfigurasi bersarang opsional. Properti sesuai dengan pengaturan aplikasi yang ingin Anda ubah. Anda dapat menentukan beberapa klasifikasi untuk beberapa aplikasi dalam satu JSON objek.

Awas

APIOperasi EMR Jelaskan dan Daftar Amazon memancarkan setelan khusus dan dapat dikonfigurasi, yang digunakan sebagai bagian dari alur EMR kerja Amazon, dalam teks biasa. Untuk memberikan informasi sensitif, seperti kata sandi, dalam pengaturan ini, lihat Menyimpan data konfigurasi sensitif di AWS Secrets Manager.

Klasifikasi konfigurasi yang tersedia bervariasi menurut versi EMR rilis Amazon. Untuk daftar klasifikasi konfigurasi yang didukung dalam versi rilis tertentu, lihat halaman untuk versi rilis di bawahTentang Amazon EMR Rilis.

Berikut ini adalah contoh JSON file untuk daftar konfigurasi.

[
  {
    "Classification": "core-site",
    "Properties": {
      "hadoop.security.groups.cache.secs": "250"
    }
  },
  {
    "Classification": "mapred-site",
    "Properties": {
      "mapred.tasktracker.map.tasks.maximum": "2",
      "mapreduce.map.sort.spill.percent": "0.90",
      "mapreduce.tasktracker.reduce.tasks.maximum": "5"
    }
  }
]

Klasifikasi konfigurasi sering kali memetakan ke file konfigurasi spesifik-aplikasi. Misalnya, klasifikasi hive-site memetakan ke pengaturan di file konfigurasi hive-site.xml untuk Hive. Pengecualian untuk ini adalah tindakan bootstrap yang tidak lagi didukung configure-daemons, yang digunakan untuk mengatur parameter lingkungan seperti --namenode-heap-size. Pilihan seperti ini akan dimasukkan ke dalam klasifikasi hadoop-env dan yarn-env dengan klasifikasi eksport bersarang mereka sendiri. Jika ada klasifikasi yang berakhiran dengan env, gunakan sub-klasifikasi ekspor.

Pengecualian lainnya adalah s3get, yang digunakan untuk menempatkan objek EncryptionMaterialsProvider pelanggan pada setiap simpul dalam sebuah klaster untuk digunakan dalam enkripsi di sisi klien. Sebuah opsi ditambahkan ke dalam klasifikasi emrfs-site untuk tujuan ini.

Berikut ini adalah contoh klasifikasi hadoop-env.

[
  {
    "Classification": "hadoop-env",
    "Properties": {
      
    },
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "HADOOP_DATANODE_HEAPSIZE": "2048",
          "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19"
        },
        "Configurations": [
          
        ]
      }
    ]
  }
]

Berikut ini adalah contoh klasifikasi yarn-env.

[
  {
    "Classification": "yarn-env",
    "Properties": {
      
    },
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "YARN_RESOURCEMANAGER_OPTS": "-Xdebug -Xrunjdwp:transport=dt_socket"
        },
        "Configurations": [
          
        ]
      }
    ]
  }
]

Pengaturan berikut bukan milik file konfigurasi tetapi digunakan oleh Amazon EMR untuk berpotensi mengonfigurasi beberapa pengaturan atas nama Anda.

Pengaturan dikuratori oleh Amazon EMR
Aplikasi Klasifikasi label rilis Properti yang valid Kapan harus menggunakan
Spark spark maximizeResourceAllocation Konfigurasikan pelaksana untuk memanfaatkan sumber daya maksimum setiap simpul.
Topik