EmrConfiguration

EmrConfiguration Objek adalah konfigurasi yang digunakan untuk EMR cluster dengan rilis 4.0.0 atau lebih besar. Konfigurasi (sebagai daftar) adalah parameter untuk RunJobFlow API panggilan. Konfigurasi API untuk Amazon EMR mengambil klasifikasi dan properti. AWS Data Pipeline menggunakan EmrConfiguration dengan objek Properti yang sesuai untuk mengkonfigurasi EmrCluster aplikasi seperti Hadoop, Hive, Spark, atau Pig pada EMR cluster yang diluncurkan dalam eksekusi pipeline. Karena konfigurasi hanya dapat diubah untuk cluster baru, Anda tidak dapat menyediakan EmrConfiguration objek untuk sumber daya yang ada. Untuk informasi selengkapnya, lihat https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/.

Contoh

Objek konfigurasi berikut menetapkan properti io.file.buffer.size dan fs.s3.block.size di core-site.xml:

[
   {  
      "classification":"core-site",
      "properties":
      {
         "io.file.buffer.size": "4096",
         "fs.s3.block.size": "67108864"
      }
   }
]

Definisi objek pipeline yang sesuai menggunakan EmrConfiguration objek dan daftar objek Properti di property bidang:

{
  "objects": [
    {
      "name": "ReleaseLabelCluster",
      "releaseLabel": "emr-4.1.0",
      "applications": ["spark", "hive", "pig"],
      "id": "ResourceId_I1mCc",
      "type": "EmrCluster",
      "configuration": {
        "ref": "coresite"
      }
    },
    {
      "name": "coresite",
      "id": "coresite",
      "type": "EmrConfiguration",
      "classification": "core-site",
      "property": [{
        "ref": "io-file-buffer-size"
      },
      {
        "ref": "fs-s3-block-size"
      }
      ]
    },
    {
      "name": "io-file-buffer-size",
      "id": "io-file-buffer-size",
      "type": "Property",
      "key": "io.file.buffer.size",
      "value": "4096"
    },
    {
      "name": "fs-s3-block-size",
      "id": "fs-s3-block-size",
      "type": "Property",
      "key": "fs.s3.block.size",
      "value": "67108864"
    }
  ]
}

Contoh berikut adalah konfigurasi bersarang yang digunakan untuk mengatur lingkungan Hadoop dengan klasifikasi hadoop-env:

[
  {
    "classification": "hadoop-env",
    "properties": {},
    "configurations": [
      {
        "classification": "export",
        "properties": {
          "YARN_PROXYSERVER_HEAPSIZE": "2396"
        }
      }
    ]
  }
]

Objek definisi alur yang sesuai yang menggunakan konfigurasi ini adalah di bawah ini:

{
  "objects": [
    {
      "name": "ReleaseLabelCluster",
      "releaseLabel": "emr-4.0.0",
      "applications": ["spark", "hive", "pig"],
      "id": "ResourceId_I1mCc",
      "type": "EmrCluster",
      "configuration": {
        "ref": "hadoop-env"
      }
    },
    {
      "name": "hadoop-env",
      "id": "hadoop-env",
      "type": "EmrConfiguration",
      "classification": "hadoop-env",
      "configuration": {
        "ref": "export"
      }
    },
    {
      "name": "export",
      "id": "export",
      "type": "EmrConfiguration",
      "classification": "export",
      "property": {
        "ref": "yarn-proxyserver-heapsize"
      }
    },
    {
      "name": "yarn-proxyserver-heapsize",
      "id": "yarn-proxyserver-heapsize",
      "type": "Property",
      "key": "YARN_PROXYSERVER_HEAPSIZE",
      "value": "2396"
    },
  ]
}

Contoh berikut memodifikasi properti HIVE-spesifik untuk sebuah cluster: EMR

{
    "objects": [
        {
            "name": "hivesite",
            "id": "hivesite",
            "type": "EmrConfiguration",
            "classification": "hive-site",
            "property": [
                {
                    "ref": "hive-client-timeout"
                }
            ]
        },
        {
            "name": "hive-client-timeout",
            "id": "hive-client-timeout",
            "type": "Property",
            "key": "hive.metastore.client.socket.timeout",
            "value": "2400s"
        }
    ]
}

Sintaks

Objek ini mencakup bidang berikut.

Bidang yang Wajib Diisi	Deskripsi	Jenis Slot
klasifikasi	Klasifikasi untuk konfigurasi.	String

Bidang Opsional	Deskripsi	Jenis Slot
konfigurasi	Sub-konfigurasi untuk konfigurasi ini.	Objek Referensi, misalnya “konfigurasi”: {"ref”:” myEmrConfiguration Id "}
induk	Induk dari objek saat ini dari mana slot akan diwariskan.	Objek Referensi, misalnya “induk”: {"ref”:” myBaseObject Id "}
properti	Properti konfigurasi.	Objek Referensi, misalnya “properti”: {"ref”:” myPropertyId “}

Bidang Runtime	Deskripsi	Jenis Slot
@version	Versi alur objek dibuat dengan.	String

Bidang Sistem	Deskripsi	Jenis Slot
@error	Galat mendeskripsikan obyek yang tidak terbentuk	String
@pipelineId	Id dari alur tempat objek ini berada	String
@sphere	Lingkup dari sebuah objek menunjukkan tempatnya dalam siklus hidup: Component Objects memunculkan Instance Objects yang mengeksekusi Attempt Objects	String

Lihat Juga

• EmrCluster

• Properti

• Panduan EMR Rilis Amazon