Menyesuaikan volume perangkat root Amazon EBS - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyesuaikan volume perangkat root Amazon EBS

Default volume root EBS

Dengan Amazon EMR 4.x dan yang lebih tinggi, Anda dapat menentukan ukuran volume root saat membuat cluster. Dengan Amazon EMR rilis 6.15.0 dan yang lebih tinggi, Anda juga dapat menentukan IOPS volume root dan throughput. Atribut hanya berlaku untuk volume perangkat root Amazon EBS, dan berlaku untuk semua instance di cluster. Atribut tidak berlaku untuk volume penyimpanan, yang Anda tentukan secara terpisah untuk setiap jenis instans saat membuat klaster.

  • Ukuran volume root default adalah 15 GiB di Amazon EMR 6.10.0 dan lebih tinggi. Rilis sebelumnya memiliki ukuran volume root default 10 GiB. Anda dapat menyesuaikan ini hingga 100 GiB.

  • Volume root default IOPS adalah 3000. Anda dapat menyesuaikan ini hingga 16000.

  • Output volume root default adalah 125 MiB/s. Anda dapat menyesuaikan ini hingga 1000 MiB/s.

catatan

Ukuran volume root dan IOPS tidak dapat memiliki rasio lebih tinggi dari 1 volume hingga 500 IOPS (1:500), sedangkan volume root IOPS dan throughput tidak dapat memiliki rasio yang lebih tinggi dari 1 IOPS hingga 0,25 throughput (1:0,25).

Untuk informasi selengkapnya tentang Amazon EBS, lihat Volume perangkat asal Amazon EC2.

Jenis volume perangkat root dengan AMI default

Saat Anda menggunakan AMI default, jenis volume perangkat root ditentukan oleh rilis EMR Amazon yang Anda gunakan.

  • Dengan Amazon EMR merilis 6.15.0 dan lebih tinggi, Amazon EMR memasang General Purpose SSD (gp3) sebagai jenis volume perangkat root.

  • Dengan rilis Amazon EMR lebih rendah dari 6.15.0, Amazon EMR memasang General Purpose SSD (gp2) sebagai jenis volume perangkat root.

Jenis volume perangkat root dengan AMI khusus

AMI khusus mungkin memiliki jenis volume perangkat root yang berbeda. Amazon EMR selalu menggunakan tipe volume AMI kustom Anda.

  • Dengan Amazon EMR rilis 6.15.0 dan yang lebih tinggi, Anda dapat mengonfigurasi ukuran volume root, IOPS, dan throughput untuk AMI kustom Anda, asalkan atribut ini berlaku untuk jenis volume AMI kustom.

  • Dengan rilis Amazon EMR yang lebih rendah dari 6.15.0, Anda hanya dapat mengonfigurasi ukuran volume root untuk AMI kustom Anda.

Jika Anda tidak mengonfigurasi ukuran volume root, IOPS, atau throughput saat membuat klaster, Amazon EMR menggunakan nilai dari AMI kustom jika berlaku. Jika Anda memutuskan untuk mengonfigurasi nilai-nilai ini saat membuat klaster, Amazon EMR menggunakan nilai yang Anda tentukan selama nilainya kompatibel dan didukung oleh volume root AMI kustom. Untuk informasi selengkapnya, lihat Menggunakan AMI kustom.

Harga ukuran volume perangkat root

Biaya volume perangkat root EBS dinilai per jam, berdasarkan biaya EBS bulanan untuk jenis volume tersebut di Wilayah tempat cluster berjalan. Hal yang sama berlaku untuk volume penyimpanan. Biaya dalam GB, tetapi Anda menentukan ukuran volume root di GiB, jadi Anda mungkin ingin mempertimbangkan ini dalam perkiraan Anda (1 GB adalah 0,931323 GiB).

General Purpose SSD gp2 dan gp3 ditagih secara berbeda. Untuk memperkirakan biaya yang terkait dengan volume perangkat root EBS di cluster Anda, gunakan rumus berikut:

Tujuan Umum SSD gp2

Biaya untuk gp2 hanya mencakup ukuran volume EBS dalam GB.

($EBS size in GB/month) * 0.931323 / 30 / 24 * EMR_EBSRootVolumesizeInGiB * InstanceCount

Misalnya, ambil cluster yang memiliki node primer, node inti, dan menggunakan basis Amazon Linux AMI, dengan volume perangkat root 10 GiB default. Jika biaya EBS di Wilayah adalah USD $0,10/GB/bulan, itu berarti sekitar $0,00129 per instans per jam, dan $0,00258 per jam untuk cluster ($0,10/GB/bulan dibagi 30 hari, dibagi 24 jam, dikalikan dengan 10 GB, dikalikan dengan 2 instance cluster).

Tujuan Umum SSD gp3

Biaya untuk gp3 termasuk ukuran volume EBS dalam GB, IOPS di atas 3000 (3000 IOPS gratis), dan throughput di atas 125 MB/s (125 MB/s gratis).

($EBS size in GB/month) * 0.931323 / 30 / 24 * EMR_EBSRootVolumesizeInGiB * InstanceCount + ($EBS IOPS/Month)/30/24* (EMR_EBSRootVolumeIops - 3000) * InstanceCount + ($EBS throughput/Month)/30/24* (EMR_EBSRootVolumeThroughputInMb/s - 125) * InstanceCount

Misalnya, ambil cluster yang memiliki node primer, node inti, dan menggunakan basis Amazon Linux AMI, dengan ukuran volume perangkat root 15 GiB default, 4000 IOPS, dan 140 throughput. Jika biaya EBS di Wilayah adalah USD $0,10/GB/bulan, $0,005/IOP yang disediakan/bulan di atas 3000, dan $0,040/MB/s/bulan yang disediakan di atas 125. Itu berarti sekitar $0,009293 per instance per jam, dan $0,018586 per jam untuk cluster.

Menentukan pengaturan volume perangkat root kustom

catatan

Ukuran volume root dan IOPS tidak dapat memiliki rasio lebih tinggi dari 1 volume hingga 500 IOPS (1:500), sedangkan volume root IOPS dan throughput tidak dapat memiliki rasio yang lebih tinggi dari 1 IOPS hingga 0,25 throughput (1:0,25).

Console
Untuk menentukan atribut volume perangkat root Amazon EBS dari konsol EMR Amazon
  1. Masuk ke AWS Management Console, dan buka konsol EMR Amazon di https://console.aws.amazon.com/emr.

  2. Di bawah EMR pada EC2 di panel navigasi kiri, pilih Clusters, lalu pilih Create cluster.

  3. Pilih Amazon EMR rilis 6.15.0 atau lebih tinggi.

  4. Di bawah konfigurasi Cluster, navigasikan ke bagian volume root EBS dan masukkan nilai untuk atribut apa pun yang ingin Anda konfigurasikan.

  5. Pilih opsi lain yang berlaku untuk cluster Anda.

  6. Untuk meluncurkan klaster Anda, pilih Buat klaster.

CLI
Untuk menentukan atribut volume perangkat root Amazon EBS dengan AWS CLI
  • Gunakan--ebs-root-volume-size,--ebs-root-volume-iops, dan --ebs-root-volume-throughput parameter perintah create-cluster, seperti yang ditunjukkan pada contoh berikut.

    catatan

    Karakter lanjutan baris Linux (\) disertakan agar mudah dibaca Karakter ini bisa dihapus atau digunakan dalam perintah Linux. Untuk Windows, hapus atau ganti dengan tanda pangkat (^).

    aws emr create-cluster --release-label emr-6.15.0\ --ebs-root-volume-size 20 \ --ebs-root-volume-iops 3000\ --ebs-root-volume-throughput 135\ --instance-groups InstanceGroupType=MASTER,\ InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge