Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
EMRIntegrasi Amazon dengan grup EC2 penempatan
Saat meluncurkan EMR beberapa kluster node primer Amazon di AmazonEC2, Anda memiliki opsi untuk menggunakan strategi grup penempatan untuk menentukan bagaimana Anda ingin instance node utama digunakan untuk melindungi dari kegagalan perangkat keras.
Strategi grup penempatan didukung dimulai dengan Amazon EMR versi 5.23.0 sebagai opsi untuk beberapa cluster node utama. Saat ini, hanya tipe node primer yang didukung oleh strategi grup penempatan, dan SPREAD
strategi diterapkan pada node primer tersebut. SPREAD
Strategi ini menempatkan sekelompok kecil instance di perangkat keras dasar yang terpisah untuk mencegah hilangnya beberapa node primer jika terjadi kegagalan perangkat keras. Perhatikan bahwa permintaan peluncuran instans dapat gagal jika perangkat keras unik tidak mencukupi untuk memenuhi permintaan tersebut. Untuk informasi selengkapnya tentang strategi dan batasan EC2 penempatan, lihat Grup penempatan di Panduan EC2 Pengguna untuk Instans Linux.
Ada batas awal dari Amazon EC2 dari 500 cluster yang mendukung strategi grup penempatan yang dapat diluncurkan per wilayah. AWS Hubungi AWS dukungan untuk meminta peningkatan jumlah grup penempatan yang diizinkan. Anda dapat mengidentifikasi grup EC2 penempatan yang EMR dibuat Amazon dengan melacak pasangan nilai kunci yang EMR dikaitkan Amazon dengan strategi grup EMR penempatan Amazon. Untuk informasi selengkapnya tentang tag instance EC2 cluster, lihatLihat instance klaster di Amazon EC2.
Melampirkan kebijakan terkelola grup penempatan ke Amazon EMRrole
Strategi grup penempatan memerlukan kebijakan terkelola yang disebutAmazonElasticMapReducePlacementGroupPolicy
, yang EMR memungkinkan Amazon membuat, menghapus, dan menjelaskan grup penempatan di AmazonEC2. Anda harus melampirkan AmazonElasticMapReducePlacementGroupPolicy
ke peran layanan untuk Amazon EMR sebelum meluncurkan EMR klaster Amazon dengan beberapa node utama.
Anda juga dapat melampirkan kebijakan AmazonEMRServicePolicy_v2
terkelola ke peran EMR layanan Amazon, bukan kebijakan terkelola grup penempatan. AmazonEMRServicePolicy_v2
memungkinkan akses yang sama ke grup penempatan di Amazon EC2 sepertiAmazonElasticMapReducePlacementGroupPolicy
. Untuk informasi selengkapnya, lihat Peran layanan untuk Amazon EMR (EMRperan).
Kebijakan AmazonElasticMapReducePlacementGroupPolicy
terkelola adalah JSON teks berikut yang dibuat dan dikelola oleh AmazonEMR.
catatan
Karena kebijakan AmazonElasticMapReducePlacementGroupPolicy
terkelola diperbarui secara otomatis, kebijakan yang ditampilkan di sini mungkin out-of-date. Gunakan AWS Management Console untuk melihat kebijakan saat ini.
{ "Version":"2012-10-17", "Statement":[ { "Resource":"*", "Effect":"Allow", "Action":[ "ec2:DeletePlacementGroup", "ec2:DescribePlacementGroups" ] }, { "Resource":"arn:aws:ec2:*:*:placement-group/pg-*", "Effect":"Allow", "Action":[ "ec2:CreatePlacementGroup" ] } ] }
Luncurkan EMR klaster Amazon dengan beberapa node utama menggunakan strategi grup penempatan
Untuk meluncurkan EMR klaster Amazon yang memiliki beberapa node utama dengan strategi grup penempatan, lampirkan kebijakan terkelola grup penempatan AmazonElasticMapReducePlacementGroupPolicy
ke EMR peran Amazon. Untuk informasi selengkapnya, lihat Melampirkan kebijakan terkelola grup penempatan ke Amazon EMRrole.
Setiap kali Anda menggunakan peran ini untuk memulai EMR klaster Amazon dengan beberapa node utama, Amazon EMR mencoba meluncurkan klaster dengan SPREAD
strategi yang diterapkan pada node utamanya. Jika Anda menggunakan peran yang tidak memiliki kebijakan AmazonElasticMapReducePlacementGroupPolicy
terkelola grup penempatan yang dilampirkan padanya, Amazon EMR mencoba meluncurkan EMR klaster Amazon yang memiliki beberapa node utama tanpa strategi grup penempatan.
Jika Anda meluncurkan EMR klaster Amazon yang memiliki beberapa node utama dengan placement-group-configs
parameter menggunakan Amazon EMRAPI atauCLI, Amazon EMR hanya meluncurkan klaster jika Amazon EMRrole memiliki kebijakan terkelola grup penempatan yang AmazonElasticMapReducePlacementGroupPolicy
dilampirkan. Jika Amazon EMRrole tidak memiliki kebijakan yang dilampirkan, EMR klaster Amazon dengan beberapa node utama mulai gagal.
Luncurkan cluster dengan beberapa node primer tanpa strategi grup penempatan
Untuk cluster dengan beberapa node primer untuk meluncurkan node primer tanpa strategi grup penempatan, Anda perlu melakukan salah satu hal berikut:
-
Hapus kebijakan terkelola grup penempatan
AmazonElasticMapReducePlacementGroupPolicy
dari AmazonEMRrole, atau -
Luncurkan cluster dengan beberapa node primer dengan
placement-group-configs
parameter menggunakan Amazon EMRAPI atau CLI pilihNONE
sebagai strategi grup penempatan.
Memeriksa konfigurasi strategi grup penempatan yang dilampirkan ke cluster dengan beberapa node primer
Anda dapat menggunakan klaster EMR deskripsi Amazon API untuk melihat konfigurasi strategi grup penempatan yang dilampirkan ke cluster dengan beberapa node utama.
aws emr describe-cluster --cluster-id "j-xxxxx" { "Cluster":{ "Id":"j-xxxxx", ... ... "PlacementGroups":[ { "InstanceRole":"MASTER", "PlacementStrategy":"SPREAD" } ] } }