Cluster EMR aktif AWS Outposts - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Cluster EMR aktif AWS Outposts

Dimulai dengan Amazon EMR 5.28.0, Anda dapat membuat dan menjalankan klaster EMR. AWS Outposts AWS Outposts memungkinkan AWS layanan asli, infrastruktur, dan model operasi di fasilitas lokal. Di AWS Outposts lingkungan, Anda dapat menggunakan AWS API, alat, dan infrastruktur yang sama dengan yang Anda gunakan di AWS Cloud. Amazon EMR aktif AWS Outposts sangat ideal untuk beban kerja latensi rendah yang perlu dijalankan di dekat data dan aplikasi lokal. Untuk informasi selengkapnya AWS Outposts, lihat Panduan AWS Outposts Pengguna.

Prasyarat

Berikut adalah prasyarat untuk menggunakan Amazon EMR pada AWS Outposts:

  • Anda harus telah menginstal dan mengkonfigurasi AWS Outposts di pusat data lokal Anda.

  • Anda harus memiliki koneksi jaringan yang andal antara lingkungan Outpost Anda dan AWS Wilayah.

  • Anda harus memiliki kapasitas yang cukup untuk jenis instans yang didukung Amazon EMR yang tersedia di Outpost Anda.

Batasan

Berikut ini adalah batasan penggunaan Amazon EMR pada AWS Outposts:

  • Instans Sesuai Permintaan adalah satu-satunya opsi yang didukung untuk instans Amazon EC2. Instans Spot tidak tersedia untuk Amazon EMR pada AWS Outposts.

  • Jika Anda memerlukan volume penyimpanan Amazon EBS tambahan, hanya SSD Tujuan Umum (GP2) yang didukung.

  • Bila Anda menggunakan AWS Outposts dengan Amazon EMR rilis 5.28 hingga 6.x, Anda hanya dapat menggunakan bucket S3 yang menyimpan objek dalam yang Anda tentukan. Wilayah AWS Dengan Amazon EMR 7.0.0 dan yang lebih tinggi, Amazon EMR aktif juga didukung dengan klien AWS Outposts sistem file, awalan. S3A s3a://

  • Hanya jenis instans berikut yang didukung oleh Amazon EMR pada AWS Outposts:

    Kelas instans Tipe instans
    Tujuan umum

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Dioptimalkan komputasi

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    Memori-dioptimalkan

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Penyimpanan dioptimalkan

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Pertimbangan konektivitas jaringan

  • Jika konektivitas jaringan antara Outpost Anda dan AWS Wilayahnya hilang, cluster Anda akan terus berjalan. Namun, Anda tidak dapat membuat klaster baru atau mengambil tindakan baru pada klaster yang ada sampai konektivitas dipulihkan. Dalam kasus kegagalan instans, instans tidak akan diganti secara otomatis. Selain itu, tindakan seperti menambahkan langkah ke cluster yang sedang berjalan, memeriksa status eksekusi langkah, dan mengirim CloudWatch metrik dan peristiwa akan ditunda.

  • Kami menyarankan Anda menyediakan konektivitas jaringan yang andal dan sangat tersedia antara Outpost Anda dan AWS Wilayah. Jika konektivitas jaringan antara Outpost Anda dan AWS Wilayahnya hilang selama lebih dari beberapa jam, cluster yang telah mengaktifkan perlindungan terminate akan terus berjalan, dan cluster yang telah menonaktifkan perlindungan terminate dapat dihentikan.

  • Jika konektivitas jaringan akan terpengaruh karena pemeliharaan rutin, sebaiknya aktifkan perlindungan penghentian secara proaktif. Secara lebih umum, gangguan konektivitas berarti bahwa setiap dependensi eksternal yang tidak bersifat lokal ke Outpost atau jaringan pelanggan tidak akan dapat diakses. Ini termasuk Amazon S3, DynamoDB yang digunakan dengan tampilan konsistensi EMRFS, dan Amazon RDS jika instans dalam wilayah digunakan untuk klaster EMR Amazon dengan beberapa node utama.

Membuat cluster EMR Amazon di AWS Outposts

Membuat cluster EMR Amazon AWS Outposts mirip dengan membuat cluster EMR Amazon di Cloud. AWS Saat membuat kluster EMR Amazon aktif AWS Outposts, Anda harus menentukan subnet Amazon EC2 yang terkait dengan Outpost Anda.

VPC Amazon dapat menjangkau semua Availability Zone di suatu AWS Wilayah. AWS Outposts adalah ekstensi dari Availability Zones, dan Anda dapat memperluas VPC Amazon di akun untuk menjangkau beberapa Availability Zone dan lokasi Outpost terkait. Saat Anda mengonfigurasi Outpost, Anda mengaitkan subnet dengannya untuk memperluas lingkungan VPC Regional Anda ke fasilitas on premise. Instans outpost dan layanan terkait muncul sebagai bagian dari VPC Regional Anda, mirip dengan Availability Zone dan subnet terkait. Untuk informasi selengkapnya, lihat AWS Outposts Panduan Pengguna.

Konsol

Untuk membuat cluster EMR Amazon baru AWS Management Console, tentukan subnet Amazon EC2 yang terkait AWS Outposts dengan Outpost Anda.

catatan

Kami telah mendesain ulang konsol EMR Amazon agar lebih mudah digunakan. Lihat Konsol Amazon EMR untuk mempelajari tentang perbedaan antara pengalaman konsol lama dan baru.

New console
Untuk membuat cluster AWS Outposts dengan konsol baru
  1. Masuk ke AWS Management Console, dan buka konsol EMR Amazon di https://console.aws.amazon.com/emr.

  2. Di bawah EMR pada EC2 di panel navigasi kiri, pilih Clusters, lalu pilih Create cluster.

  3. Di bawah Konfigurasi klaster, pilih Grup instans atau Armada instans. Kemudian, pilih jenis instans dari menu tarik-turun Pilih jenis instans EC2 atau pilih Tindakan dan pilih Tambahkan volume EBS. Amazon EMR AWS Outposts mendukung volume dan jenis instans Amazon EBS terbatas.

  4. Di bawah Networking, pilih subnet EC2 dengan Outpost ID dalam format ini: op-123456789.

  5. Pilih opsi lain yang berlaku untuk cluster Anda.

  6. Untuk meluncurkan klaster Anda, pilih Buat klaster.

Old console
Untuk membuat cluster AWS Outposts dengan konsol lama
  1. Arahkan ke konsol EMR Amazon baru dan pilih Beralih ke konsol lama dari navigasi samping. Untuk informasi selengkapnya tentang apa yang diharapkan saat beralih ke konsol lama, lihat Menggunakan konsol lama.

  2. Pilih Buat klaster.

  3. Pilih Pergi ke opsi lanjutan.

  4. Di bawah Pengaturan perangkat lunak, untuk Rilis, pilih 5.28.0 atau yang lebih baru.

  5. Di bawah Konfigurasi Perangkat Keras, untuk Subnet EC2, pilih subnet Amazon EC2 dengan Outpost ID dalam format ini: op-123456789.

  6. Pilih jenis instans atau tambahkan volume penyimpanan Amazon EBS untuk grup instans seragam atau armada instans. Volume dan tipe instans Amazon EBS terbatas didukung untuk Amazon EMR pada AWS Outposts.

CLI
Untuk membuat cluster AWS Outposts dengan AWS CLI
  • Untuk membuat kluster EMR Amazon baru AWS CLI, tentukan subnet EC2 yang terkait dengan Outpost Anda, seperti pada contoh berikut. AWS Outposts Ganti Subnet-22xxxx01 dengan ID subnet Amazon EC2 Anda sendiri.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.1.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles