Menyiapkan penskalaan otomatis vertikal untuk Amazon EMR di EKS

Topik ini membantu Anda menyiapkan klaster Amazon EKS Anda untuk mengirimkan pekerjaan Amazon EMR Spark dengan penskalaan otomatis vertikal. Proses penyiapan mengharuskan Anda untuk mengonfirmasi atau menyelesaikan tugas di bagian berikut:

Prasyarat

Selesaikan tugas-tugas berikut sebelum Anda menginstal operator Kubernetes penskalaan otomatis vertikal di klaster Anda. Jika Anda telah menyelesaikan salah satu prasyarat, Anda dapat melewatinya dan melanjutkan ke yang berikutnya.

• Instal AWS CLI— Jika Anda sudah menginstalAWS CLI, konfirmasikan bahwa Anda memiliki versi terbaru.

• Instal kubectl — kubectl adalah alat baris perintah yang Anda gunakan untuk berkomunikasi dengan server API Kubernetes. Anda memerlukan kubectl untuk menginstal dan memantau artefak terkait penskalaan otomatis vertikal di cluster Amazon EKS Anda.

• Instal Operator SDK — Amazon EMR di EKS menggunakan Operator SDK sebagai manajer paket untuk masa pakai operator penskalaan otomatis vertikal yang Anda instal di cluster Anda.

• Instal Docker - Anda memerlukan akses ke CLI Docker untuk mengautentikasi dan mengambil gambar Docker terkait penskalaan otomatis vertikal untuk dipasang di cluster Amazon EKS Anda.

• Instal server Kubernetes Metrics — Anda harus menginstal server metrik terlebih dahulu agar autoscaler pod vertikal dapat mengambil metrik dari server API Kubernetes.

• Siapkan EKS cluster Amazon(versi 1.24 atau lebih tinggi) - Penskalaan otomatis vertikal didukung dengan Amazon EKS versi 1.24 dan lebih tinggi. Setelah Anda membuat cluster, daftarkan untuk digunakan dengan Amazon EMR.

• Pilih URI gambar dasar EMR Amazon (rilis 6.10.0 atau lebih tinggi) — Penskalaan otomatis vertikal didukung dengan rilis Amazon EMR 6.10.0 dan yang lebih tinggi.

Instal Operator Lifecycle Manager (OLM) di kluster Amazon EKS

Gunakan Operator SDK CLI untuk menginstal Operator Lifecycle Manager (OLM) di Amazon EMR pada kluster EKS tempat Anda ingin mengatur penskalaan otomatis vertikal, seperti yang ditunjukkan pada contoh berikut. Setelah mengaturnya, Anda dapat menggunakan OLM untuk menginstal dan mengelola siklus hidup operator penskalaan otomatis vertikal Amazon EMR.

operator-sdk olm install

Untuk memvalidasi instalasi, jalankan olm status perintah:

operator-sdk olm status

Verifikasi bahwa perintah mengembalikan hasil yang sukses, mirip dengan contoh output berikut:

INFO[0007] Successfully got OLM status for version X.XX

Jika instalasi Anda tidak berhasil, lihatMemecahkan masalah Amazon EMR pada penskalaan otomatis vertikal EKS.

Instal EMR Amazon pada operator penskalaan otomatis vertikal EKS

Gunakan langkah-langkah berikut untuk menginstal operator penskalaan otomatis vertikal di klaster Amazon EKS Anda:

1. Siapkan variabel lingkungan berikut yang akan Anda gunakan untuk menyelesaikan instalasi:

   • $REGIONmenunjuk ke Wilayah AWS untuk cluster Anda. Misalnya, us-west-2.

   • $ACCOUNT_IDmenunjuk ke ID akun Amazon ECR untuk Wilayah Anda. Untuk informasi selengkapnya, lihat Akun ECR registri Amazon berdasarkan Wilayah.

   • $RELEASEmenunjuk ke rilis EMR Amazon yang ingin Anda gunakan untuk cluster Anda. Dengan penskalaan otomatis vertikal, Anda harus menggunakan Amazon EMR rilis 6.10.0 atau lebih tinggi.

2. Selanjutnya, dapatkan token otentikasi ke registri Amazon ECR untuk operator.

   aws ecr get-login-password \
    --region region-id | docker login \
    --username AWS \
    --password-stdin $ACCOUNT_ID.dkr.ecr.region-id.amazonaws.com

3. Instal EMR Amazon pada operator penskalaan otomatis vertikal EKS dengan perintah berikut:

   ECR_URL=$ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com && \
   REPO_DEST=dynamic-sizing-k8s-operator-olm-bundle && \
   BUNDLE_IMG=emr-$RELEASE-dynamic-sizing-k8s-operator && \
   operator-sdk run bundle \
   $ECR_URL/$REPO_DEST/$BUNDLE_IMG\:latest

   Ini akan membuat rilis operator penskalaan otomatis vertikal di namespace default kluster Amazon EKS Anda. Gunakan perintah ini untuk menginstal di namespace yang berbeda:

   operator-sdk run bundle \
   $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com/dynamic-sizing-k8s-operator-olm-bundle/emr-$RELEASE-dynamic-sizing-k8s-operator:latest \
   -n operator-namespace

   catatan

   Jika namespace yang Anda tentukan tidak ada, OLM tidak akan menginstal operator. Untuk informasi selengkapnya, lihat Namespace Kubernetes tidak ditemukan.

4. Verifikasi bahwa Anda berhasil menginstal operator dengan alat baris perintah kubectl Kubernetes.

   kubectl get csv -n operator-namespace

   kubectlPerintah harus mengembalikan operator autoscaler vertikal yang baru digunakan dengan status Fase Succeeded. Jika Anda mengalami masalah dengan instalasi atau pengaturan, lihatMemecahkan masalah Amazon EMR pada penskalaan otomatis vertikal EKS.