Einrichten des vertikalen Auto Scalings für Amazon EMR in EKS

Dieses Thema hilft Ihnen dabei, Ihren Amazon-EKS-Cluster für die Übermittlung von Amazon-EMR-Spark-Aufträgen mit vertikalem Auto Scaling vorzubereiten. Für den Einrichtungsvorgang müssen Sie die Aufgaben in den folgenden Abschnitten bestätigen oder abschließen:

Voraussetzungen

Führen Sie die folgenden Aufgaben aus, bevor Sie den Kubernetes-Operator für vertikales Auto Scaling auf Ihrem Cluster installieren. Wenn Sie bereits eine der Voraussetzungen erfüllt haben, können Sie diese überspringen und mit der nächsten fortfahren.

• Installieren Sie das AWS CLI – Wenn Sie AWS CLI bereits installiert haben, vergewissern Sie sich, dass Sie über die neueste Version verfügen.

• kubectl installieren – kubectl ist ein Befehlszeilen-Tool, mit dem Sie mit dem API-Server kommunizieren. Sie benötigen kubectl, um Artefakte im Zusammenhang mit vertikalem Auto Scaling auf Ihrem Amazon-EKS-Cluster zu installieren und zu überwachen.

• Das Operator-SDK installieren – Amazon EMR in EKS verwendet das Operator-SDK als Paketmanager für die gesamte Lebensdauer des vertikalen Auto-Scaling-Operators, den Sie auf Ihrem Cluster installieren.

• Docker installieren – Sie benötigen Zugriff auf die Docker-CLI, um die Docker-Images für vertikales Auto Scaling zu authentifizieren und abzurufen, um sie auf Ihrem Amazon-EKS-Cluster zu installieren.

• Installieren des Kubernetes-Metrikservers – Sie müssen zuerst den Metrikserver installieren, damit der vertikale Pod-Autoscaler Metriken vom Kubernetes-API-Server abrufen kann.

• Einen EKS Amazon-Cluster einrichten (Version 1.24 oder höher) – Vertikales Auto Scaling wird mit Amazon-EKS-Versionen 1.24 und höher unterstützt. Nachdem Sie den Cluster erstellt haben, registrieren Sie ihn für die Verwendung mit Amazon EMR.

• Eine Amazon-EMR-Basis-Image-URI auswählen (Version 6.10.0 oder höher) – Vertikales Auto Scaling wird mit Amazon-EMR-Versionen 6.10.0 und höher unterstützt.

Den Operator Lifecycle Manager (OLM) auf Ihrem Amazon-EKS-Cluster installieren

Verwenden Sie die Operator-SDK-CLI, um den Operator Lifecycle Manager (OLM) auf dem Amazon EMR in EKS-Cluster zu installieren, auf dem Sie vertikales Auto Scaling einrichten möchten, wie im folgenden Beispiel gezeigt. Sobald Sie es eingerichtet haben, können Sie OLM verwenden, um den Lebenszyklus des vertikalen Auto-Scaling-Operators von Amazon EMR zu installieren und zu verwalten.

operator-sdk olm install

Führen Sie den folgenden olm status-Befehl aus, um die Installation zu validieren:

operator-sdk olm status

Wenn der Befehl ausgeführt wird, gibt er eine Ausgabe ähnlich wie folgt zurück:

INFO[0007] Successfully got OLM status for version X.XX

Wenn Ihre Installation nicht erfolgreich ist, lesen Sie Fehlerbehebung von Amazon EMR im vertikalen Auto Scaling von EKS.

Den vertikalen Auto-Scaling-Operator für Amazon EMR in EKS installieren

Verwenden Sie die folgenden Schritte, um den vertikalen Auto-Scaling-Operator auf Ihrem Amazon-EKS-Cluster zu installieren:

1. Richten Sie die folgenden Umgebungsvariablen ein, die Sie verwenden werden, um die Installation abzuschließen:

   • $REGION verweist auf AWS-Region für Ihren Cluster. Beispiel: us-west-2

   • $ACCOUNT_ID verweist auf die Amazon-ECR-Konto-ID für Ihre Region. Weitere Informationen finden Sie unter ECRAmazon-Registrierungskonten nach Regionen.

   • $RELEASE verweist auf die Amazon-EMR-Version, die Sie für Ihren Cluster verwenden möchten. Beim vertikalen Auto Scaling müssen Sie Amazon-EMR-Version 6.10.0 oder höher verwenden.

2. Als Nächstes müssen Sie Authentifizierungstoken für den Operator in der Amazon-ECR-Registrierung abrufen.

   aws ecr get-login-password \
    --region region-id | docker login \
    --username AWS \
    --password-stdin $ACCOUNT_ID.dkr.ecr.region-id.amazonaws.com

3. Installieren Sie den vertikalen Auto-Scaling-Operator von Amazon EMR in EKS mit dem folgenden Befehl:

   ECR_URL=$ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com && \
   REPO_DEST=dynamic-sizing-k8s-operator-olm-bundle && \
   BUNDLE_IMG=emr-$RELEASE-dynamic-sizing-k8s-operator && \
   operator-sdk run bundle \
   $ECR_URL/$REPO_DEST/$BUNDLE_IMG\:latest

   Dadurch wird eine Version des vertikalen Auto-Scaling-Operators im Standard-Namespace Ihres Amazon-EKS-Clusters erstellt. Verwenden Sie diesen Befehl, um in einem anderen Namespace zu installieren:

   operator-sdk run bundle \
   $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com/dynamic-sizing-k8s-operator-olm-bundle/emr-$RELEASE-dynamic-sizing-k8s-operator:latest \
   -n operator-namespace

   Anmerkung

   Wenn der von Ihnen angegebene Namespace nicht vorhanden ist, installiert OLM den Operator nicht. Weitere Informationen finden Sie unter Kubernetes-Namespace nicht gefunden.

4. Stellen Sie sicher, dass Sie den Operator erfolgreich mit dem kubectl Kubernetes-Befehlszeilentool installiert haben.

   kubectl get csv -n operator-namespace

   Der kubectl-Befehl sollte Ihren neu bereitgestellten vertikalen Auto-Scaling-Operator mit dem Phasenstatus Erfolgreich zurückgeben. Falls Sie Probleme mit der Installation oder Einrichtung haben, finden Sie weitere Informationen unter Fehlerbehebung von Amazon EMR im vertikalen Auto Scaling von EKS.