Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Einrichten des vertikalen Auto Scalings für Amazon EMR in EKS
Dieses Thema hilft Ihnen dabei, Ihren Amazon-EKS-Cluster für die Übermittlung von Amazon-EMR-Spark-Aufträgen mit vertikalem Auto Scaling vorzubereiten. Für den Einrichtungsvorgang müssen Sie die Aufgaben in den folgenden Abschnitten bestätigen oder abschließen:
Themen
Voraussetzungen
Führen Sie die folgenden Aufgaben aus, bevor Sie den Kubernetes-Operator für vertikales Auto Scaling auf Ihrem Cluster installieren. Wenn Sie bereits eine der Voraussetzungen erfüllt haben, können Sie diese überspringen und mit der nächsten fortfahren.
-
Installieren Sie das AWS CLI – Wenn Sie AWS CLI bereits installiert haben, vergewissern Sie sich, dass Sie über die neueste Version verfügen.
-
kubectl installieren – kubectl ist ein Befehlszeilen-Tool, mit dem Sie mit dem API-Server kommunizieren. Sie benötigen kubectl, um Artefakte im Zusammenhang mit vertikalem Auto Scaling auf Ihrem Amazon-EKS-Cluster zu installieren und zu überwachen.
-
Das Operator-SDK installieren
– Amazon EMR in EKS verwendet das Operator-SDK als Paketmanager für die gesamte Lebensdauer des vertikalen Auto-Scaling-Operators, den Sie auf Ihrem Cluster installieren. -
Docker installieren
– Sie benötigen Zugriff auf die Docker-CLI, um die Docker-Images für vertikales Auto Scaling zu authentifizieren und abzurufen, um sie auf Ihrem Amazon-EKS-Cluster zu installieren. -
Installieren des Kubernetes-Metrikservers – Sie müssen zuerst den Metrikserver installieren, damit der vertikale Pod-Autoscaler Metriken vom Kubernetes-API-Server abrufen kann.
-
Einen EKS Amazon-Cluster einrichten (Version 1.24 oder höher) – Vertikales Auto Scaling wird mit Amazon-EKS-Versionen 1.24 und höher unterstützt. Nachdem Sie den Cluster erstellt haben, registrieren Sie ihn für die Verwendung mit Amazon EMR.
-
Eine Amazon-EMR-Basis-Image-URI auswählen (Version 6.10.0 oder höher) – Vertikales Auto Scaling wird mit Amazon-EMR-Versionen 6.10.0 und höher unterstützt.
Den Operator Lifecycle Manager (OLM) auf Ihrem Amazon-EKS-Cluster installieren
Verwenden Sie die Operator-SDK-CLI, um den Operator Lifecycle Manager (OLM) auf dem Amazon EMR in EKS-Cluster zu installieren, auf dem Sie vertikales Auto Scaling einrichten möchten, wie im folgenden Beispiel gezeigt. Sobald Sie es eingerichtet haben, können Sie OLM verwenden, um den Lebenszyklus des vertikalen Auto-Scaling-Operators von Amazon EMR zu installieren und zu verwalten.
operator-sdk olm install
Führen Sie den folgenden olm status
-Befehl aus, um die Installation zu validieren:
operator-sdk olm status
Wenn der Befehl ausgeführt wird, gibt er eine Ausgabe ähnlich wie folgt zurück:
INFO[0007] Successfully got OLM status for version X.XX
Wenn Ihre Installation nicht erfolgreich ist, lesen Sie Fehlerbehebung von Amazon EMR im vertikalen Auto Scaling von EKS.
Den vertikalen Auto-Scaling-Operator für Amazon EMR in EKS installieren
Verwenden Sie die folgenden Schritte, um den vertikalen Auto-Scaling-Operator auf Ihrem Amazon-EKS-Cluster zu installieren:
-
Richten Sie die folgenden Umgebungsvariablen ein, die Sie verwenden werden, um die Installation abzuschließen:
-
$REGION
verweist auf AWS-Region für Ihren Cluster. Beispiel:us-west-2
-
$ACCOUNT_ID
verweist auf die Amazon-ECR-Konto-ID für Ihre Region. Weitere Informationen finden Sie unter ECRAmazon-Registrierungskonten nach Regionen. -
$RELEASE
verweist auf die Amazon-EMR-Version, die Sie für Ihren Cluster verwenden möchten. Beim vertikalen Auto Scaling müssen Sie Amazon-EMR-Version 6.10.0 oder höher verwenden.
-
-
Als Nächstes müssen Sie Authentifizierungstoken für den Operator in der Amazon-ECR-Registrierung abrufen.
aws ecr get-login-password \ --region
region-id
| docker login \ --username AWS \ --password-stdin $ACCOUNT_ID.dkr.ecr.region-id
.amazonaws.com -
Installieren Sie den vertikalen Auto-Scaling-Operator von Amazon EMR in EKS mit dem folgenden Befehl:
ECR_URL=$ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com && \ REPO_DEST=dynamic-sizing-k8s-operator-olm-bundle && \ BUNDLE_IMG=emr-$RELEASE-dynamic-sizing-k8s-operator && \ operator-sdk run bundle \ $ECR_URL/$REPO_DEST/$BUNDLE_IMG\:latest
Dadurch wird eine Version des vertikalen Auto-Scaling-Operators im Standard-Namespace Ihres Amazon-EKS-Clusters erstellt. Verwenden Sie diesen Befehl, um in einem anderen Namespace zu installieren:
operator-sdk run bundle \ $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com/dynamic-sizing-k8s-operator-olm-bundle/emr-$RELEASE-dynamic-sizing-k8s-operator:latest \ -n
operator-namespace
Anmerkung
Wenn der von Ihnen angegebene Namespace nicht vorhanden ist, installiert OLM den Operator nicht. Weitere Informationen finden Sie unter Kubernetes-Namespace nicht gefunden.
-
Stellen Sie sicher, dass Sie den Operator erfolgreich mit dem kubectl Kubernetes-Befehlszeilentool installiert haben.
kubectl get csv -n
operator-namespace
Der
kubectl
-Befehl sollte Ihren neu bereitgestellten vertikalen Auto-Scaling-Operator mit dem Phasenstatus Erfolgreich zurückgeben. Falls Sie Probleme mit der Installation oder Einrichtung haben, finden Sie weitere Informationen unter Fehlerbehebung von Amazon EMR im vertikalen Auto Scaling von EKS.