Manuelle Schritte zur Aktivierung des Clusterzugriffs für Amazon EMR in EKS Automatisieren Sie die Aktivierung des Clusterzugriffs für Amazon EMR auf EKS

Gewähren eines Clusterzugriff für Amazon EMR in EKS

Sie müssen Amazon EMR in EKS Zugriff auf einen bestimmten Namespace in Ihrem Cluster gewähren, indem Sie die folgenden Aktionen ausführen: eine Kubernetes-Rolle erstellen, die Rolle an einen Kubernetes-Benutzer binden und den Kubernetes-Benutzer der serviceverknüpften Rolle AWSServiceRoleForAmazonEMRContainers zuordnen. Diese Aktionen werden in eksctl automatisiert, wenn der IAM-Befehl zur Identitätszuweisung zusammen mit emr-containers als Servicenamen verwendet wird. Sie können diese Vorgänge einfach durchführen, indem Sie den folgenden Befehl verwenden.


eksctl create iamidentitymapping \
    --cluster my_eks_cluster \
    --namespace kubernetes_namespace \
    --service-name "emr-containers"

Ersetzen Sie my_eks_cluster durch den Namen Ihres Amazon-EKS-Clusters und ersetzen Sie kubernetes_namespace durch den Kubernetes-Namespace, der für die Ausführung von Amazon-EMR-Workloads erstellt wurde.

Wichtig

Sie müssen die neueste Version von eksctl mithilfe des vorherigen Schritts Installieren eksctl herunterladen, um diese Funktion nutzen zu können.

Manuelle Schritte zur Aktivierung des Clusterzugriffs für Amazon EMR in EKS

Sie können auch die folgenden manuellen Schritte verwenden, um den Clusterzugriff für Amazon EMR in EKS zu aktivieren.

Erstellen Sie eine Kubernetes-Rolle in einem bestimmten Namespace

Amazon EKS 1.22 - 1.29

Führen Sie mit Amazon EKS 1.22 — 1.29 den folgenden Befehl aus, um eine Kubernetes-Rolle in einem bestimmten Namespace zu erstellen. Diese Rolle gewährt Amazon EMR in EKS die erforderlichen RBAC-Berechtigungen.


namespace=my-namespace
cat - >>EOF | kubectl apply -f - >>namespace "${namespace}"
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: emr-containers
  namespace: ${namespace}
rules:
  - apiGroups: [""]
    resources: ["namespaces"]
    verbs: ["get"]
  - apiGroups: [""]
    resources: ["serviceaccounts", "services", "configmaps", "events", "pods", "pods/log"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["create", "patch", "delete", "watch"]
  - apiGroups: ["apps"]
    resources: ["statefulsets", "deployments"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["batch"]
    resources: ["jobs"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["extensions", "networking.k8s.io"]
    resources: ["ingresses"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["rbac.authorization.k8s.io"]
    resources: ["roles", "rolebindings"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete",  "deletecollection", "annotate", "patch", "label"]
EOF

Amazon EKS 1.21 and below

Führen Sie bei Amazon EKS 1.21 und niedriger den folgenden Befehl aus, um eine Kubernetes-Rolle in einem bestimmten Namespace zu erstellen. Diese Rolle gewährt Amazon EMR in EKS die erforderlichen RBAC-Berechtigungen.


namespace=my-namespace
cat - >>EOF | kubectl apply -f - >>namespace "${namespace}"
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: emr-containers
  namespace: ${namespace}
rules:
  - apiGroups: [""]
    resources: ["namespaces"]
    verbs: ["get"]
  - apiGroups: [""]
    resources: ["serviceaccounts", "services", "configmaps", "events", "pods", "pods/log"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["create", "patch", "delete", "watch"]
  - apiGroups: ["apps"]
    resources: ["statefulsets", "deployments"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["batch"]
    resources: ["jobs"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["extensions"]
    resources: ["ingresses"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["rbac.authorization.k8s.io"]
    resources: ["roles", "rolebindings"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
EOF

Eine Kubernetes-Rollenbindung mit Gültigkeitsbereich für den Namespace erstellen

Führen Sie den folgenden Befehl aus, um eine Kubernetes-Rollenbindung im angegebenen Namespace zu erstellen. Diese Rollenbindung gewährt einem Benutzer mit dem Namen emr-containers die in der im vorherigen Schritt erstellten Rolle definierten Berechtigungen. Dieser Benutzer identifiziert serviceverknüpfte Rollen für Amazon EMR in EKS und ermöglicht somit Amazon EMR in EKS, Aktionen auszuführen, die in der von Ihnen erstellten Rolle definiert sind.
```
namespace=my-namespace

cat - <<EOF | kubectl apply -f - --namespace "${namespace}"
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: emr-containers
  namespace: ${namespace}
subjects:
- kind: User
  name: emr-containers
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: Role
  name: emr-containers
  apiGroup: rbac.authorization.k8s.io
EOF
```
Aktualisieren Sie die aws-auth-Kubernetes-Konfigurationsübersicht

Sie können eine der folgenden Optionen verwenden, um die serviceverknüpfte Rolle Amazon EMR in EKS dem emr-containers-Benutzer zuzuordnen, der im vorherigen Schritt an die Kubernetes-Rolle gebunden war.

Option 1: Verwenden von eksctl

Führen Sie den folgenden eksctl-Befehl aus, um die serviceverknüpfte Rolle Amazon EMR in EKS dem emr-containers-Benutzer zuzuordnen.
```
eksctl create iamidentitymapping \
    --cluster my-cluster-name \
    --arn "arn:aws:iam::my-account-id:role/AWSServiceRoleForAmazonEMRContainers" \
    --username emr-containers
```
Option 2: Ohne eksctl zu verwenden
1. Führen Sie den folgenden Befehl aus, um die aws-auth-Konfigurationsübersicht im Texteditor zu öffnen.
```
kubectl edit -n kube-system configmap/aws-auth
```
  Anmerkung
  Wenn Sie eine Fehlermeldung erhaltenError from server (NotFound): configmaps "aws-auth" not found, lesen Sie die Schritte unter Benutzerrollen hinzufügen im Amazon EKS-Benutzerhandbuch, um den Bestand anzuwenden ConfigMap.
2. Fügen Sie die mit dem Service verknüpften Rollendetails von Amazon EMR in EKS zum mapRoles-Abschnitt von ConfigMap unter data hinzu. Fügen Sie diesen Abschnitt hinzu, wenn er nicht bereits in der Datei vorhanden sind. Der aktualisierte mapRoles-Abschnitt unter Daten sieht wie das folgende Beispiel aus.
```
apiVersion: v1
data:
  mapRoles: |
    - rolearn: arn:aws:iam::<your-account-id>:role/AWSServiceRoleForAmazonEMRContainers
      username: emr-containers
    - ... <other previously existing role entries, if there's any>.
```
3. Speichern Sie die Datei und beenden Sie den Text-Editor.

Automatisieren Sie die Aktivierung des Clusterzugriffs für Amazon EMR auf EKS

Amazon EMR ist in Amazon EKS Cluster Access Management (CAM) integriert, sodass Sie die Konfiguration der erforderlichen AuthN- und AuthZ-Richtlinien automatisieren können, um Amazon EMR Spark-Jobs in Namespaces von Amazon EKS-Clustern auszuführen. Wenn Sie einen virtuellen Cluster aus einem Amazon EKS-Cluster-Namespace erstellen, konfiguriert Amazon EMR automatisch alle erforderlichen Berechtigungen, sodass Sie Ihren aktuellen Workflows keine zusätzlichen Schritte hinzufügen müssen.

Anmerkung

Der Amazon EKS-Zugriffseintrag unterstützt maximal nur 100 Namespaces. Wenn Sie über mehr als 100 virtuelle Cluster verfügen, verwendet Amazon EMR die Access Entry APIs nicht, wenn Sie neue virtuelle Cluster erstellen. Sie können sehen, für welche Cluster die Access Entry Integration aktiviert ist, indem Sie den eksAccessEntryIntegrated Parameter auf true setzen, wenn Sie den ListVirtualClusters API-Vorgang oder den list-virtual-clusters CLI-Befehl ausführen. Der Befehl gibt die eindeutigen Bezeichner aller zutreffenden virtuellen Cluster zurück.

Voraussetzungen

Stellen Sie sicher, dass Sie Version 2.15.3 oder höher von ausführen AWS CLI
Ihr Amazon EKS-Cluster muss Version 1.23 oder höher haben.

Aufstellen

Um die Integration zwischen Amazon EMR und den AccessEntry API-Vorgängen von Amazon EKS einzurichten, stellen Sie sicher, dass Sie die folgenden Punkte abgeschlossen haben:

Stellen Sie sicher, dass authenticationMode Ihr Amazon EKS-Cluster auf eingestellt istAPI_AND_CONFIG_MAP.
```
aws eks describe-cluster --name <eks-cluster-name>
```
Falls dies noch nicht der Fall ist, stellen Sie es authenticationMode auf einAPI_AND_CONFIG_MAP.
```
aws eks update-cluster-config 
    --name <eks-cluster-name> 
    --access-config authenticationMode=API_AND_CONFIG_MAP
```
Weitere Informationen zu Authentifizierungsmodi finden Sie unter Cluster-Authentifizierungsmodi.

Stellen Sie sicher, dass die IAM-Rolle, die Sie zum Ausführen der CreateVirtualCluster und DeleteVirtualCluster API-Operationen verwenden, auch über die folgenden Berechtigungen verfügt:


{
        "Effect": "Allow",
        "Action": [           
            "eks:DescribeAccessEntry",
            "eks:CreateAccessEntry",
            "eks:DeleteAccessEntry",
            "eks:ListAssociatedAccessPolicies",
            "eks:AssociateAccessPolicy",
            "eks:DisassociateAccessPolicy"
        ],
        "Resource": "*"
}

Konzepte und Terminologie

Im Folgenden finden Sie eine Liste von Terminologien und Konzepten im Zusammenhang mit Amazon EKS CAM.

Virtueller Cluster (VC) — logische Darstellung des in Amazon EKS erstellten Namespaces. Es ist ein 1:1 -Link zu einem Amazon EKS-Cluster-Namespace. Sie können damit Amazon EMR-Workloads auf einem Amazon EKS-Cluster innerhalb des angegebenen Namespace ausführen.
Namespace — Mechanismus zum Isolieren von Ressourcengruppen innerhalb eines einzelnen EKS-Clusters.
Zugriffsrichtlinie — Berechtigungen, die einer IAM-Rolle innerhalb eines EKS-Clusters Zugriff und Aktionen gewähren.
Zugriffseintrag — ein Eintrag, der mit einer Rolle arn erstellt wurde. Sie können den Zugriffseintrag mit einer Zugriffsrichtlinie verknüpfen, um bestimmte Berechtigungen im Amazon EKS-Cluster zuzuweisen.
Integrierter virtueller EKS-Zugangscluster — der virtuelle Cluster, der mithilfe von Access Entry API-Operationen von Amazon EKS erstellt wurde.

Warnung JavaScript ist in Ihrem Browser nicht verfügbar oder deaktiviert.

Zur Nutzung der AWS-Dokumentation muss JavaScript aktiviert sein. Weitere Informationen finden auf den Hilfe-Seiten Ihres Browsers.

Dokumentkonventionen

Einen Amazon-EKS-Cluster einrichten

Aktivieren Sie IAM-Rollen für Servicekonten (IRSA) auf dem EKS-Cluster