Einrichtung des Flink Kubernetes-Operators für Amazon auf EMR EKS

Führen Sie die folgenden Aufgaben aus, um die Einrichtung vorzunehmen, bevor Sie den Flink Kubernetes-Operator auf Amazon installieren. EKS Wenn Sie sich bereits für Amazon Web Services (AWS) angemeldet und Amazon verwendet habenEKS, sind Sie fast bereit, Amazon EMR auf zu verwendenEKS. Führen Sie die folgenden Aufgaben aus, um den Flink-Operator bei Amazon EKS einzurichten. Wenn Sie bereits eine der Voraussetzungen erfüllt haben, können Sie diese überspringen und mit der nächsten fortfahren.

• Installieren oder aktualisieren Sie auf die neueste Version von AWS CLI— Wenn Sie die bereits installiert haben, vergewissern Sie sich AWS CLI, dass Sie über die neueste Version verfügen.

• Richten Sie kubectl und eksctl ein — eksctl ist ein Befehlszeilentool, das Sie für die Kommunikation mit Amazon verwenden. EKS

• Helm installieren – Der Helm-Paketmanager für Kubernetes unterstützt Sie bei der Installation und Verwaltung von Anwendungen in Ihrem Kubernetes-Cluster.

• Erste Schritte mit Amazon EKS — eksctl — Folgen Sie den Schritten, um einen neuen Kubernetes-Cluster mit Knoten in Amazon zu erstellen. EKS

• Wählen Sie ein EMR Amazon-Release-Label (Version 6.13.0 oder höher) — der Flink Kubernetes-Operator wird mit EMR Amazon-Versionen 6.13.0 und höher unterstützt.

• Aktivieren Sie IAM Rollen für Servicekonten (IRSA) auf dem EKS Amazon-Cluster.

• Erstellen einer Aufgaben-Ausführungsrolle.

• Aktualisieren Sie die Vertrauensrichtlinie der Auftragausführungsrolle.

• Erstellen Sie eine Operator-Ausführungsrolle. Dieser Schritt ist optional. Sie können die gleiche Rolle für Flink-Aufträge und -Operator verwenden. Wenn Sie Ihrem Operator eine andere IAM Rolle zuweisen möchten, können Sie eine separate Rolle erstellen.

• Aktualisieren Sie die Vertrauensrichtlinie der Operatorausführungsrolle. Sie müssen explizit einen Vertrauensrichtlinieneintrag für die Rollen hinzufügen, die Sie für das Amazon EMR Flink Kubernetes Operator Service Account verwenden möchten. Sie können diesem Beispielformat folgen:

  {
     "Version": "2012-10-17",
     "Statement": [
         {
             "Effect": "Allow",
             "Principal": {
                 "Federated": "arn:aws:iam::ACCOUNT_ID:oidc-provider/OIDC_PROVIDER"
             },
             "Action": "sts:AssumeRoleWithWebIdentity",
             "Condition": {
                 "StringLike": {
                     "OIDC_PROVIDER:sub": "system:serviceaccount:NAMESPACE:emr-containers-sa-flink-operator"
                 }
             }
         }
     ]
  }