Amazon EMR on EKS のクラスターアクセスを有効にする - Amazon EMR
Amazon EMR on EKS のクラスターアクセスを有効にするための手動ステップEKS での Amazon EMR のクラスターアクセスの有効化を自動化する

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR on EKS のクラスターアクセスを有効にする

Amazon EMR on EKS がクラスターで特定の名前空間にアクセスできるようにする必要があります。これを行うには、Kubernetes ロールを作成し、そのロールを Kubernetes ユーザーにバインドして、Kubernetes ユーザーをサービスにリンクされたロール AWSServiceRoleForAmazonEMRContainers にマッピングします。これらのアクションは、IAM ID マッピングコマンドがサービス名として emr-containers と共に使用されると、eksctl で自動的に行われます。これらの操作は、次のコマンドを使用して簡単に実行できます。

eksctl create iamidentitymapping \
    --cluster my_eks_cluster \
    --namespace kubernetes_namespace \
    --service-name "emr-containers"

my_eks_cluster は使用する Amazon EKS クラスターの名前に置き換え、kubernetes_namespace は Amazon EMR ワークロードを実行するために作成された Kubernetes 名前空間に置き換えます。

重要

この機能を使用するには、前のステップ eksctl をインストールする を使用して最新の eksctl をダウンロードする必要があります。

Amazon EMR on EKS のクラスターアクセスを有効にするための手動ステップ

次の手動ステップを使用して、Amazon EMR on EKS のクラスターアクセスを有効にすることもできます。

  1. 特定の名前空間に Kubernetes ロールを作成する

    Amazon EKS 1.22 - 1.29

    Amazon EKS 1.22-1.29 では、以下のコマンドを実行して、特定のネームスペースに Kubernetes ロールを作成します。このロールは、Amazon EMR on EKS に必要な RBAC アクセス許可を付与します。

    namespace=my-namespace
cat - >>EOF | kubectl apply -f - >>namespace "${namespace}"
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: emr-containers
  namespace: ${namespace}
rules:
  - apiGroups: [""]
    resources: ["namespaces"]
    verbs: ["get"]
  - apiGroups: [""]
    resources: ["serviceaccounts", "services", "configmaps", "events", "pods", "pods/log"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["create", "patch", "delete", "watch"]
  - apiGroups: ["apps"]
    resources: ["statefulsets", "deployments"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["batch"]
    resources: ["jobs"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["extensions", "networking.k8s.io"]
    resources: ["ingresses"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["rbac.authorization.k8s.io"]
    resources: ["roles", "rolebindings"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete",  "deletecollection", "annotate", "patch", "label"]
EOF
    Amazon EKS 1.21 and below

    Amazon EKS 1.21 以前で、次のコマンドを実行して特定の名前空間に Kubernetes ロールを作成します。このロールは、Amazon EMR on EKS に必要な RBAC アクセス許可を付与します。

    namespace=my-namespace
cat - >>EOF | kubectl apply -f - >>namespace "${namespace}"
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: emr-containers
  namespace: ${namespace}
rules:
  - apiGroups: [""]
    resources: ["namespaces"]
    verbs: ["get"]
  - apiGroups: [""]
    resources: ["serviceaccounts", "services", "configmaps", "events", "pods", "pods/log"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["create", "patch", "delete", "watch"]
  - apiGroups: ["apps"]
    resources: ["statefulsets", "deployments"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["batch"]
    resources: ["jobs"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["extensions"]
    resources: ["ingresses"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["rbac.authorization.k8s.io"]
    resources: ["roles", "rolebindings"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
EOF

  2. 名前空間にスコープが設定された Kubernetes ロールバインディングを作成する

    次のコマンドを実行して、特定の名前空間に Kubernetes ロールバインディングを作成します。このロールバインディングは、前のステップで作成したロールに定義されたアクセス許可を、emr-containers という名前のユーザーに付与します。このユーザーにより、Amazon EMR on EKS のサービスにリンクされたロールが特定されるため、Amazon EMR on EKS は作成したロールによって定義されているとおりにアクションを実行できます。

    namespace=my-namespace

cat - <<EOF | kubectl apply -f - --namespace "${namespace}"
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: emr-containers
  namespace: ${namespace}
subjects:
- kind: User
  name: emr-containers
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: Role
  name: emr-containers
  apiGroup: rbac.authorization.k8s.io
EOF

  3. Kubernetes aws-auth 設定マップを更新する

    次のいずれかのオプションを使用して、Amazon EMR on EKS のサービスにリンクされたロールを、前のステップで Kubernetes ロールにバインドされた emr-containers ユーザーにマップできます。

    オプション 1: eksctl を使用する

    次の eksctl コマンドを実行して、Amazon EMR on EKS のサービスにリンクされたロールを emr-containers ユーザーにマップします。

    eksctl create iamidentitymapping \
    --cluster my-cluster-name \
    --arn "arn:aws:iam::my-account-id:role/AWSServiceRoleForAmazonEMRContainers" \
    --username emr-containers

    オプション 2: eksctl を使用しない

    1. 次のコマンドを実行して、テキストエディタで aws-auth 設定マップを開きます。

      kubectl edit -n kube-system configmap/aws-auth
      注記

      というエラーが表示された場合はError from server (NotFound): configmaps "aws-auth" not found、Amazon EKS ユーザーガイドの「ユーザーロールの追加」 ConfigMap の手順を参照してストックを適用してください。

    2. Amazon EMR on EKS のサービスにリンクされたロールの詳細を、data の下の ConfigMap の mapRoles セクションに追加します。ファイルに存在しない場合は、このセクションを追加します。データの下で更新された mapRoles セクションは、次の例のようになります。

      apiVersion: v1
data:
  mapRoles: |
    - rolearn: arn:aws:iam::<your-account-id>:role/AWSServiceRoleForAmazonEMRContainers
      username: emr-containers
    - ... <other previously existing role entries, if there's any>.

    3. ファイルを保存し、テキストエディタを終了します。

EKS での Amazon EMR のクラスターアクセスの有効化を自動化する

Amazon EMR は Amazon EKS クラスターアクセス管理 (CAM) と統合されているため、Amazon EKS クラスターの名前空間で Amazon EMR Spark ジョブを実行するために必要な AuthN ポリシーと AuthZ ポリシーの設定を自動化できます。Amazon EKS クラスター名前空間から仮想クラスターを作成すると、Amazon EMR は必要なすべての権限を自動的に設定するため、現在のワークフローに追加のステップを追加する必要はありません。

注記

Amazon EKS アクセスエントリは、最大 100 の名前空間のみをサポートします。100 を超える仮想クラスターがある場合、Amazon EMR は新しい仮想クラスターを作成するときにアクセスエントリ API を使用しません。ListVirtualClustersAPI 操作または list-virtual-clusters CLI eksAccessEntryIntegrated コマンドの実行時にパラメータを true に設定すると、アクセスエントリの統合が有効になっているクラスターを確認できます。このコマンドは、該当するすべての仮想クラスターの固有の ID を返します。

前提条件

  • バージョン 2.15.3 以降を実行していることを確認してください。 AWS CLI

  • Amazon EKS クラスターはバージョン 1.23 以降である必要があります。

セットアップ

Amazon EMR と Amazon EKS からの AccessEntry API オペレーションとの統合をセットアップするには、以下の項目を完了していることを確認してください。

  • Amazon EKS クラスターがに設定されていることを確認してくださいAPI_AND_CONFIG_MAP。authenticationMode

    aws eks describe-cluster --name <eks-cluster-name>

    まだ設定されていない場合は、authenticationModeに設定しますAPI_AND_CONFIG_MAP。

    aws eks update-cluster-config 
    --name <eks-cluster-name> 
    --access-config authenticationMode=API_AND_CONFIG_MAP

    認証モードについて詳しくは、「クラスター認証モード」を参照してください。

  • CreateVirtualClusterおよび DeleteVirtualCluster API オペレーションを実行するために使用する IAM ロールには、以下の権限も付与されていることを確認してください。

    {
        "Effect": "Allow",
        "Action": [           
            "eks:DescribeAccessEntry",
            "eks:CreateAccessEntry",
            "eks:DeleteAccessEntry",
            "eks:ListAssociatedAccessPolicies",
            "eks:AssociateAccessPolicy",
            "eks:DisassociateAccessPolicy"
        ],
        "Resource": "*"
}

概念と用語

以下は、Amazon EKS CAM に関連する用語と概念のリストです。

  • 仮想クラスター (VC) — Amazon EKS で作成された名前空間の論理表現。これは Amazon EKS クラスター名前空間への 1:1 リンクです。これを使用して、指定された名前空間内の Amazon EKS クラスターで Amazon EMR ワークロードを実行できます。

  • 名前空間 — 単一の EKS クラスター内のリソースグループを分離するメカニズム。

  • アクセスポリシー — EKS クラスター内の IAM ロールにアクセス権とアクションを付与する権限。

  • アクセスエントリ — arn というロールで作成されたエントリ。アクセスエントリをアクセスポリシーにリンクして、Amazon EKS クラスターに特定のアクセス権限を割り当てることができます。

  • EKS アクセスエントリ統合仮想クラスター — Amazon EKS のアクセスエントリ API オペレーションを使用して作成された仮想クラスタ。