Pasos manuales para habilitar el acceso a clústeres de Amazon EMR en EKS Automatice la habilitación del acceso al clúster para Amazon EMR en EKS

Habilitar el acceso a clústeres de Amazon EMR en EKS

Debe permitir que Amazon EMR en EKS acceda a un espacio de nombres específico de su clúster mediante las siguientes acciones: crear un rol de Kubernetes, vincular el rol a un usuario de Kubernetes y asignar el usuario de Kubernetes con el rol AWSServiceRoleForAmazonEMRContainers vinculado al servicio. Estas acciones se automatizan en eksctl cuando se utiliza el comando de asignación de identidades de IAM con emr-containers como nombre del servicio. Puede llevar a cabo estas operaciones fácilmente con el siguiente comando.


eksctl create iamidentitymapping \
    --cluster my_eks_cluster \
    --namespace kubernetes_namespace \
    --service-name "emr-containers"

Sustituya my_eks_cluster por el nombre de su clúster de Amazon EKS y sustituya kubernetes_namespace por el espacio de nombres de Kubernetes creado para ejecutar cargas de trabajo de Amazon EMR.

importante

Para descargar la versión más reciente de eksctl, siga el paso anterior Instalar eksctl para utilizar esta funcionalidad.

Pasos manuales para habilitar el acceso a clústeres de Amazon EMR en EKS

También puede utilizar los siguientes pasos manuales para habilitar el acceso al clúster de Amazon EMR en EKS.

Crear un rol de Kubernetes en un espacio de nombres específico

Amazon EKS 1.22 - 1.29

Con Amazon EKS 1.22 - 1.29, ejecute el siguiente comando para crear un rol de Kubernetes en un espacio de nombres específico. Este rol concede los permisos de RBAC necesarios a Amazon EMR en EKS.


namespace=my-namespace
cat - >>EOF | kubectl apply -f - >>namespace "${namespace}"
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: emr-containers
  namespace: ${namespace}
rules:
  - apiGroups: [""]
    resources: ["namespaces"]
    verbs: ["get"]
  - apiGroups: [""]
    resources: ["serviceaccounts", "services", "configmaps", "events", "pods", "pods/log"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["create", "patch", "delete", "watch"]
  - apiGroups: ["apps"]
    resources: ["statefulsets", "deployments"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["batch"]
    resources: ["jobs"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["extensions", "networking.k8s.io"]
    resources: ["ingresses"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["rbac.authorization.k8s.io"]
    resources: ["roles", "rolebindings"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete",  "deletecollection", "annotate", "patch", "label"]
EOF

Amazon EKS 1.21 and below

Con Amazon EKS 1.21 y versiones anteriores, ejecute el siguiente comando para crear un rol de Kubernetes en un espacio de nombres específico. Este rol concede los permisos de RBAC necesarios a Amazon EMR en EKS.


namespace=my-namespace
cat - >>EOF | kubectl apply -f - >>namespace "${namespace}"
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: emr-containers
  namespace: ${namespace}
rules:
  - apiGroups: [""]
    resources: ["namespaces"]
    verbs: ["get"]
  - apiGroups: [""]
    resources: ["serviceaccounts", "services", "configmaps", "events", "pods", "pods/log"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["create", "patch", "delete", "watch"]
  - apiGroups: ["apps"]
    resources: ["statefulsets", "deployments"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["batch"]
    resources: ["jobs"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["extensions"]
    resources: ["ingresses"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["rbac.authorization.k8s.io"]
    resources: ["roles", "rolebindings"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
EOF

Crear una vinculación de roles de Kubernetes limitada al espacio de nombres

Ejecute el siguiente comando para crear una vinculación de roles de Kubernetes en el espacio de nombres dado. Esta vinculación de roles otorga los permisos definidos en el rol creado en el paso anterior a un usuario nombrado emr-containers. Este usuario identifica los roles vinculadas al servicio de Amazon EMR en EKS y, por lo tanto, permite que Amazon EMR en EKS lleve a cabo las acciones definidas por el rol que creó.
```
namespace=my-namespace

cat - <<EOF | kubectl apply -f - --namespace "${namespace}"
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: emr-containers
  namespace: ${namespace}
subjects:
- kind: User
  name: emr-containers
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: Role
  name: emr-containers
  apiGroup: rbac.authorization.k8s.io
EOF
```
Actualizar el mapa de configuración aws-auth de Kubernetes

Puede utilizar una de las siguientes opciones para asignar el rol vinculado al servicio de Amazon EMR en EKS con el usuario de emr-containers que estaba vinculado con el rol de Kubernetes en el paso anterior.

Opción 1: con eksctl

Ejecute el siguiente comando eksctl para asignar el rol vinculado al servicio de Amazon EMR en EKS con el usuario emr-containers.
```
eksctl create iamidentitymapping \
    --cluster my-cluster-name \
    --arn "arn:aws:iam::my-account-id:role/AWSServiceRoleForAmazonEMRContainers" \
    --username emr-containers
```
Opción 2: sin usar eksctl
1. Ejecute el siguiente comando para abrir el mapa de configuración aws-auth en el editor de texto.
```
kubectl edit -n kube-system configmap/aws-auth
```
  nota
  Si recibe un mensaje de error al respectoError from server (NotFound): configmaps "aws-auth" not found, consulte los pasos de Añadir funciones de usuario en la Guía del usuario de Amazon EKS para aplicar el stock ConfigMap.
2. Agregue los detalles del rol vinculado al servicio Amazon EMR en EKS en la sección mapRoles de ConfigMap, en data. Agregue esta sección si no existe todavía en el archivo. La sección mapRoles actualizada en datos es similar al siguiente ejemplo.
```
apiVersion: v1
data:
  mapRoles: |
    - rolearn: arn:aws:iam::<your-account-id>:role/AWSServiceRoleForAmazonEMRContainers
      username: emr-containers
    - ... <other previously existing role entries, if there's any>.
```
3. Guarde el archivo y salga del editor de texto.

Automatice la habilitación del acceso al clúster para Amazon EMR en EKS

Amazon EMR está integrado con la administración de acceso a clústeres (CAM) de Amazon EKS, por lo que puede automatizar la configuración de las políticas AuthN y AuthZ necesarias para ejecutar trabajos de Amazon EMR Spark en los espacios de nombres de los clústeres de Amazon EKS. Cuando crea un clúster virtual a partir de un espacio de nombres de clúster de Amazon EKS, Amazon EMR configura automáticamente todos los permisos necesarios, por lo que no necesita añadir ningún paso adicional a sus flujos de trabajo actuales.

nota

La entrada de acceso a Amazon EKS admite un máximo de solo 100 espacios de nombres. Si tiene más de 100 clústeres virtuales, Amazon EMR no utilizará las API de entrada de acceso cuando cree nuevos clústeres virtuales. Puede ver qué clústeres tienen habilitada la integración de entradas de acceso configurando el eksAccessEntryIntegrated parámetro en true al ejecutar la operación de ListVirtualClusters API o el comando list-virtual-clusters CLI. El comando devuelve los identificadores únicos de todos los clústeres virtuales aplicables.

Requisitos previos

Asegúrese de que está ejecutando la versión 2.15.3 o superior del AWS CLI
El clúster de Amazon EKS debe tener la versión 1.23 o superior.

Configuración

Para configurar la integración entre Amazon EMR y las operaciones de AccessEntry API de Amazon EKS, asegúrese de haber completado los siguientes pasos:

Asegúrese de que su clúster authenticationMode de Amazon EKS esté configurado enAPI_AND_CONFIG_MAP.
```
aws eks describe-cluster --name <eks-cluster-name>
```
Si aún no lo está, authenticationMode configúrelo enAPI_AND_CONFIG_MAP.
```
aws eks update-cluster-config 
    --name <eks-cluster-name> 
    --access-config authenticationMode=API_AND_CONFIG_MAP
```
Para obtener más información sobre los modos de autenticación, consulte Modos de autenticación de clúster.

Asegúrese de que la función de IAM que está utilizando para ejecutar las operaciones CreateVirtualCluster y las de la DeleteVirtualCluster API también tenga los siguientes permisos:


{
        "Effect": "Allow",
        "Action": [           
            "eks:DescribeAccessEntry",
            "eks:CreateAccessEntry",
            "eks:DeleteAccessEntry",
            "eks:ListAssociatedAccessPolicies",
            "eks:AssociateAccessPolicy",
            "eks:DisassociateAccessPolicy"
        ],
        "Resource": "*"
}

Conceptos y terminología

La siguiente es una lista de terminologías y conceptos relacionados con Amazon EKS CAM.

Clúster virtual (VC): representación lógica del espacio de nombres creado en Amazon EKS. Es un enlace 1:1 a un espacio de nombres de un clúster de Amazon EKS. Puede usarla para ejecutar cargas de trabajo de Amazon EMR en un clúster de Amazon EKS dentro del espacio de nombres especificado.
Espacio de nombres: mecanismo para aislar grupos de recursos dentro de un único clúster de EKS.
Política de acceso: permisos que otorgan acceso y acciones a un rol de IAM dentro de un clúster de EKS.
Entrada de acceso: entrada creada con un rol arn. Puede vincular la entrada de acceso a una política de acceso para asignar permisos específicos en el clúster de Amazon EKS.
Clúster virtual integrado de entrada de acceso EKS: el clúster virtual creado mediante las operaciones de la API de entrada de acceso de Amazon EKS.

Aviso JavaScript está desactivado o no está disponible en su navegador.

Para utilizar la documentación de AWS, debe estar habilitado JavaScript. Para obtener más información, consulte las páginas de ayuda de su navegador.

Convenciones del documento

Configurar un clúster de Amazon EKS

Habilite los roles de IAM para las cuentas de servicio (IRSA) en el clúster de EKS