Requisitos previos para crear un punto de conexión interactivo en Amazon EMR el EKS - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Requisitos previos para crear un punto de conexión interactivo en Amazon EMR el EKS

En esta sección se describen los requisitos previos para configurar un punto final interactivo que EMR Studio pueda usar para conectarse a un EKS clúster de Amazon EMR on y ejecutar cargas de trabajo interactivas.

AWS CLI

Sigue los pasos que se indican en Instalar o actualizar a la última versión de AWS CLI para instalar la última versión de AWS Command Line Interface (AWS CLI).

Instalación de eksctl

Sigue los pasos que se indican en Instalar kubectl para instalar la última versión de eksctl. Si utilizas la versión 1.22 o posterior de Kubernetes para tu EKS clúster de Amazon, usa una versión eksctl superior a 0.117.0.

EKSClúster de Amazon

Crea un EKS clúster de Amazon. Registra el clúster como un clúster virtual con Amazon EMR activadoEKS. A continuación, se detallan los requisitos y consideraciones para este clúster:

  • El clúster debe estar en la misma Amazon Virtual Private Cloud (VPC) que tu EMR estudio.

  • El clúster debe tener al menos una subred privada para activar los puntos de conexión interactivos, vincular los repositorios basados en Git y lanzar el equilibrador de carga de aplicación en modo privado.

  • Debe haber al menos una subred privada en común entre tu clúster de EMR Studio y el EKS clúster de Amazon que utilices para registrar el clúster virtual. Esto garantiza que el dispositivo de punto de conexión interactivo aparezca como una opción en sus espacios de trabajo de Studio y activa la conectividad desde Studio al equilibrador de carga de aplicación.

    Puedes elegir entre dos métodos para conectar tu EKS clúster de Studio y Amazon:

    • Crea un EKS clúster de Amazon y asócialo a las subredes que pertenecen a tu EMR estudio.

    • Como alternativa, crea un EMR Studio y especifica las subredes privadas de tu EKS clúster de Amazon.

  • Amazon Linux EKS AMIs optimizados para ARM Amazon no es compatible con Amazon EMR en puntos finales EKS interactivos.

  • Los puntos de enlace interactivos funcionan con EKS clústeres de Amazon que utilizan versiones de Kubernetes hasta la 1.30.

  • Solo se admiten los grupos de nodos EKS gestionados por Amazon.

Concede acceso al clúster para Amazon EMR el EKS

Sigue los pasos de Conceder acceso a clústeres para EMR Amazon para conceder EKS a EMR Amazon EKS acceso a un espacio de nombres específico de tu clúster.

Activar IRSA en el EKS clúster de Amazon

Para activar IAM roles para cuentas de servicio (IRSA) en el EKS clúster de Amazon, sigue los pasos de Habilitar IAM roles para cuentas de servicio (IRSA).

Cree un rol de ejecución de IAM tareas

Debe crear un IAM rol para ejecutar cargas de trabajo en Amazon EMR en puntos de conexión EKS interactivos. En esta documentación, nos referimos a esta IAM función como función de ejecución de tareas. Esta IAM función se asigna tanto al contenedor de punto final interactivo como a los contenedores de ejecución propiamente dichos que se crean al enviar los trabajos con EMR Studio. Necesitarás el nombre del recurso de Amazon (ARN) de tu función de ejecución de tareas para Amazon EMR onEKS. Hay dos pasos necesarios para esto:

Otorgue a los usuarios acceso a Amazon EMR en EKS

La IAM entidad (usuario o rol) que realiza la solicitud para crear un punto de conexión interactivo también debe tener los siguientes emr-containers permisos EC2 de Amazon. Siga los pasos descritos en Otorgue a los usuarios acceso a Amazon EMR en EKS para conceder estos permisos que permiten EKS a EMR Amazon crear, gestionar y eliminar los grupos de seguridad que limitan el tráfico entrante al balanceador de carga de su terminal interactivo.

Los siguientes permisos emr-containers permiten al usuario llevar a cabo operaciones básicas en puntos de conexión interactivos:

"ec2:CreateSecurityGroup", "ec2:DeleteSecurityGroup", "ec2:AuthorizeSecurityGroupEgress", "ec2:AuthorizeSecurityGroupIngress", "ec2:RevokeSecurityGroupEgress", "ec2:RevokeSecurityGroupIngress" "emr-containers:CreateManagedEndpoint", "emr-containers:ListManagedEndpoints", "emr-containers:DescribeManagedEndpoint", "emr-containers:DeleteManagedEndpoint"

Registra el EKS clúster de Amazon en Amazon EMR

Configura un clúster virtual y asígnalo al espacio de nombres del EKS clúster de Amazon en el que quieres ejecutar tus trabajos. Para los clústeres AWS Fargate exclusivos, usa el mismo espacio de nombres tanto para el clúster EKS virtual de Amazon EMR on como para el perfil de Fargate.

Para obtener información sobre cómo configurar un clúster EKS virtual de AmazonEMR, consulteRegistra el EKS clúster de Amazon en Amazon EMR.

Implemente el AWS Load Balancer Controller en el clúster de Amazon EKS

Se necesita un AWS Application Load Balancer para tu clúster de AmazonEKS. Solo necesitas configurar un controlador Application Load Balancer por clúster de AmazonEKS. Para obtener información sobre la configuración del controlador Load Balancer de AWS aplicaciones, consulte Instalación del complemento Load AWS Balancer Controller en la Guía del usuario de Amazon EKS.