Visão geral dos endpoints interativos

Um endpoint interativo fornece a funcionalidade para os clientes interativos, como os que usam o Amazon EMR Studio, de se conectarem ao Amazon EMR em clusters do EKS para executar workloads interativas. O endpoint interativo está respaldado pelo Jupyter Enterprise Gateway que fornece a funcionalidade de gerenciamento remoto do ciclo de vida do kernel de que os clientes interativos precisam. Os kernels são processos específicos de linguagem que interagem com o cliente do Amazon EMR Studio baseado em Jupyter para executar workloads interativas.

Os endpoints interativos oferecem suporte aos seguintes kernels:

• Python 3

• PySpark no Kubernetes

• Apache Spark com o Scala

nota

Os preços do Amazon EMR no EKS se aplicam aos endpoints e aos kernels interativos. Para obter mais informações, consulte a página Preços do Amazon EMR no EKS.

As entidades apresentadas a seguir são necessárias para que o EMR Studio se conecte ao Amazon EMR no EKS.

• Cluster virtual do Amazon EMR no EKS: um cluster virtual corresponde a um namespace do Kubernetes no qual você registra o Amazon EMR. O Amazon EMR usa clusters virtuais para executar trabalhos e hospedar endpoints. É possível fazer backup de vários clusters virtuais usando o mesmo cluster físico. No entanto, cada cluster virtual é mapeado para um namespace em um cluster do Amazon EKS. Os clusters virtuais não criam quaisquer recursos ativos que contribuam para o seu faturamento ou que requeiram gerenciamento do ciclo de vida de forma externa ao serviço.

• Endpoint interativo do Amazon EMR no EKS: um endpoint interativo corresponde a um endpoint HTTPS ao qual os usuários do EMR Studio podem conectar um Workspace. É possível acessar os endpoints HTTPS somente ao usar o EMR Studio e criá-los em uma sub-rede privada da Amazon Virtual Private Cloud (Amazon VPC) para o cluster do Amazon EKS.

  Os kernels Python, PySpark, e Spark Scala usam as permissões definidas na função de execução de tarefas do Amazon EMR no EKS para invocar outras. Serviços da AWS Todos os kernels e os usuários que se conectam ao endpoint interativo utilizam o perfil que você especificou ao criar o endpoint. Recomendamos que você crie endpoints separados para usuários diferentes e que os usuários tenham funções diferentes AWS Identity and Access Management (IAM).

• AWS Controlador do Application Load Balancer — O controlador do AWS Application Load Balancer gerencia o Elastic Load Balancing para um cluster Amazon EKS Kubernetes. O controlador provisiona um Application Load Balancer (ALB) quando você cria um recurso Ingress do Kubernetes. Um ALB revela um serviço do Kubernetes, como um endpoint interativo, de forma externa ao cluster do Amazon EKS, mas dentro da mesma Amazon VPC. Ao criar um endpoint interativo, também ocorre a implementação de um recurso Ingress que revela o endpoint interativo por meio do ALB para os clientes interativos se conectarem. Você só precisa instalar um controlador do AWS Application Load Balancer para cada cluster do Amazon EKS.

O diagrama a seguir descreve a arquitetura dos endpoints interativos no Amazon EMR no EKS. Um cluster do Amazon EKS compreende a computação para executar as workloads de análise e o endpoint interativo. O controlador do Application Load Balancer é executado no namespace kube-system, enquanto as workloads e os endpoints interativos são executados no namespace especificado ao criar o cluster virtual. Quando você cria um endpoint interativo, o ambiente de gerenciamento do Amazon EMR no EKS cria a implantação do endpoint interativo no cluster do Amazon EKS. Além disso, uma instância da entrada do balanceador de carga do aplicativo é criada pelo controlador do balanceador de AWS carga. O Application Load Balancer fornece a interface externa para que os clientes, como o EMR Studio, se conectem ao cluster do Amazon EMR e executem workloads interativas.