Configurando o escalonamento automático vertical para a Amazon em EMR EKS

Este tópico ajuda você a preparar seu EKS cluster Amazon para enviar trabalhos do Amazon EMR Spark com escalonamento automático vertical. O processo de configuração requer que você confirme ou conclua as tarefas apresentadas nas seguintes seções:

Pré-requisitos

Conclua as tarefas apresentadas a seguir antes de instalar o operador do Kubernetes para escalabilidade automática vertical em seu cluster. Se você já completou algum dos pré-requisitos, pode ignorá-los e passar para os próximos.

• Instale ou atualize para a versão mais recente do AWS CLI — Se você já instalou o AWS CLI, confirme se você tem a versão mais recente.

• Instale kubectl — kubectl é uma ferramenta de linha de comando que você usa para se comunicar com o servidor Kubernetes. API Você precisa do kubectl para instalar e monitorar artefatos relacionados ao escalonamento automático vertical em seu cluster da Amazon. EKS

• Instale o operador SDK — O Amazon EMR on EKS usa o operador SDK como gerenciador de pacotes durante toda a vida útil do operador de escalonamento automático vertical que você instala em seu cluster.

• Instale o Docker — Você precisa acessar o Docker para CLI autenticar e buscar as imagens do Docker relacionadas ao escalonamento automático vertical para instalar em seu cluster da Amazon. EKS

• Instale o servidor Kubernetes Metrics — você deve primeiro instalar o servidor de métricas para que o autoescalador vertical do pod possa buscar métricas do servidor Kubernetes. API

• Comece a usar a Amazon EKS — eksctl (versão 1.24 ou superior) — O escalonamento automático vertical é compatível com as versões 1.24 e superiores da AmazonEKS. Depois de criar o cluster, registre-o para uso com a Amazon EMR.

• Selecione uma imagem EMR base da Amazon URI (versão 6.10.0 ou superior) — O escalonamento automático vertical é compatível com as EMR versões 6.10.0 e superiores da Amazon.

Instale o Operator Lifecycle Manager (OLM) em seu cluster da Amazon EKS

Use o Operator SDK CLI para instalar o Operator Lifecycle Manager (OLM) na Amazon no EKS cluster EMR em que você deseja configurar o escalonamento automático vertical, conforme mostrado no exemplo a seguir. Depois de configurá-lo, você pode usá-lo OLM para instalar e gerenciar o ciclo de vida do operador de escalonamento automático EMR vertical da Amazon.

operator-sdk olm install

Para validar a instalação, execute o comando olm status:

operator-sdk olm status

Verifique se o comando retorna um resultado com êxito semelhante ao seguinte exemplo de saída:

INFO[0007] Successfully got OLM status for version X.XX

Se a instalação não ocorrer com êxito, consulte Solução de problemas da Amazon EMR no escalonamento automático EKS vertical.

Instale a Amazon EMR no operador de escalonamento automático EKS vertical

Use as etapas a seguir para instalar o operador de escalonamento automático vertical em seu cluster da AmazonEKS:

1. Configure as seguintes variáveis ​​de ambiente que serão usadas para concluir a instalação:

   • $REGION direciona para a Região da AWS do seu cluster. Por exemplo, us-west-2.

   • $ACCOUNT_IDaponta para o ID da ECR conta Amazon da sua região. Para obter mais informações, consulte Contas de ECR registro da Amazon por região.

   • $RELEASEaponta para a EMR versão da Amazon que você deseja usar para seu cluster. Com o escalonamento automático vertical, você deve usar a EMR versão 6.10.0 ou superior da Amazon.

2. Em seguida, obtenha tokens de autenticação no ECRregistro da Amazon para o operador.

   aws ecr get-login-password \
    --region region-id | docker login \
    --username AWS \
    --password-stdin $ACCOUNT_ID.dkr.ecr.region-id.amazonaws.com

3. Instale a Amazon EMR no operador de escalonamento automático EKS vertical com o seguinte comando:

   ECR_URL=$ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com && \
   REPO_DEST=dynamic-sizing-k8s-operator-olm-bundle && \
   BUNDLE_IMG=emr-$RELEASE-dynamic-sizing-k8s-operator && \
   operator-sdk run bundle \
   $ECR_URL/$REPO_DEST/$BUNDLE_IMG\:latest

   Isso criará uma versão do operador de escalonamento automático vertical no namespace padrão do seu cluster da Amazon. EKS Use este comando para realizar a instalação em um namespace diferente:

   operator-sdk run bundle \
   $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com/dynamic-sizing-k8s-operator-olm-bundle/emr-$RELEASE-dynamic-sizing-k8s-operator:latest \
   -n operator-namespace

   nota

   Se o namespace que você especificar não existir, não OLM instalará o operador. Para obter mais informações, consulte Namespace do Kubernetes não encontrado.

4. Verifique se você instalou o operador com êxito usando a ferramenta de linha de comando kubectl do Kubernetes.

   kubectl get csv -n operator-namespace

   O comando kubectl deve retornar o operador de escalabilidade automática vertical recém-implantado com um status de Fase como Com êxito. Se você tiver problemas com a instalação ou com a configuração, consulte Solução de problemas da Amazon EMR no escalonamento automático EKS vertical.