Configurando o operador Flink Kubernetes para a Amazon em EMR EKS

Conclua as tarefas a seguir para se configurar antes de instalar o operador Flink Kubernetes na Amazon. EKS Se você já se cadastrou na Amazon Web Services (AWS) e já usou a AmazonEKS, você está quase pronto para usar a Amazon EMR onEKS. Conclua as tarefas a seguir para se preparar para o operador Flink na AmazonEKS. Se você já completou algum dos pré-requisitos, pode ignorá-los e passar para os próximos.

• Instale ou atualize para a versão mais recente do AWS CLI — Se você já instalou o AWS CLI, confirme se você tem a versão mais recente.

• Configure kubectl e eksctl — eksctl é uma ferramenta de linha de comando que você usa para se comunicar com a Amazon. EKS

• Instale o Helm: o gerenciador de pacotes Helm para o Kubernetes ajuda a instalar e gerenciar aplicações em seu cluster do Kubernetes.

• Comece a usar a Amazon EKS — eksctl — Siga as etapas para criar um novo cluster Kubernetes com nós na Amazon. EKS

• Escolha uma etiqueta de EMR lançamento da Amazon (versão 6.13.0 ou superior) — o operador Flink Kubernetes é compatível com as versões 6.13.0 e superiores da Amazon. EMR

• Ative IAM funções para contas de serviço (IRSA) no EKS cluster da Amazon.

• Crie um perfil de execução de trabalho.

• Atualize a política de confiança do perfil de execução de trabalho.

• Crie um perfil de execução de operador. Esta etapa é opcional. É possível usar o mesmo perfil para trabalhos e operadores do Flink. Se você quiser ter uma IAM função diferente para seu operador, você pode criar uma função separada.

• Atualize a política de confiança do perfil de execução do operador. Você deve adicionar explicitamente uma entrada de política de confiança para as funções que deseja usar na conta de serviço do operador Amazon EMR Flink Kubernetes. Você pode seguir este formato de exemplo:

  {
     "Version": "2012-10-17",
     "Statement": [
         {
             "Effect": "Allow",
             "Principal": {
                 "Federated": "arn:aws:iam::ACCOUNT_ID:oidc-provider/OIDC_PROVIDER"
             },
             "Action": "sts:AssumeRoleWithWebIdentity",
             "Condition": {
                 "StringLike": {
                     "OIDC_PROVIDER:sub": "system:serviceaccount:NAMESPACE:emr-containers-sa-flink-operator"
                 }
             }
         }
     ]
  }