Links para o Amazon EMR nos guias de melhores práticas do EKS sobre GitHub

Desenvolvemos o Guia de práticas recomendadas do Amazon EMR no EKS com a colaboração da comunidade de código aberto para que fosse possível iterar rapidamente e fornecer recomendações sobre aspectos de criação e execução de um cluster virtual. Recomendamos usar o Guia de práticas recomendadas do Amazon EMR no EKS para as seções. Escolha os links em cada seção para acessar o GitHub site.

Segurança

nota

Para obter mais informações sobre segurança com o Amazon EMR no EKS, consulte Práticas recomendadas de segurança para o Amazon EMR no EKS.

Práticas recomendadas de criptografia: descreve como usar a criptografia para dados em repouso e em trânsito.

O gerenciamento da segurança da rede descreve como configurar grupos de segurança para pods do Amazon EMR no EKS ao se conectar a fontes de dados hospedadas em Serviços da AWS , como o Amazon RDS e o Amazon Redshift.

Usando o gerenciador de AWS segredos para armazenar segredos.

Envio de trabalho para o Pyspark

Envio de trabalho para o Pyspark: especifica diferentes tipos de empacotamentos para as aplicações do PySpark usando formatos de empacotamento como zip, egg, wheel e pex.

Armazenamento

Uso de volumes do EBS: descreve como usar o provisionamento estático e dinâmico para trabalhos que precisam de volumes do EBS.

Usando volumes do Amazon FSx for Luster: como usar o provisionamento estático e dinâmico para trabalhos que precisam de volumes do Amazon FSx for Luster.

Uso de volumes de armazenamento de instância: descreve como usar volumes de armazenamento de instância para o processamento de trabalhos.

Integração com o metastore

Uso do Hive Metastore: oferece diferentes maneiras de usar o Hive Metastore.

Usando o AWS Glue: oferece maneiras diferentes de configurar o catálogo do AWS Glue.

Depuração

Uso da depuração do Spark: descreve como alterar o nível de log.

Conexão com a interface do usuário do Spark no pod do driver.

Como usar o servidor de histórico do Spark de hospedagem própria com o Amazon EMR no EKS.

Solução de problemas do Amazon EMR no EKS

Solução de problemas.

Posicionamento de nó

Uso de seletores de nó do Kubernetes para single-az e outros casos de uso.

Uso do posicionamento de nó do Fargate.

Performance

Uso da alocação dinâmica de recursos (DRA).

Práticas recomendadas do EKS para o plug-in Container Network Interface (CNI) da Amazon VPC, o Cluster Autoscaler e o CoreDNS.

Otimização de custo

Usando instâncias spot: melhores práticas de instâncias EC2 spot da Amazon e como usar o recurso de desativação de nós do Spark.

Usando AWS Outposts

Executando o Amazon EMR no EKS usando AWS Outposts