Clusters EMR em AWS Outposts - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Clusters EMR em AWS Outposts

A partir do Amazon EMR 5.28.0, você pode criar e executar clusters do EMR no. AWS Outposts AWS Outposts habilita AWS serviços, infraestrutura e modelos operacionais nativos em instalações locais. Em AWS Outposts ambientes, você pode usar as mesmas AWS APIs, ferramentas e infraestrutura que usa na AWS nuvem. O Amazon EMR on AWS Outposts é ideal para cargas de trabalho de baixa latência que precisam ser executadas nas proximidades de dados e aplicativos locais. Para obter mais informações sobre AWS Outposts, consulte o Guia AWS Outposts do usuário.

Pré-requisitos

Veja a seguir os pré-requisitos para usar o Amazon EMR no AWS Outposts:

  • Você deve ter instalado e configurado AWS Outposts em seu data center local.

  • Você deve ter uma conexão de rede confiável entre seu ambiente Outpost e uma AWS região.

  • Você deve ter capacidade suficiente para os tipos de instância compatíveis com o Amazon EMR disponíveis em seu Outpost.

Limitações

Veja a seguir as limitações de usar o Amazon EMR no AWS Outposts:

  • As instâncias sob demanda são a única opção compatível com as instâncias do Amazon EC2. As instâncias spot não estão disponíveis para o Amazon EMR no AWS Outposts.

  • Se você precisar de volumes de armazenamento adicionais do Amazon EBS, somente SSD de uso geral (GP2) é compatível.

  • Quando você usa AWS Outposts com as versões 5.28 a 6.x do Amazon EMR, você só pode usar buckets do S3 que armazenam objetos em um que você especificar. Região da AWS Com o Amazon EMR 7.0.0 e versões posteriores, o Amazon EMR on também AWS Outposts é compatível com o prefixo do cliente do S3A sistema de arquivos. s3a://

  • Somente os seguintes tipos de instância são compatíveis com o Amazon EMR no AWS Outposts:

    Classe de instância Tipos de instância
    Propósito geral

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Otimizada para computação

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    Otimizada para memória

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Otimizada para armazenamento

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Considerações sobre a conectividade de rede

  • Se a conectividade de rede entre seu Posto Avançado e sua AWS região for perdida, seus clusters continuarão funcionando. No entanto, você não pode criar novos clusters ou executar novas ações em clusters existentes enquanto que a conectividade não for restaurada. Em caso de falhas na instância, a instância não será substituída automaticamente. Além disso, ações como adicionar etapas a um cluster em execução, verificar o status de execução das etapas e enviar CloudWatch métricas e eventos serão adiadas.

  • Recomendamos que você forneça conectividade de rede confiável e altamente disponível entre seu Posto Avançado e a AWS Região. Se a conectividade de rede entre seu Posto Avançado e sua AWS região for perdida por mais de algumas horas, os clusters que ativaram a proteção de encerramento continuarão funcionando e os clusters que desativaram a proteção de encerramento poderão ser encerrados.

  • Se a conectividade da rede for afetada por uma manutenção de rotina, recomendamos que a proteção contra encerramento seja ativada proativamente. De modo geral, a interrupção da conectividade significa que quaisquer dependências externas que não sejam locais para a rede do cliente ou o para Outpost ficarão inacessíveis. Isso inclui o Amazon S3, o DynamoDB usado com a visualização de consistência do EMRFS e o Amazon RDS, se uma instância na região for usada para um cluster do Amazon EMR com múltiplos nós primários.

Criação de um cluster do Amazon EMR em AWS Outposts

Criar um cluster do Amazon EMR no AWS Outposts é semelhante à criação de um cluster do Amazon EMR na nuvem. AWS Ao criar um cluster do Amazon EMR no AWS Outposts, você deve especificar uma sub-rede do Amazon EC2 associada ao seu Outpost.

Uma Amazon VPC pode abranger todas as zonas de disponibilidade em uma AWS região. AWS Outposts são extensões das zonas de disponibilidade, e você pode estender uma Amazon VPC em uma conta para abranger várias zonas de disponibilidade e locais associados do Outpost. Ao configurar o Outpost, você associa uma sub-rede a ele para estender o ambiente regional da VPC à instalação on-premises. As instâncias do Outpost e serviços relacionados aparecem como parte de sua VPC regional, semelhante a uma zona de disponibilidade com sub-redes associadas. Para obter mais informações, consulte o Guia do usuário do AWS Outposts.

Console

Para criar um novo cluster do Amazon EMR AWS Outposts com o AWS Management Console, especifique uma sub-rede do Amazon EC2 associada ao seu Outpost.

nota

Reformulamos o console do Amazon EMR para torná-lo mais fácil de usar. Consulte Console do Amazon EMR para conhecer as diferenças entre as experiências do console antigo e novo.

New console
Para criar um cluster AWS Outposts com o novo console
  1. Faça login no AWS Management Console e abra o console do Amazon EMR em https://console.aws.amazon.com/emr.

  2. Em EMR no EC2, no painel de navegação esquerdo, escolha Clusters e depois Criar cluster.

  3. Em Configuração do cluster, selecione Grupos de instâncias ou Frotas de instâncias. Em seguida, escolha um tipo de instância no menu suspenso Escolher tipo de instância do EC2 ou selecione Ações e escolha Adicionar volumes do EBS. O Amazon EMR on AWS Outposts oferece suporte a tipos limitados de volume e instância do Amazon EBS.

  4. Em Redes, selecione uma sub-rede EC2 com um ID do Outpost neste formato: op-123456789.

  5. Escolha qualquer outra opção que se aplique ao cluster.

  6. Para iniciar o cluster, escolha Criar cluster.

Old console
Para criar um cluster AWS Outposts com o console antigo
  1. Navegue até o novo console do Amazon EMR e selecione Alternar para o console antigo na navegação lateral. Para obter mais informações sobre o que esperar ao alternar para o console antigo, consulte Usar o console antigo.

  2. Selecione Criar cluster.

  3. Escolha Go to advanced options (Ir para opções avançadas).

  4. Em Software Configuration (Configuração de software), Release (Versão), escolha 5.28.0 ou posterior.

  5. Em Configuração de hardware, para EC2 Subnet, selecione uma sub-rede Amazon EC2 com um Outpost ID neste formato: op-123456789.

  6. Escolha o tipo de instância ou adicione volumes de armazenamento do Amazon EBS aos grupos de instâncias uniformes ou frotas de instâncias. Os tipos limitados de volumes e instâncias do Amazon EBS são compatíveis com o Amazon EMR no AWS Outposts.

CLI
Para criar um cluster AWS Outposts com o AWS CLI
  • Para criar um novo cluster do Amazon EMR AWS Outposts com o AWS CLI, especifique uma sub-rede EC2 associada ao seu Outpost, como no exemplo a seguir. Substitua a sub-net-22xxxx01 pelo seu próprio ID de sub-rede do Amazon EC2.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.1.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles