EMRclusters em AWS Outposts - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

EMRclusters em AWS Outposts

A partir do Amazon EMR 5.28.0, você pode criar e executar EMR clusters no. AWS Outposts AWS Outposts habilita AWS serviços, infraestrutura e modelos operacionais nativos em instalações locais. Em AWS Outposts ambientes, você pode usar as mesmas AWS APIs ferramentas e infraestrutura que usa na AWS nuvem. O Amazon EMR on AWS Outposts é ideal para cargas de trabalho de baixa latência que precisam ser executadas nas proximidades de dados e aplicativos locais. Para obter mais informações sobre AWS Outposts, consulte o Guia AWS Outposts do usuário.

Pré-requisitos

A seguir estão os pré-requisitos para usar a Amazon em: EMR AWS Outposts

  • Você deve ter instalado e configurado AWS Outposts em seu data center local.

  • Você deve ter uma conexão de rede confiável entre seu ambiente Outpost e uma AWS região.

  • Você deve ter capacidade suficiente para os tipos de instância EMR suportados pela Amazon disponíveis em seu Outpost.

Limitações

A seguir estão as limitações do uso da Amazon EMR em AWS Outposts:

  • As instâncias sob demanda são a única opção compatível com as EC2 instâncias da Amazon. As instâncias spot não estão disponíveis para a Amazon EMR em AWS Outposts.

  • Se você precisar de volumes adicionais EBS de armazenamento da Amazon, somente o General Purpose SSD (GP2) é suportado.

  • Quando você usa AWS Outposts com as EMR versões 5.28 a 6.x da Amazon, você só pode usar buckets do S3 que armazenam objetos em um Região da AWS que você especificar. Com o Amazon EMR 7.0.0 e superior, o Amazon EMR on também AWS Outposts é compatível com o S3A cliente do sistema de arquivos, prefixo. s3a://

  • Somente os seguintes tipos de instância são compatíveis com a Amazon EMR em AWS Outposts:

    Classe de instância Tipos de instância
    Propósito geral

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Otimizada para computação

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    Otimizada para memória

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Otimizada para armazenamento

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Considerações sobre a conectividade de rede

  • Se a conectividade de rede entre seu Posto Avançado e sua AWS região for perdida, seus clusters continuarão funcionando. No entanto, você não pode criar novos clusters ou executar novas ações em clusters existentes enquanto que a conectividade não for restaurada. Em caso de falhas na instância, a instância não será substituída automaticamente. Além disso, ações como adicionar etapas a um cluster em execução, verificar o status de execução das etapas e enviar CloudWatch métricas e eventos serão adiadas.

  • Recomendamos que você forneça conectividade de rede confiável e altamente disponível entre seu Posto Avançado e a AWS Região. Se a conectividade de rede entre seu Posto Avançado e sua AWS região for perdida por mais de algumas horas, os clusters que ativaram a proteção de encerramento continuarão funcionando e os clusters que desativaram a proteção de encerramento poderão ser encerrados.

  • Se a conectividade da rede for afetada por uma manutenção de rotina, recomendamos que a proteção contra encerramento seja ativada proativamente. De modo geral, a interrupção da conectividade significa que quaisquer dependências externas que não sejam locais para a rede do cliente ou o para Outpost ficarão inacessíveis. Isso inclui Amazon S3, DynamoDB usado com EMRFS visualização de consistência e Amazon se uma instância na região RDS for usada para um cluster da Amazon com vários nós primários. EMR

Criação de um EMR cluster da Amazon em AWS Outposts

Criar um EMR cluster da Amazon no AWS Outposts é semelhante à criação de um EMR cluster da Amazon na AWS nuvem. Ao criar um EMR cluster da Amazon no AWS Outposts, você deve especificar uma EC2 sub-rede da Amazon associada ao seu Outpost.

Uma Amazon VPC pode abranger todas as zonas de disponibilidade em uma AWS região. AWS Outposts são extensões das zonas de disponibilidade, e você pode estender uma conta Amazon VPC em uma conta para abranger várias zonas de disponibilidade e locais associados do Outpost. Ao configurar seu Outpost, você associa uma sub-rede a ele para estender seu VPC ambiente regional às suas instalações locais. As instâncias do Outpost e os serviços relacionados aparecem como parte de sua regiãoVPC, semelhante a uma zona de disponibilidade com sub-redes associadas. Para obter mais informações, consulte o Guia do usuário do AWS Outposts.

Console

Para criar um novo EMR cluster da Amazon AWS Outposts com o AWS Management Console, especifique uma EC2 sub-rede da Amazon associada ao seu Outpost.

Console
Para criar um cluster AWS Outposts com o console
  1. Faça login no e abra AWS Management Console o EMR console da Amazon em https://console.aws.amazon.com/emr.

  2. EC2Em EMRAtivado, no painel de navegação esquerdo, escolha Clusters e, em seguida, escolha Criar cluster.

  3. Em Configuração do cluster, selecione Grupos de instâncias ou Frotas de instâncias. Em seguida, escolha um tipo de instância no menu suspenso Escolher tipo de EC2 instância ou selecione Ações e escolha Adicionar EBS volumes. O Amazon EMR on AWS Outposts oferece suporte a tipos limitados EBS de volume e instância da Amazon.

  4. Em Rede, selecione uma EC2 sub-rede com um Outpost ID neste formato: op-123456789.

  5. Escolha qualquer outra opção que se aplique ao cluster.

  6. Para iniciar o cluster, escolha Criar cluster.

CLI
Para criar um cluster AWS Outposts com o AWS CLI
  • Para criar um novo EMR cluster da Amazon AWS Outposts com o AWS CLI, especifique uma EC2 sub-rede associada ao seu Outpost, como no exemplo a seguir. subnet-22XXXX01Substitua por seu próprio ID de EC2 sub-rede da Amazon.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.5.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles