Configurar um VPC para hospedar clusters

Antes de iniciar clusters em umVPC, você deve criar uma VPC e uma sub-rede. Para sub-redes públicas, é necessário criar um gateway da Internet e anexá-lo à sub-rede. As instruções a seguir descrevem como criar um sistema VPC capaz de hospedar EMR clusters da Amazon.

Para criar um VPC com sub-redes para um cluster da Amazon EMR

1. Abra o VPC console da Amazon em https://console.aws.amazon.com/vpc/.

2. No canto superior direito da página, escolha a Região da AWSpara o seuVPC.

3. Escolha Criar VPC.

4. Na página de VPCconfigurações, escolha VPCe muito mais.

5. Em Geração automática de etiquetas de nome, habilite Geração automática e insira um nome para sua. VPC Isso ajuda você a identificar a sub-rede VPC e no VPC console da Amazon depois de criá-la.

6. No campo de IPv4CIDRbloqueio, insira um espaço de endereço IP privado VPC para garantir a resolução adequada do DNS nome do host; caso contrário, você poderá enfrentar falhas no EMR cluster da Amazon. Isso inclui os seguintes intervalos de endereços IP:

   • 10.0.0.0 - 10.255.255.255

   • 172.16.0.0 - 172.31.255.255

   • 192.168.0.0 - 192.168.255.255

7. Em Número de zonas de disponibilidade (AZs), escolha o número de zonas de disponibilidade nas quais você deseja iniciar suas sub-redes.

8. Em Número de sub-redes públicas, escolha uma única sub-rede pública para adicionar à sua. VPC Se os dados usados pelo cluster estiverem disponíveis na Internet (por exemplo, no Amazon S3 ou na AmazonRDS), você só precisará usar uma sub-rede pública e não precisará adicionar uma sub-rede privada.

9. Em Número de sub-redes privadas, escolha o número de sub-redes privadas que você deseja adicionar à sua. VPC Selecione um ou mais se os dados da aplicação estiverem armazenados em sua própria rede (por exemplo, em um banco de dados Oracle). Para uma VPC sub-rede privada, todas as EC2 instâncias da Amazon devem ter, no mínimo, uma rota para a Amazon EMR por meio da interface de rede elástica. No console, isso é configurado automaticamente para você.

10. Em NATgateways, opcionalmente, escolha adicionar NAT gateways. Eles só são necessários se houver sub-redes privadas que precisam se comunicar com a Internet.

11. Em VPCendpoints, opcionalmente, escolha adicionar endpoints do Amazon S3 às suas sub-redes.

12. Verifique se Habilitar DNS nomes de host e Ativar DNS resolução estão marcadas. Para obter mais informações, consulte Usando DNS com seu VPC.

13. Escolha Criar VPC.

14. Uma janela de status mostra o trabalho em andamento. Quando o trabalho for concluído, escolha Exibir VPC para navegar até a VPCs página Sua, que exibe seu padrão VPC e o VPC que você acabou de criar. O VPC que você criou não é padrãoVPC, portanto, a VPC coluna Padrão exibe Não.

15. Se você quiser associar seu VPC a uma DNS entrada que não inclui um nome de domínio, navegue até conjuntos de DHCP opções, escolha Criar conjunto de DHCP opções e omita um nome de domínio. Depois de criar seu conjunto de opções, navegue até o novoVPC, escolha Editar conjunto de DHCP opções no menu Ações e selecione o novo conjunto de opções. Você não pode editar o nome de domínio usando o console após a criação do conjunto de DNS opções.

    É uma prática recomendada com o Hadoop e aplicativos relacionados garantir a resolução do nome de domínio totalmente qualificado (FQDN) para os nós. Para garantir a DNS resolução adequada, configure uma VPC que inclua um conjunto de DHCP opções cujos parâmetros sejam definidos com os seguintes valores:

    • domain-name = ec2.internal

      Use ec2.internal, se a região for Leste dos EUA (Norte da Virgínia). Para outras regiões, use region-name.compute.internal. Para exemplos emus-west-2, useus-west-2.compute.internal. Para o AWS GovCloud Região (Oeste dos EUA), useus-gov-west-1.compute.internal.

    • domain-name-servers = AmazonProvidedDNS

    Para obter mais informações, consulte os conjuntos de DHCP opções no Guia VPC do usuário da Amazon.

16. Depois que o VPC for criado, vá até a página Sub-redes e anote o ID da sub-rede de uma das sub-redes da sua nova. VPC Você usa essas informações ao iniciar o EMR cluster da Amazon noVPC.