Criar um cluster com o AWS CloudFormation

PDFRSS

Saiba mais sobre como criar um cluster com um recurso personalizado. do AWS ParallelCluster CloudFormation. Para ter mais informações, consulte Recurso personalizado do AWS CloudFormation.

Ao usar o AWS ParallelCluster, você paga apenas pelos recursos AWS criados ao criar ou atualizar imagens e clusters AWS ParallelCluster. Para ter mais informações, consulte Serviços da AWS usados pelo AWS ParallelCluster.

Pré-requisitos:

• O AWS CLI está instalado e configurado.

• Um par de chaves do Amazon EC2.

• Um perfil do IAM com as permissões necessárias para executar a pcluster CLI.

Criação de clusters com uma pilha de criação rápida do CloudFormation

Neste tutorial, você usa uma pilha de criação rápida para implantar um modelo do CloudFormation que cria um cluster e os seguintes recursos da AWS:

• Uma pilha raiz do CloudFormation criada usando uma pilha de criação rápida do CloudFormation.

• Pilhas agrupadas do CloudFormation que incluem políticas padrão, configuração padrão de VPC e um provedor de recursos personalizado.

• Um exemplo de pilha de clusters AWS ParallelCluster e um cluster no qual você pode fazer login e executar trabalhos.

Criar um cluster com o AWS CloudFormation

1. Faça login no AWS Management Console.

2. Abra o link de criação rápida do CloudFormation para criar os seguintes recursos no console do CloudFormation:

   • Uma pilha agrupada do CloudFormation com uma VPC com uma sub-rede pública e privada para executar o nó principal do cluster e os nós de computação, respectivamente.

   • Uma pilha agrupada do CloudFormation com um recurso personalizado AWS ParallelCluster para gerenciar o cluster.

   • Uma pilha agrupada do CloudFormation com as políticas padrão para gerenciar o cluster.

   • Uma pilha raiz do CloudFormation para as pilhas agrupadas.

   • Um cluster AWS ParallelCluster com o programador Slurm e um número definido de nós de computação.

   

3. Na seção Parâmetros de pilha de criação rápida, insira valores para os seguintes parâmetros:

   1. Em KeyName, insira o nome do par de chaves do Amazon EC2.

   2. Para AvailabilityZone, escolha uma AZ para seus nós de cluster, por exemplo, us-east-1a.

4. Na parte inferior da página, marque as caixas de seleção que reconhecem cada um dos recursos de acesso.

5. Selecione Criar pilha.

6. Aguarde até que a pilha do CloudFormation alcance o estado CREATE_COMPLETE.

Criação de cluster com a interface de linha de comandos (CLI) AWS CloudFormation

Neste tutorial, você usa a interface de linha de comando (CLI) AWS do CloudFormation para implantar um modelo do CloudFormation que cria um cluster.

Crie os recursos da AWS a seguir:

• Uma pilha raiz do CloudFormation criada usando uma pilha de criação rápida do CloudFormation.

• Pilhas agrupadas do CloudFormation que incluem políticas padrão, configuração padrão de VPC e um provedor de recursos personalizado.

• Um exemplo de pilha de clusters AWS ParallelCluster e um cluster no qual você pode fazer login e executar trabalhos.

Substitua as entradas destacadas em vermelho, como keypair, por seus próprios valores.

Criar um cluster com o AWS CloudFormation

1. Crie um modelo do CloudFormation chamado cluster_template.yaml com o seguinte conteúdo:

   AWSTemplateFormatVersion: '2010-09-09'
   Description: >
     AWSParallelCluster CloudFormation Template
   
   Parameters:
     KeyName:
       Description: KeyPair to login to the head node
       Type: AWS::EC2::KeyPair::KeyName
   
     AvailabilityZone:
       Description: Availability zone where instances will be launched
       Type: AWS::EC2::AvailabilityZone::Name
       Default: us-east-2a
   
   Mappings:
     ParallelCluster:
       Constants:
         Version: 3.7.0
   
   Resources:
     PclusterClusterProvider:
       Type: AWS::CloudFormation::Stack
       Properties:
         TemplateURL: !Sub
           - https://${AWS::Region}-aws-parallelcluster.s3.${AWS::Region}.${AWS::URLSuffix}/parallelcluster/${Version}/templates/custom_resource/cluster.yaml
           - { Version: !FindInMap [ParallelCluster, Constants, Version] }
   
     PclusterVpc:
       Type: AWS::CloudFormation::Stack
       Properties:
         Parameters:
           PublicCIDR: 10.0.0.0/24
           PrivateCIDR: 10.0.16.0/20
           AvailabilityZone: !Ref AvailabilityZone
         TemplateURL: !Sub
           - https://${AWS::Region}-aws-parallelcluster.s3.${AWS::Region}.${AWS::URLSuffix}/parallelcluster/${Version}/templates/networking/public-private-${Version}.cfn.json
           - { Version: !FindInMap [ParallelCluster, Constants, Version ] }
   
     PclusterCluster:
       Type: Custom::PclusterCluster
       Properties:
         ServiceToken: !GetAtt [ PclusterClusterProvider , Outputs.ServiceToken ]
         ClusterName: !Sub 'c-${AWS::StackName}'
         ClusterConfiguration:
           Image:
             Os: alinux2
           HeadNode:
             InstanceType: t2.medium
             Networking:
               SubnetId: !GetAtt [ PclusterVpc , Outputs.PublicSubnetId ]
             Ssh:
               KeyName: !Ref KeyName
           Scheduling:
             Scheduler: slurm
             SlurmQueues:
             - Name: queue0
               ComputeResources:
               - Name: queue0-cr0
                 InstanceType: t2.micro
               Networking:
                 SubnetIds:
                 -  !GetAtt [ PclusterVpc , Outputs.PrivateSubnetId ]
   Outputs:
     HeadNodeIp:
       Description: The Public IP address of the HeadNode
       Value: !GetAtt [ PclusterCluster, headNode.publicIpAddress ]

2. Execute o comando da CLI AWS a seguir para implantar a pilha do CloudFormation para criação e gerenciamento do cluster.

   $ aws cloudformation deploy --template-file ./cluster_template.yaml \
     --stack-name mycluster \
     --parameter-overrides KeyName=keypair \
                           AvailabilityZone=us-east-2b \
     --capabilities CAPABILITY_NAMED_IAM CAPABILITY_AUTO_EXPAND

Veja a saída do cluster CloudFormation

Veja a saída do cluster do CloudFormation para obter detalhes úteis do cluster. A propriedade ValidationMessages adicionada fornece acesso às mensagens de validação das operações de criação e atualização do cluster.

1. Navegue até o console do CloudFormation e selecione a pilha que inclui seu recurso personalizado AWS ParallelCluster.

2. Escolha Detalhes da pilha e selecione a guia Saídas.

   

   As mensagens de validação poderão estar truncadas. Para obter mais informações sobre recuperação de logs, consulte Solução de problemas do AWS ParallelCluster.

Acessar seu cluster

Acessar o cluster.

ssh no nó principal do cluster

1. Depois que a implantação da pilha do CloudFormation for concluída, obtenha o endereço IP do nó principal com o seguinte comando:

   $ HEAD_NODE_IP=$(aws cloudformation describe-stacks --stack-name=mycluster --query "Stacks|[0].Outputs[?OutputKey=='HeadNodeIp']|[0].OutputValue" --output=text)

   Você também pode recuperar o endereço IP do nó principal a partir do parâmetro HeadNodeIp na guia Saídas da pilha de clusters no console do CloudFormation.

   Você pode encontrar o endereço IP do nó principal aqui porque ele foi adicionado na seção Outputs do modelo de cluster CloudFormation, especificamente para este exemplo de cluster.

2. Conecte-se ao nó principal do cluster executando o comando a seguir:

   $ ssh -i keyname.pem ec2-user@$HEAD_NODE_IP

Limpeza

Excluir o cluster.

1. Execute o comando da CLI AWS a seguir para excluir a pilha e o cluster do CloudFormation.

   $ aws cloudformation delete-stack --stack-name=mycluster

2. Verifique o status de exclusão da pilha executando o seguinte comando.

   $ aws cloudformation describe-stacks --stack-name=mycluster