As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Configure e crie um cluster com a interface de linha de AWS ParallelCluster comando
Depois de instalar AWS ParallelCluster, conclua as etapas de configuração a seguir.
Verifique se sua AWS conta tem uma função que inclui as permissões necessárias para executar a pcluster CLI. Para ter mais informações, consulte AWS ParallelCluster exemplo de políticas pcluster de usuário.
Configure suas AWS credenciais. Para obter mais informações, consulte Configurar a AWS CLI no Guia do usuário da AWS CLI .
$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:
O Região da AWS local em que o cluster é lançado deve ter pelo menos um par de chaves do Amazon EC2. Para obter mais informações, consulte Pares de chaves do Amazon EC2 no Guia do usuário do Amazon EC2 para instâncias do Linux.
Ao usar a interface de linha de AWS ParallelCluster comando (CLI), você paga somente pelos AWS recursos criados ao criar ou atualizar AWS ParallelCluster imagens e clusters. Para ter mais informações, consulte Serviços AWS usados por AWS ParallelCluster.
Criar e configurar seu primeiro cluster
Crie seu primeiro cluster usando o comando CLI pcluster configure para iniciar um assistente que solicita todas as informações necessárias para configurar e criar seu cluster. Os detalhes da sequência diferem quando usada AWS Batch como programador em comparação com a utilizaçãoSlurm.
- Slurm
-
$ pcluster configure --config config-file.yaml
Na lista de Região da AWS identificadores válidos, escolha Região da AWS onde você deseja que seu cluster seja executado.
A lista Regiões da AWS exibida é baseada na partição da sua conta e inclui apenas as Regiões da AWS que estão habilitadas para sua conta. Para obter mais informações sobre como ativar Regiões da AWS sua conta, consulte Gerenciando Regiões da AWS no Referência geral da AWS. O exemplo mostrado é da partição AWS global. Se sua conta estiver na AWS GovCloud (US) partição, somente Regiões da AWS nessa partição serão listadas (gov-us-east-1egov-us-west-1). Da mesma forma, se sua conta estiver na partição AWS da China, somente cn-north-1 e cn-northwest-1 serão mostradas. Para obter a lista completa dos Regiões da AWS produtos suportados por AWS ParallelCluster, consulteRegiões compatíveis do AWS ParallelCluster.
Allowed values for Região da AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Região da AWS ID [ap-northeast-1]:
O par de chaves é selecionado a partir dos pares de chaves registrados com o Amazon EC2 na Região da AWS selecionada. Escolha o par de chaves:
Allowed values for EC2 Key Pair Name:
1. your-key-1
2. your-key-2
EC2 Key Pair Name [your-key-1]:
Escolha o programador a ser usado com seu cluster.
Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:
Escolha o sistema operacional.
Allowed values for Operating System:
1. alinux2
2. centos7
3. ubuntu2204
4. ubuntu2004
5. rhel8
Operating System [alinux2]:
Escolha o tipo de instância do nó principal:
Head node instance type [t2.micro]:
Escolha a configuração da fila. Observação: o tipo de instância não pode ser especificado para vários recursos de computação na mesma fila.
Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:
Permita que o EFA execute aplicativos que exigem altos níveis de comunicação entre instâncias em grande escala, sem AWS custo adicional:
Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:
Depois que as etapas anteriores forem concluídas, decida se quer usar uma VPC existente ou AWS ParallelCluster criar uma VPC para você. Se você não tiver uma VPC configurada corretamente, AWS ParallelCluster poderá criar uma nova para você. Ela coloca os nós principais e de computação na mesma sub-rede pública ou somente o nó principal em uma sub-rede pública com todos os nós de computação em uma sub-rede privada. Se você permitir a AWS ParallelCluster criação de uma VPC, deverá decidir se todos os nós devem estar em uma sub-rede pública. Para ter mais informações, consulte Configurações de rede.
Se você configurar seu cluster para usar tipos de instância que tenham várias interfaces de rede ou uma placa de rede, consulte Configurações de rede para obter mais requisitos de rede.
É possível atingir sua cota para o número de VPCs permitido em uma Região da AWS. A cota padrão é de cinco VPCs para uma Região da AWS. Para obter mais informações sobre essa cota e como solicitar um aumento, consulte VPC e sub-redes no Guia de usuário do Amazon VPC.
As VPCs criadas por AWS ParallelCluster não habilitam os registros de fluxo de VPC por padrão. Os logs de fluxo da VPC permitem capturar informações sobre tráfego IP de entrada e de saída nas interfaces de rede de seus VPCs. Para obter mais informações, consulte Logs de fluxo da VPC no Guia do usuário do Amazon Virtual Private Cloud.
Se você deixar AWS ParallelCluster criar uma VPC, certifique-se de decidir se todos os nós devem estar em uma sub-rede pública.
Se você escolher 1. Head node in a public subnet and compute fleet in a private subnet, o AWS ParallelCluster
cria um gateway NAT que resulta em custo adicional, mesmo se você especificar recursos de nível gratuito.
Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized
Se você não criar uma nova VPC, você deverá selecionar uma VPC existente.
Se você optar por AWS ParallelCluster criar a VPC, anote a ID da VPC para poder usá-la para excluí-la posteriormente AWS CLI .
Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
# id name number_of_subnets
--- --------------------- --------------------------------- -------------------
1 vpc-0b4ad9c4678d3c7ad ParallelClusterVPC-20200118031893 2
2 vpc-0e87c753286f37eef ParallelClusterVPC-20191118233938 5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1
Depois de selecionar a VPC, decida se deseja usar sub-redes existentes ou criar novas.
Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
- AWS Batch
-
$ pcluster configure --config config-file.yaml
Na lista de Região da AWS identificadores válidos, escolha Região da AWS onde você deseja que seu cluster seja executado.
A lista Regiões da AWS exibida é baseada na partição da sua conta. Inclui apenas os Regiões da AWS que estão habilitados para sua conta. Para obter mais informações sobre como ativar Regiões da AWS sua conta, consulte Gerenciando Regiões da AWS no Referência geral da AWS. O exemplo mostrado é da partição AWS global. Se sua conta estiver na AWS GovCloud (US) partição, somente Regiões da AWS nessa partição serão listadas (gov-us-east-1egov-us-west-1). Da mesma forma, se sua conta estiver na partição AWS da China, somente cn-north-1 e cn-northwest-1 serão mostradas. Para obter a lista completa dos Regiões da AWS produtos suportados por AWS ParallelCluster, consulteRegiões compatíveis do AWS ParallelCluster.
Allowed values for Região da AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Região da AWS ID [us-east-1]:
O par de chaves é selecionado a partir dos pares de chaves registrados com o Amazon EC2 na Região da AWS selecionada. Escolha o par de chaves:
Allowed values for EC2 Key Pair Name:
1. your-key-1
2. your-key-2
EC2 Key Pair Name [your-key-1]:
Escolha o programador a ser usado com seu cluster.
Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2
Quando awsbatch é selecionado como o programador, alinux2 é usado como o sistema operacional. O tipo de instância do nó principal é inserido.
Head node instance type [t2.micro]:
Escolha a configuração da fila. O AWS Batch agendador contém apenas uma única fila. O tamanho máximo do cluster de nós de computação é inserido. Isso é medido em vCPUs.
Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:
Decida se quer usar VPCs existentes ou deixar AWS ParallelCluster criar VPCs para você. Se você não tiver uma VPC configurada corretamente, o AWS ParallelCluster poderá criar uma nova. Ela usa os nós principais e de computação na mesma sub-rede pública ou somente o nó principal em uma sub-rede pública com todos os nós em uma sub-rede privada. É possível atingir sua cota para o número de VPCs permitido em uma Região. O número padrão de VPCs é cinco. Para obter mais informações sobre essa cota e como solicitar um aumento, consulte VPC e sub-redes no Guia de usuário do Amazon VPC.
As VPCs criadas por AWS ParallelCluster não habilitam os registros de fluxo de VPC por padrão. Os logs de fluxo da VPC permitem capturar informações sobre tráfego IP de entrada e de saída nas interfaces de rede de seus VPCs. Para obter mais informações, consulte Logs de fluxo da VPC no Guia do usuário do Amazon Virtual Private Cloud.
Se você deixar AWS ParallelCluster criar uma VPC, certifique-se de decidir se todos os nós devem estar em uma sub-rede pública.
Se você escolher 1. Head node in a public subnet and compute fleet in a private subnet, o AWS ParallelCluster
cria um gateway NAT que resulta em custo adicional, mesmo se você especificar recursos de nível gratuito.
Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized
Se você não criar uma nova VPC, você deverá selecionar uma VPC existente.
Se você optar por AWS ParallelCluster criar a VPC, anote a ID da VPC para poder usá-la AWS CLI ou AWS Management Console excluí-la posteriormente.
Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
# id name number_of_subnets
--- --------------------- --------------------------------- -------------------
1 vpc-0b4ad9c4678d3c7ad ParallelClusterVPC-20200118031893 2
2 vpc-0e87c753286f37eef ParallelClusterVPC-20191118233938 5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1
Depois de selecionar a VPC, confirme a decisão entre usar sub-redes existentes ou criar novas.
Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
Depois de concluir as etapas anteriores, um cluster simples é iniciado em uma VPC. A VPC usa uma sub-rede existente que oferece suporte a endereços IP públicos. A tabela de rotas para a sub-rede é 0.0.0.0/0 => igw-xxxxxx. Atenção às condições a seguir:
-
A VPC deve ter DNS Resolution = yes e DNS Hostnames = yes.
-
A VPC também deve ter opções DHCP com o domain-name correto para a Região da AWS. O conjunto de opções DHCP padrão já especifica o AmazonProvidedDNS necessário. Se estiver especificando mais de um servidor de nomes de domínio, consulte Conjuntos de opções DHCP no Amazon VPC User Guide. Ao usar sub-redes privadas, use um gateway NAT ou um proxy interno para permitir o acesso à web para nós de computação. Para ter mais informações, consulte Configurações de rede.
Quando todas as configurações tiverem valores válidos, você poderá inicializar o cluster executando o comando de criação.
$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
"cluster": {
"clusterName": "test-cluster",
"cloudformationStackStatus": "CREATE_IN_PROGRESS",
"cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
"region": "eu-west-1",
"version": "3.7.0",
"clusterStatus": "CREATE_IN_PROGRESS"
},
"validationMessages": []
}
Acompanhe o progresso do cluster:
$ pcluster describe-cluster --cluster-name test-cluster
ou
$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'
Quando o cluster atingir o status "clusterStatus": "CREATE_COMPLETE", você poderá se conectar a ele usando as configurações normais de cliente SSH. Para obter mais informações sobre a conexão com instâncias do Amazon EC2, consulte o Guia do usuário do EC2 no Guia do usuário do Amazon EC2. Ou você pode conectar o cluster por meio de
$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem
Para excluir o cluster, execute o comando a seguir.
$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster
Depois que o cluster for excluído, você poderá excluir os recursos de rede na VPC excluindo a CloudFormation pilha de rede. O nome da pilha começa com "parallelclusternetworking-" e contém a hora de criação no formato "YYYYMMDDHHMMSS". Você pode listar as pilhas usando o comando list-stacks.
$ aws --region us-east-1 cloudformation list-stacks \
--stack-status-filter "CREATE_COMPLETE" \
--query "StackSummaries[].StackName" | \
grep -e "parallelclusternetworking-"
"parallelclusternetworking-pubpriv-20191029205804"
A pilha pode ser excluída usando o comando delete-stack.
$ aws --region us-east-1 cloudformation delete-stack \
--stack-name parallelclusternetworking-pubpriv-20191029205804
A VPC que pcluster configure cria para você não é criada na pilha de CloudFormation rede. Você pode excluir essa VPC manualmente no console ou usando a AWS CLI.
$ aws --region us-east-1 ec2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad
