Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configuration et création d'un cluster à l'aide de l'interface de ligne de AWS ParallelCluster commande
Après l'installation AWS ParallelCluster, effectuez les étapes de configuration suivantes.
Vérifiez que votre AWS compte possède un rôle qui inclut les autorisations nécessaires pour exécuter la pcluster CLI. Pour plus d’informations, consultez AWS ParallelCluster exemples de politiques pcluster utilisateur.
Configurez vos AWS informations d'identification. Pour plus d'informations, consultez Configuration de l' AWS CLI dans le Guide de l'utilisateur de l'AWS CLI .
$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:
L' Région AWS endroit où le cluster est lancé doit comporter au moins une paire de clés Amazon EC2. Pour plus d'informations, consultez Paires de clés Amazon EC2 dans le Guide de l'utilisateur Amazon EC2 pour les instances Linux.
Lorsque vous utilisez l'interface de ligne de AWS ParallelCluster commande (CLI), vous ne payez que pour les AWS ressources créées lorsque vous créez ou mettez à jour AWS ParallelCluster des images et des clusters. Pour plus d’informations, consultez AWSservices utilisés par AWS ParallelCluster.
Configurez et créez votre premier cluster
Créez votre premier cluster en utilisant la commande pcluster configure CLI pour lancer un assistant qui vous invite à saisir toutes les informations nécessaires à la configuration et à la création de votre cluster. Les détails de la séquence diffèrent lorsqu'elle est utilisée AWS Batch comme planificateur par rapport à son utilisation. Slurm
- Slurm
-
$ pcluster configure --config config-file.yaml
Dans la liste des Région AWS identifiants valides, choisissez l' Région AWS endroit où vous souhaitez que votre cluster s'exécute.
La liste des Régions AWS éléments affichés est basée sur la partition de votre compte et inclut uniquement Régions AWS les partitions activées pour votre compte. Pour plus d'informations sur Régions AWS l'activation de votre compte, consultez Gérer Régions AWS dans le Références générales AWS. L'exemple présenté provient de la partition AWS globale. Si votre compte se trouve dans la AWS GovCloud (US) partition, seule Régions AWS cette partition est répertoriée (gov-us-east-1etgov-us-west-1). De même, si votre compte se trouve dans la partition AWS Chine, uniquement cn-north-1 et cn-northwest-1 s'affiche. Pour la liste complète des produits Régions AWS pris en charge par AWS ParallelCluster, voirRégions prises en charge pour AWS ParallelCluster.
Allowed values for Région AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Région AWS ID [ap-northeast-1]:
La paire de clés est sélectionnée parmi les paires de clés enregistrées auprès d'Amazon EC2 dans le champ sélectionné. Région AWS Choisissez la paire de clés :
Allowed values for EC2 Key Pair Name:
1. your-key-1
2. your-key-2
EC2 Key Pair Name [your-key-1]:
Choisissez le planificateur à utiliser avec votre cluster.
Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:
Choisissez le système d'exploitation.
Allowed values for Operating System:
1. alinux2
2. centos7
3. ubuntu2204
4. ubuntu2004
5. rhel8
Operating System [alinux2]:
Choisissez le type d'instance du nœud principal :
Head node instance type [t2.micro]:
Choisissez la configuration de la file d'attente. Remarque : Le type d'instance ne peut pas être spécifié pour plusieurs ressources de calcul dans la même file d'attente.
Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:
Permettez à EFA d'exécuter des applications nécessitant des niveaux élevés de communication entre instances à grande échelle AWS , sans frais supplémentaires :
Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:
Une fois les étapes précédentes terminées, décidez d'utiliser un VPC existant ou de laisser AWS ParallelCluster créer un VPC pour vous. Si vous ne disposez pas d'un VPC correctement configuré, vous AWS ParallelCluster pouvez en créer un nouveau pour vous. Il place soit les nœuds de tête et de calcul dans le même sous-réseau public, soit uniquement le nœud principal dans un sous-réseau public avec tous les nœuds de calcul dans un sous-réseau privé. Si vous autorisez la AWS ParallelCluster création d'un VPC, vous devez décider si tous les nœuds doivent se trouver dans un sous-réseau public. Pour plus d’informations, consultez Configurations réseau.
Si vous configurez votre cluster pour utiliser des types d'instances dotés de plusieurs interfaces réseau ou d'une carte réseau, consultez Configurations réseau les exigences réseau supplémentaires.
Il est possible d'atteindre votre quota pour le nombre de VPC autorisés dans un Région AWS. Le quota par défaut est de cinq VPC pour un Région AWS. Pour plus d'informations sur ce quota et sur la manière de demander une augmentation, consultez la section VPC et sous-réseaux dans le guide de l'utilisateur Amazon VPC.
Les VPC créés par AWS ParallelCluster n'activent pas les journaux de flux VPC par défaut. Les journaux de flux VPC vous permettent de capturer des informations sur le trafic IP à destination et en provenance des interfaces réseau de vos VPC. Pour plus d’informations, consultez la rubrique Journaux de flux VPC dans le Guide de l’utilisateur Amazon VPC.
Si vous autorisez la AWS ParallelCluster création d'un VPC, assurez-vous de décider si tous les nœuds doivent se trouver dans un sous-réseau public.
Si vous le souhaitez1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster
crée une passerelle NAT qui entraîne des coûts supplémentaires, même si vous spécifiez des ressources de niveau gratuit.
Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized
Si vous ne créez pas de nouveau VPC, vous devez sélectionner un VPC existant.
Si vous choisissez de AWS ParallelCluster créer le VPC, notez l'ID du VPC afin de pouvoir l'utiliser AWS CLI pour le supprimer ultérieurement.
Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
# id name number_of_subnets
--- --------------------- --------------------------------- -------------------
1 vpc-0b4ad9c4678d3c7ad ParallelClusterVPC-20200118031893 2
2 vpc-0e87c753286f37eef ParallelClusterVPC-20191118233938 5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1
Une fois le VPC sélectionné, décidez si vous souhaitez utiliser des sous-réseaux existants ou en créer de nouveaux.
Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
- AWS Batch
-
$ pcluster configure --config config-file.yaml
Dans la liste des Région AWS identifiants valides, choisissez l' Région AWS endroit où vous souhaitez que votre cluster s'exécute.
La liste Régions AWS affichée est basée sur la partition de votre compte. Cela inclut uniquement Régions AWS ceux qui sont activés pour votre compte. Pour plus d'informations sur Régions AWS l'activation de votre compte, consultez Gérer Régions AWS dans le Références générales AWS. L'exemple présenté provient de la partition AWS globale. Si votre compte se trouve dans la AWS GovCloud (US) partition, seule Régions AWS cette partition est répertoriée (gov-us-east-1etgov-us-west-1). De même, si votre compte se trouve dans la partition AWS Chine, uniquement cn-north-1 et cn-northwest-1 s'affiche. Pour la liste complète des produits Régions AWS pris en charge par AWS ParallelCluster, voirRégions prises en charge pour AWS ParallelCluster.
Allowed values for Région AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Région AWS ID [us-east-1]:
La paire de clés est sélectionnée parmi les paires de clés enregistrées auprès d'Amazon EC2 dans le champ sélectionné. Région AWS Choisissez la paire de clés :
Allowed values for EC2 Key Pair Name:
1. your-key-1
2. your-key-2
EC2 Key Pair Name [your-key-1]:
Choisissez le planificateur à utiliser avec votre cluster.
Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2
Lorsque awsbatch est sélectionné comme planificateur, alinux2 est utilisé comme système d'exploitation. Le type d'instance du nœud principal est saisi :
Head node instance type [t2.micro]:
Choisissez la configuration de la file d'attente. Le AWS Batch planificateur ne contient qu'une seule file d'attente. La taille maximale du cluster de nœuds de calcul est saisie. Elles sont mesurées dans les vCPU.
Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:
Décidez si vous souhaitez utiliser des VPC existants ou laisser AWS ParallelCluster créer des VPC pour vous. Si vous n'avez pas de VPC correctement configuré, AWS ParallelCluster peut en créer un nouveau. Il utilise soit les nœuds de tête et de calcul du même sous-réseau public, soit uniquement le nœud principal d'un sous-réseau public avec tous les nœuds d'un sous-réseau privé. Il est possible d'atteindre votre quota en ce qui concerne le nombre de VPC autorisés dans une région. Le nombre par défaut de VPC est de cinq. Pour plus d'informations sur ce quota et sur la manière de demander une augmentation, consultez la section VPC et sous-réseaux dans le guide de l'utilisateur Amazon VPC.
Les VPC créés par AWS ParallelCluster n'activent pas les journaux de flux VPC par défaut. Les journaux de flux VPC vous permettent de capturer des informations sur le trafic IP à destination et en provenance des interfaces réseau de vos VPC. Pour plus d’informations, consultez la rubrique Journaux de flux VPC dans le Guide de l’utilisateur Amazon VPC.
Si vous autorisez la AWS ParallelCluster création d'un VPC, assurez-vous de décider si tous les nœuds doivent se trouver dans un sous-réseau public.
Si vous le souhaitez1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster
crée une passerelle NAT qui entraîne des coûts supplémentaires, même si vous spécifiez des ressources de niveau gratuit.
Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized
Si vous ne créez pas de nouveau VPC, vous devez sélectionner un VPC existant.
Si vous choisissez de AWS ParallelCluster créer le VPC, notez l'ID du VPC afin de pouvoir utiliser le AWS CLI ou AWS Management Console pour le supprimer ultérieurement.
Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
# id name number_of_subnets
--- --------------------- --------------------------------- -------------------
1 vpc-0b4ad9c4678d3c7ad ParallelClusterVPC-20200118031893 2
2 vpc-0e87c753286f37eef ParallelClusterVPC-20191118233938 5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1
Une fois le VPC sélectionné, assurez-vous de décider d'utiliser les sous-réseaux existants ou d'en créer de nouveaux.
Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
Lorsque vous avez terminé les étapes précédentes, un simple cluster est lancé dans un VPC. Le VPC utilise un sous-réseau existant qui prend en charge les adresses IP publiques. La table de routage pour le sous-réseau est0.0.0.0/0 => igw-xxxxxx. Notez les conditions suivantes :
-
Le VPC doit comporter les paramètres DNS Resolution = yes et DNS Hostnames = yes.
-
Le VPC doit également disposer d'options DHCP dont la valeur est correcte domain-name pour. Région AWS Le jeu d'options DHCP par défaut spécifie déjà le AmazonProvidedDNS requis. Si vous spécifiez plusieurs serveurs de noms de domaine, consultez les ensembles d'options DHCP dans le guide de l'utilisateur Amazon VPC. Lorsque vous utilisez des sous-réseaux privés, utilisez une passerelle NAT ou un proxy interne pour permettre l'accès Web aux nœuds de calcul. Pour plus d’informations, consultez Configurations réseau.
Une fois que tous les paramètres contiennent les valeurs valides, vous pouvez lancer le cluster en exécutant la commande create.
$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
"cluster": {
"clusterName": "test-cluster",
"cloudformationStackStatus": "CREATE_IN_PROGRESS",
"cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
"region": "eu-west-1",
"version": "3.7.0",
"clusterStatus": "CREATE_IN_PROGRESS"
},
"validationMessages": []
}
Suivez la progression du cluster :
$ pcluster describe-cluster --cluster-name test-cluster
or
$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'
Une fois que le cluster a atteint le "clusterStatus": "CREATE_COMPLETE" statut, vous pouvez vous y connecter en utilisant les paramètres habituels de votre client SSH. Pour plus d'informations sur la connexion aux instances Amazon EC2, consultez le guide de l'utilisateur EC2 dans le guide de l'utilisateur Amazon EC2. Vous pouvez également connecter le cluster via
$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem
Pour supprimer le cluster, exécutez la commande suivante.
$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster
Une fois le cluster supprimé, vous pouvez supprimer les ressources réseau du VPC en supprimant la pile CloudFormation réseau. Le nom de la pile commence par « parallelclusternetworking- » et contient l'heure de création au format « YYYYMMDDHHMMSS ». Vous pouvez répertorier les piles à l'aide de la list-stackscommande.
$ aws --region us-east-1 cloudformation list-stacks \
--stack-status-filter "CREATE_COMPLETE" \
--query "StackSummaries[].StackName" | \
grep -e "parallelclusternetworking-"
"parallelclusternetworking-pubpriv-20191029205804"
La pile peut être supprimée à l'aide de la delete-stackcommande.
$ aws --region us-east-1 cloudformation delete-stack \
--stack-name parallelclusternetworking-pubpriv-20191029205804
Le VPC qui pcluster configure crée pour vous n'est pas créé dans la pile CloudFormation réseau. Vous pouvez supprimer ce VPC manuellement dans la console ou à l'aide du. AWS CLI
$ aws --region us-east-1 ec2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad
