AWS ParallelCluster 명령줄 인터페이스를 사용하여 클러스터 구성 및 생성 - AWS ParallelCluster
첫 번째 클러스터 구성 및 생성

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AWS ParallelCluster 명령줄 인터페이스를 사용하여 클러스터 구성 및 생성

설치 후 다음 구성 단계를 AWS ParallelCluster완료합니다.

AWS 계정에 pcluster CLI를 실행하는 데 필요한 권한이 포함된 역할이 있는지 확인합니다. 자세한 내용은 pcluster 사용자 정책의 AWS ParallelCluster 예제 단원을 참조하십시오.

AWS 자격 증명을 설정합니다. 자세한 내용은AWS CLI 사용 설명서의 AWS CLI구성을 참조하세요.

$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:

클러스터가 시작 AWS 리전 되는 에는 Amazon EC2 키 페어가 하나 이상 있어야 합니다. 자세한 내용은 Linux 인스턴스용 Amazon Elastic Compute Cloud 사용 설명서의 Amazon EC2 키 페어를 참조하십시오.

AWS ParallelCluster 명령줄 인터페이스(CLI)를 사용하는 경우 AWS ParallelCluster 이미지 및 클러스터를 생성하거나 업데이트할 때 생성된 AWS 리소스에 대해서만 비용을 지불합니다. 자세한 내용은 AWS ParallelCluster가 사용하는 AWS 서비스 단원을 참조하십시오.

첫 번째 클러스터 구성 및 생성

pcluster configure CLI 명령을 사용하여 클러스터를 구성하고 생성하는 데 필요한 모든 정보를 입력하라는 메시지를 표시하는 마법사를 시작하여 첫 번째 클러스터를 생성합니다. 시퀀스의 세부 정보는를 스케줄러 AWS Batch 로 사용할 때와를 사용할 때 서로 다릅니다Slurm.

Slurm
$  pcluster configure --config config-file.yaml

유효한 AWS 리전 식별자 목록에서 클러스터를 실행할 AWS 리전 을 선택합니다.

참고

AWS 리전 표시된 목록은 계정의 파티션을 기반으로 하며 계정에 대해 AWS 리전 활성화된 만 포함합니다. 계정 활성화에 AWS 리전 대한 자세한 내용은의 관리를 AWS 리전 참조하세요AWS 일반 참조. 표시된 예제는 AWS 글로벌 파티션의 예제입니다. 계정이 AWS GovCloud (US) 파티션에 있는 경우 해당 파티션 AWS 리전 에만 ( 및 )가 나열gov-us-east-1됩니다gov-us-west-1. 마찬가지로 계정이 AWS 중국 파티션에 있는 경우 cn-north-1 및 만 cn-northwest-1 표시됩니다. 에서 AWS 리전 지원하는 전체 목록은 섹션을 AWS ParallelCluster참조하세요AWS ParallelCluster 지원 리전.

Allowed values for AWS 리전 ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
AWS 리전 ID [ap-northeast-1]:

키 페어는 선택한 AWS 리전에서 Amazon Elastic Compute Cloud로 등록된 키 페어 중에 선택됩니다. 키 페어 선택:

Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

클러스터와 함께 사용할 스케줄러를 선택합니다.

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:

운영 체제를 선택합니다.

Allowed values for Operating System:
1. alinux2
2. ubuntu2204
3. ubuntu2004
4. rhel8
Operating System [alinux2]:

헤드 노드 인스턴스 유형 선택:

Head node instance type [t2.micro]:

대기열 구성을 선택합니다. 참고: 동일한 대기열에 있는 여러 컴퓨팅 리소스에 대해서는 인스턴스 유형을 지정할 수 없습니다.

Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:

EFA가 추가 비용 없이 대규모로 높은 수준의 인스턴스 간 통신이 필요한 애플리케이션을 실행할 AWS 수 있도록 합니다.

Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:

이전 단계를 완료한 후 기존 VPC를 사용할지 아니면 VPC를 AWS ParallelCluster 생성할지 결정합니다. 제대로 구성된 VPC가 없는 경우에서 새 VPC를 AWS ParallelCluster 생성할 수 있습니다. 동일한 퍼블릭 서브넷의 헤드 및 컴퓨팅 노드를 모두 배치하거나 헤드 노드만 퍼블릿 서브넷에 배치하고 모든 컴퓨팅 노드는 프라비잇 서브넷에 둡니다. VPC를 AWS ParallelCluster 생성하도록 허용하는 경우 모든 노드가 퍼블릭 서브넷에 있는지 결정해야 합니다. 자세한 내용은 네트워크 구성 단원을 참조하십시오.

여러 네트워크 인터페이스 또는 네트워크 카드가 있는 인스턴스 유형을 사용하도록 클러스터를 구성하는 경우 추가 네트워킹 요구 사항은 네트워크 구성을 참조하세요.

AWS 리전에 허용되는 VPC 수의 할당량에 도달할 수 있습니다. 기본 할당량은 AWS 리전 1개당 VPC 5개입니다. 이 할당량 및 증가 요청 방법에 대한 자세한 내용은 Amazon VPC 사용 설명서의 VPC 및 서브넷을 참조하세요.

중요

에서 생성한 VPCs 기본적으로 VPC 흐름 로그를 활성화하지 AWS ParallelCluster 않습니다. VPC 흐름 로그를 사용하여 VPC의 네트워크 인터페이스에서 송수신되는 IP 트래픽에 대한 정보를 캡처할 수 있습니다. 자세한 내용은 Amazon VPC 사용 설명서의 VPC 흐름 로그를 참조하세요.

VPC를 AWS ParallelCluster 생성하도록 허용하는 경우 모든 노드가 퍼블릭 서브넷에 있는지 여부를 결정해야 합니다.

참고

1. Head node in a public subnet and compute fleet in a private subnet 항목을 선택하면 AWS ParallelCluster 항목은 프리 티어 리소스를 지정하더라도 추가 비용이 발생하는 NAT 게이트웨이를 생성합니다.

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

새 VPC를 생성하지 않는 경우 기존 VPC를 선택해야 합니다.

VPC를 AWS ParallelCluster 생성하도록 선택한 경우 나중에를 사용하여 삭제할 수 있도록 VPC ID AWS CLI 를 기록해 둡니다.

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

VPC를 선택한 후 기존 서브넷을 사용할지 아니면 새 서브넷을 생성할지를 결정합니다.

Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
AWS Batch
$  pcluster configure --config config-file.yaml

유효한 AWS 리전 식별자 목록에서 클러스터를 실행할 AWS 리전 을 선택합니다.

참고

AWS 리전 표시된 목록은 계정의 파티션을 기반으로 합니다. 계정에 대해 AWS 리전 활성화된 만 포함됩니다. 계정 활성화에 AWS 리전 대한 자세한 내용은의 관리를 AWS 리전 참조하세요AWS 일반 참조. 표시된 예제는 AWS 글로벌 파티션의 예제입니다. 계정이 AWS GovCloud (US) 파티션에 있는 경우 해당 파티션 AWS 리전 에만 ( 및 )가 나열gov-us-east-1됩니다gov-us-west-1. 마찬가지로 계정이 AWS 중국 파티션에 있는 경우 cn-north-1 및 만 cn-northwest-1 표시됩니다. 에서 AWS 리전 지원하는 전체 목록은 섹션을 AWS ParallelCluster참조하세요AWS ParallelCluster 지원 리전.

Allowed values for AWS 리전 ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
AWS 리전 ID [us-east-1]:

키 페어는 선택한 AWS 리전에서 Amazon EC2로 등록된 키 페어 중에 선택됩니다. 키 페어 선택:

Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

클러스터와 함께 사용할 스케줄러를 선택합니다.

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2

awsbatch을 스케줄러로 선택한 경우 alinux2가 운영 체제로 사용됩니다. 헤드 노드 인스턴스 유형이 입력됩니다.

Head node instance type [t2.micro]:

대기열 구성을 선택합니다. AWS Batch 스케줄러에는 단일 대기열만 포함됩니다. 컴퓨팅 노드 클러스터의 최대 크기가 입력됩니다. 이 값은 vCPU에서 측정됩니다.

Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:

기존 VPCs 아니면 VPCs를 AWS ParallelCluster 생성할지 결정합니다. 제대로 구성된 VPC가 없는 경우 AWS ParallelCluster 에서 새 VPC를 생성할 수 있습니다. 동일한 퍼블릭 서브넷의 헤드 및 컴퓨팅 노드를 모두 사용하거나 모든 노드가 프라이빗 서브넷에 있는 퍼블릭 서브넷의 헤드 노드만 사용합니다. 하나의 리전에 허용되는 VPC 수의 할당량에 도달할 수 있습니다. 기본 VPC 수는 5개입니다. 이 할당량 및 증가 요청 방법에 대한 자세한 내용은 Amazon VPC 사용 설명서의 VPC 및 서브넷을 참조하세요.

중요

에서 생성한 VPCs 기본적으로 VPC 흐름 로그를 활성화하지 AWS ParallelCluster 않습니다. VPC 흐름 로그를 사용하여 VPC의 네트워크 인터페이스에서 송수신되는 IP 트래픽에 대한 정보를 캡처할 수 있습니다. 자세한 내용은 Amazon VPC 사용 설명서의 VPC 흐름 로그를 참조하세요.

VPC를 AWS ParallelCluster 생성하도록 허용하는 경우 모든 노드가 퍼블릭 서브넷에 있는지 여부를 결정해야 합니다.

참고

1. Head node in a public subnet and compute fleet in a private subnet 항목을 선택하면 AWS ParallelCluster 항목은 프리 티어 리소스를 지정하더라도 추가 비용이 발생하는 NAT 게이트웨이를 생성합니다.

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

새 VPC를 생성하지 않는 경우 기존 VPC를 선택해야 합니다.

VPC를 AWS ParallelCluster 생성하도록 선택한 경우 나중에 AWS CLI 또는를 사용하여 AWS Management Console 삭제할 수 있도록 VPC ID를 기록해 둡니다.

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

VPC를 선택한 후 기존 서브넷을 사용할지 아니면 새 서브넷을 생성할지를 결정해야 합니다.

Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished

이전 단계를 완료하면 간단한 클러스터가 VPC로 시작됩니다. VPC는 퍼블릭 IP 주소를 지원하는 기존 서브넷을 사용합니다. 서브넷의 라우팅 테이블은 0.0.0.0/0 => igw-xxxxxx입니다. 다음 조건을 알아 두세요.

  • VPC에는 DNS Resolution = yes 및 DNS Hostnames = yes가 있어야 합니다.

  • 또한 VPC에는 AWS 리전에 대한 올바른 domain-name가 있는 DHCP 옵션이 있어야 합니다. 기본 DHCP 옵션 세트는 이미 필수 AmazonProvidedDNS를 지정합니다. 도메인 이름 서버를 두 개 이상 지정하는 경우 Amazon VPC 사용 설명서의 DHCP 옵션 세트를 참조하세요. 프라이빗 서브넷을 사용하는 경우 NAT 게이트웨이 또는 내부 프록시를 사용하여 컴퓨팅 노드에 대한 웹 액세스를 활성화하세요. 자세한 내용은 네트워크 구성 항목을 참조하세요.

모든 설정에 올바른 값이 포함되면 생성 명령을 실행하여 클러스터를 시작할 수 있습니다.

$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
  "cluster": {
    "clusterName": "test-cluster",
    "cloudformationStackStatus": "CREATE_IN_PROGRESS",
    "cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
    "region": "eu-west-1",
    "version": "3.7.0",
    "clusterStatus": "CREATE_IN_PROGRESS"
  },
  "validationMessages": []
}

클러스터 진행 상황 확인: 

$ pcluster describe-cluster --cluster-name test-cluster

or 

$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'

클러스터가 "clusterStatus": "CREATE_COMPLETE" 상태에 도달하면 정상 SSH 클라이언트 설정을 사용하여 연결할 수 있습니다. Amazon EC2 인스턴스에 연결에 대한 자세한 내용은 Amazon EC2 사용 설명서의 Amazon EC2 사용 설명서를 참조하세요. 또는 다음을 통해 클러스터를 연결할 수 있습니다.

$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem

다음 명령을 실행하여 클러스터를 삭제합니다.

$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster

클러스터를 삭제한 후에는 CloudFormation 네트워킹 스택을 삭제하여 VPC의 네트워크 리소스를 삭제할 수 있습니다. 스택 이름은 “parallelclusternetworking-”으로 시작하고 “YYYYMMDDHHMMSS” 형식의 생성 시간을 포함합니다. list-stacks 명령을 사용하여 스택을 나열할 수 있습니다.

$ aws --region us-east-1 cloudformation list-stacks \
   --stack-status-filter "CREATE_COMPLETE" \
   --query "StackSummaries[].StackName" | \
   grep -e "parallelclusternetworking-"
   "parallelclusternetworking-pubpriv-20191029205804"

스택은 delete-stack 명령을 사용하여 삭제할 수 있습니다.

$ aws --region us-east-1 cloudformation delete-stack \
   --stack-name parallelclusternetworking-pubpriv-20191029205804

pcluster configure가 사용자를 위해 생성하는 VPC는 CloudFormation 네트워킹 스택에서 생성되지 않습니다. 콘솔에서 또는 AWS CLI를 사용하여 해당 VPC를 수동으로 삭제할 수 있습니다.

$ aws --region us-east-1 Amazon EC2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad