AWS ParallelCluster コマンドラインインターフェイスを使用してクラスターを設定および作成する - AWS ParallelCluster
最初のクラスターを設定して作成する

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS ParallelCluster コマンドラインインターフェイスを使用してクラスターを設定および作成する

をインストールしたら AWS ParallelCluster、以下の設定ステップを実行します。

AWS アカウントに CLI pcluster の実行に必要なアクセス許可を含むロールがあることを確認します。詳細については、「AWS ParallelCluster pclusterユーザーポリシーの例」を参照してください。

AWS 認証情報を設定します。詳細については、「AWS CLI ユーザーガイド」の「AWS CLIを設定する」を参照してください。

$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:

クラスターを起動 AWS リージョン する には、少なくとも 1 つの Amazon EC2 キーペアが必要です。詳細については、「Amazon EC2 Linux インスタンス用ユーザーガイド」の「Amazon EC2 キーペア」を参照してください。

AWS ParallelCluster コマンドラインインターフェイス (CLI) を使用する場合、 AWS ParallelCluster イメージとクラスターを作成または更新したときに作成された AWS リソースに対してのみ料金が発生します。詳細については、「AWS ParallelCluster で使用されるサービス AWS」を参照してください。

最初のクラスターを設定して作成する

pcluster configure CLI コマンドを使用して、クラスターの設定と作成に必要なすべての情報の入力を求めるウィザードを起動し、最初のクラスターを作成します。シーケンスの詳細は、 をスケジューラ AWS Batch として使用する場合と、 を使用する場合で異なりますSlurm。

スラム
$  pcluster configure --config config-file.yaml

有効な AWS リージョン 識別子のリストから、クラスターを実行する AWS リージョン を選択します。

注記

AWS リージョン 表示される のリストは、アカウントのパーティションに基づいており、アカウントで有効 AWS リージョン になっている のみが含まれます。アカウントで を有効にする方法の詳細については、 AWS リージョン 「」の「 の管理 AWS リージョン」を参照してくださいAWS 全般のリファレンス。示されている例は、 AWS グローバルパーティションからのものです。アカウントが AWS GovCloud (US) パーティションにある場合、そのパーティション AWS リージョン 内の のみ (gov-us-east-1 と gov-us-west-1) が一覧表示されます。同様に、アカウントが AWS 中国パーティションにある場合、 cn-north-1と cn-northwest-1 のみが表示されます。で AWS リージョン サポートされている の完全なリストについては AWS ParallelCluster、「」を参照してくださいAWS ParallelCluster のサポート対象リージョン。

Allowed values for AWS リージョン ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
AWS リージョン ID [ap-northeast-1]:

キーペアは、選択した AWS リージョンに Amazon EC2 で登録されているキーペアから選択されます。キーペアを選択します。

Allowed values for EC2 Key Pair Name:
1. your-key-1
2. your-key-2
EC2 Key Pair Name [your-key-1]:

クラスターで使用するスケジューラを選択します。

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:

オペレーティングシステムを選択します。

Allowed values for Operating System:
1. alinux2
2. centos7
3. ubuntu2204
4. ubuntu2004
5. rhel8
Operating System [alinux2]:

ヘッドノードのインスタンスタイプを選択します。

Head node instance type [t2.micro]:

キューの構成を選択します。注意: 同一キュー内の複数のコンピューティングリソースに対してインスタンスタイプを指定することはできません。

Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:

EFA を有効にして、高レベルのインスタンス間通信を必要とするアプリケーションを追加料金なしで大規模 AWS に実行できます。

Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:

前のステップが完了したら、既存の VPC を使用するか、 に VPC AWS ParallelCluster を作成させるかを決定します。適切に設定された VPC がない場合は、新しい VPC AWS ParallelCluster を作成できます。ヘッダーノードとコンピューティングノードの両方を同じパブリックサブネット内に配置するか、ヘッドノードのみをパブリックサブネット内に配置し、すべてのコンピューティングノードをプライベートサブネット内に配置します。で VPC AWS ParallelCluster を作成する場合は、すべてのノードをパブリックサブネットに配置するかどうかを決定する必要があります。詳細については、「ネットワークの設定」を参照してください。

複数のネットワークインターフェイスまたはネットワークカードを備えたインスタンスタイプを使用するようにクラスターを設定する場合、追加のネットワーク要件については「ネットワークの設定」を参照してください。

AWS リージョンで許可されている VPC 数のクォータに達する可能性があります。デフォルトのクォータは、 AWS リージョンあたり 5 つの VPC です。このクォータと引き上げをリクエストする方法の詳細については、「Amazon VPC ユーザーガイド」の「VPC とサブネット」を参照してください。

重要

によって作成された VPCs、デフォルトで VPC フローログを有効に AWS ParallelCluster しません。VPC フローログは、VPC のネットワークインターフェイスとの間で行き来する IP トラフィックに関する情報をキャプチャすることができます。詳細については、「Amazon VPC User Guide」(Amazon VPC ユーザーガイド) の「VPC Flow Logs」(VPC フローログ) を参照してください。

で VPC AWS ParallelCluster を作成する場合は、すべてのノードがパブリックサブネットに存在するかどうかを決定してください。

注記

1. Head node in a public subnet and compute fleet in a private subnet を選択すると、 AWS ParallelCluster は NAT ゲートウェイを作成するため、無料利用枠のリソースを指定しても追加コストが発生します。

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

新しい VPC を作成しない場合、既存の VPC を選択する必要があります。

VPC AWS ParallelCluster の作成を選択した場合は、VPC ID を書き留めておき、 を使用して後で AWS CLI 削除できるようにします。

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

VPC を選択したら、既存のサブネットを使用するか、新しいサブネットを作成するかを決定します。

Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
AWS Batch
$  pcluster configure --config config-file.yaml

有効な AWS リージョン 識別子のリストから、クラスターを実行する AWS リージョン を選択します。

注記

AWS リージョン 表示される のリストは、アカウントのパーティションに基づいています。アカウントで有効 AWS リージョン になっている のみが含まれます。アカウントで を有効にする方法の詳細については、 AWS リージョン 「」の「 の管理 AWS リージョン」を参照してくださいAWS 全般のリファレンス。示されている例は、 AWS グローバルパーティションからのものです。アカウントが AWS GovCloud (US) パーティションにある場合、そのパーティション AWS リージョン 内の のみ (gov-us-east-1 と gov-us-west-1) が一覧表示されます。同様に、アカウントが AWS 中国パーティションにある場合、 cn-north-1と cn-northwest-1 のみが表示されます。で AWS リージョン サポートされている の完全なリストについては AWS ParallelCluster、「」を参照してくださいAWS ParallelCluster のサポート対象リージョン。

Allowed values for AWS リージョン ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
AWS リージョン ID [us-east-1]:

キーペアは、選択した AWS リージョンに Amazon EC2 で登録されているキーペアから選択されます。キーペアを選択します。

Allowed values for EC2 Key Pair Name:
1. your-key-1
2. your-key-2
EC2 Key Pair Name [your-key-1]:

クラスターで使用するスケジューラを選択します。

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2

awsbatch がスケジューラとして選択されている場合、alinux2 がオペレーティングシステムとして使用されます。ヘッドノードのインスタンスタイプが入力されます。

Head node instance type [t2.micro]:

キューの構成を選択します。ス AWS Batch ケジューラには 1 つのキューのみが含まれます。コンピューティングノードのクラスターの最大サイズを入力します。これは vCPU 単位で測定されます。

Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:

既存の VPCs を使用するか、 に VPCs AWS ParallelCluster を作成するかを決定します。適切に設定された VPC がない場合は、 AWS ParallelCluster で新しい VPC を作成できます。同じパブリックサブネット内のヘッダーノードとコンピューティングノードの両方を使用するか、プライベートサブネット内のすべてのノードを持つパブリックサブネット内のヘッダーノードのみを使用します。リージョン内で許可されている VPC 数のクォータに達する可能性があります。VPC のデフォルト数は 5 です。このクォータと引き上げをリクエストする方法の詳細については、「Amazon VPC ユーザーガイド」の「VPC とサブネット」を参照してください。

重要

によって作成された VPCs、デフォルトで VPC フローログを有効に AWS ParallelCluster しません。VPC フローログは、VPC のネットワークインターフェイスとの間で行き来する IP トラフィックに関する情報をキャプチャすることができます。詳細については、「Amazon VPC User Guide」(Amazon VPC ユーザーガイド) の「VPC Flow Logs」(VPC フローログ) を参照してください。

で VPC AWS ParallelCluster を作成する場合は、すべてのノードがパブリックサブネットに存在するかどうかを決定してください。

注記

1. Head node in a public subnet and compute fleet in a private subnet を選択すると、 AWS ParallelCluster は NAT ゲートウェイを作成するため、無料利用枠のリソースを指定しても追加コストが発生します。

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

新しい VPC を作成しない場合、既存の VPC を選択する必要があります。

VPC AWS ParallelCluster の作成を選択した場合は、VPC ID を書き留めて、 AWS CLI または を使用して後で AWS Management Console 削除できるようにします。

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

VPC を選択したら、既存のサブネットを使用するか、新しいサブネットを作成するかを決定する必要があります。

Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished

前述の手順が完了すると、VPC にシンプルなクラスターが起動します。VPC では、パブリック IP アドレスをサポートする既存のサブネットを使用しています。サブネットのルートテーブルは、0.0.0.0/0 => igw-xxxxxx です。以下の条件をご確認ください。

  • VPC には DNS Resolution = yes と DNS Hostnames = yes が必要です。

  • VPC は、 AWS リージョンに対して正しい domain-name がある DHCP オプションも必要です。デフォルトの DHCP オプションセットでは、必要な AmazonProvidedDNS がすでに指定されています。複数のドメインネームサーバーを指定する場合は、「Amazon VPC User Guide」(Amazon VPC ユーザーガイド) の「DHCP options sets」(DHCP オプションセット) を参照してください。プライベートサブネットを使用する場合は、NAT ゲートウェイまたは内部プロキシを使用して、コンピューティングノードへのウェブアクセスを有効にします。詳細については、「ネットワークの設定」を参照してください。

すべての設定に有効な値が入力されたら、create コマンドを実行して、クラスターを起動することができます。

$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
  "cluster": {
    "clusterName": "test-cluster",
    "cloudformationStackStatus": "CREATE_IN_PROGRESS",
    "cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
    "region": "eu-west-1",
    "version": "3.7.0",
    "clusterStatus": "CREATE_IN_PROGRESS"
  },
  "validationMessages": []
}

クラスターの進行状況に従います。

$ pcluster describe-cluster --cluster-name test-cluster

または 

$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'

クラスターが "clusterStatus": "CREATE_COMPLETE" ステータスになったら、通常の SSH クライアント設定を使用して接続できます。Amazon EC2 インスタンスへの接続の詳細については、「Amazon EC2 ユーザーガイド」のAmazon EC2 ユーザーガイド」を参照してください。または、クラスターに接続することもできます。

$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem

次のコマンドを実行して、クラスターを削除します。

$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster

クラスターが削除されたら、ネットワークスタックを削除することで VPC 内の CloudFormation ネットワークリソースを削除できます。スタックの名前は「parallelclusternetworking-」で始まり、「YYYYMMDDHHMMSS」のフォーマットで作成時刻が含まれます。list-stacks コマンドでスタックを一覧表示できます。

$ aws --region us-east-1 cloudformation list-stacks \
   --stack-status-filter "CREATE_COMPLETE" \
   --query "StackSummaries[].StackName" | \
   grep -e "parallelclusternetworking-"
   "parallelclusternetworking-pubpriv-20191029205804"

スタックは、delete-stack コマンドで削除することができます。

$ aws --region us-east-1 cloudformation delete-stack \
   --stack-name parallelclusternetworking-pubpriv-20191029205804

がユーザーに代わってpcluster configure作成する VPC は、ネットワークスタックには作成されません。 CloudFormation この VPC は、コンソールで手動で削除することも、 AWS CLIを使用して削除することもできます。

$ aws --region us-east-1 ec2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad