AWS Parallel Computing Service でのクラスターの作成

このトピックでは、使用可能なオプションの概要と、 AWS Parallel Computing Service (AWS PCS) でクラスターを作成するときに考慮すべき点について説明します。 AWS PCS クラスターを初めて作成する場合は、 に従うことをお勧めしますAWS Parallel Computing Service の使用を開始する。このチュートリアルは、使用可能なすべてのオプションとシステムアーキテクチャを拡張することなく、動作する HPC システムを作成するのに役立ちます。

前提条件

• AWS PCS ネットワーク 要件を満たす既存の VPC とサブネット。本番用にクラスターをデプロイする前に、VPC とサブネットの要件を十分に理解しておくことをお勧めします。VPC とサブネットを作成するには、「」を参照してくださいPCS クラスター用の VPC AWS の作成。

• PCS リソースを作成および管理するためのアクセス許可を持つ IAM プリンシパル。 AWS 詳細については、「AWS 並列コンピューティングサービスの Identity and Access Management」を参照してください。

PCS AWS クラスターを作成する

AWS Management Console または を使用してクラスター AWS CLI を作成できます。

AWS Management Console

クラスターを作成するには

1. https://console.aws.amazon.com/pcs/home#/clusters で AWS PCS コンソールを開き、クラスターの作成を選択します。

2. クラスターのセットアップセクションで、次のフィールドに入力します。

   • クラスター名 – クラスターの名前。この名前には英数字 (大文字と小文字が区別されます) とハイフンのみを使用できます。アルファベット文字で始まり、40 文字を超えることはできません。名前は、クラスター AWS アカウント を作成する AWS リージョン および 内で一意である必要があります。

   • スケジューラ – スケジューラとバージョンを選択します。詳細については、「PCS の Slurm AWS バージョン」を参照してください。

   • コントローラーサイズ – コントローラーのサイズを選択します。これにより、 AWS PCS クラスターで管理できる同時ジョブとコンピューティングノードの数を決定します。コントローラーのサイズは、クラスターの作成時にのみ設定できます。サイズ設定の詳細については、「」を参照してくださいPCS AWS のクラスターサイズ。

3. ネットワークセクションで、次のフィールドの値を選択します。

   • ネットワークタイプ – クラスターの IP アドレスタイプを選択します。クラスターは IPv4 または IPv6 のいずれかを使用できますが、両方を使用することはできません。VPC とサブネットは同じネットワークアドレスタイプを使用する必要があります。各サブネットに使用する IP アドレスブロックには、少なくとも 1 つの使用可能なアドレスが必要です。 は、各サブネットの一部のアドレス AWS を予約します。詳細については、「Amazon VPC ユーザーガイド」の「サブネット CIDR ブロック」を参照してください。

   • VPC – PCS 要件を満たす既存の VPC AWS を選択します。詳細については、「AWS PCS VPC とサブネットの要件と考慮事項」を参照してください。クラスターを作成した後は、その VPC を変更することはできません。VPCsは、最初に VPC を作成する必要があります。

   • サブネット – 選択した VPC で使用可能なすべてのサブネットが一覧表示されます。 AWS PCS サブネット要件を満たすサブネットを選択します。詳細については、「AWS PCS VPC とサブネットの要件と考慮事項」を参照してください。スケジューラエンドポイントがパブリックインターネットに公開されないように、プライベートサブネットを選択することをお勧めします。

   • セキュリティグループ – PCS AWS がクラスター用に作成するネットワークインターフェイスに関連付けるセキュリティグループ (複数可) を指定します。クラスターとそのコンピューティングノード間の通信を許可するセキュリティグループを少なくとも 1 つ選択する必要があります。セキュリティグループをすばやく作成して、選択した VPC AWS で必要な設定で PCS に作成させるか、既存のセキュリティグループを選択できます。詳細については、「セキュリティグループの要件と考慮事項」を参照してください。

4. （オプション) Slurm アカウンティング設定セクションで、Slurm アカウンティングを有効にし、アカウンティングパラメータを設定できます。詳細については、「PCS での Slurm AWS アカウンティング」を参照してください。

5. （オプション) Slurm 設定セクションで、PCS によって設定されたデフォルトを上書きする Slurm AWS 設定オプションを指定できます。

   • アイドル時間のスケールダウン – 動的にプロビジョニングされたコンピューティングノードがジョブを完了または終了した後、アクティブのままになる時間を制御します。これをより長い値に設定すると、後続のジョブがノードで実行される可能性が高くなりますが、コストが増加する可能性があります。値を短くするとコストを削減できますが、HPC システムがノードでジョブを実行するのではなく、プロビジョニングに費やす時間の割合が増加する可能性があります。

   • プロログ – これは、コンピューティングノードグループインスタンスのプロログスクリプトディレクトリへの完全修飾パスです。これは Slurm の Prolog 設定に対応します。これは、特定の実行可能ファイルへのパスではなく、ディレクトリである必要があります。

   • Epilog – これは、コンピューティングノードグループインスタンスの epilog スクリプトディレクトリへの完全修飾パスです。これは Slurm の Epilog 設定に対応します。これは、特定の実行可能ファイルへのパスではなく、ディレクトリである必要があります。

   • Select type parameters – Slurm で使用されるリソース選択アルゴリズムを制御するのに役立ちます。この値を に設定するCR_CPU_Memoryとメモリ対応スケジューリングがアクティブ化され、 に設定すると CPU 専用スケジューリングCR_CPUがアクティブ化されます。このパラメータは、PCS select/cons_tresによって SelectTypeが に設定されている Slurm の SelectTypeParameters AWS 設定に対応します。

6. （オプション) タグで、PCS AWS クラスターにタグを追加します。

7. [クラスターを作成] を選択します。Status フィールドは、PCS AWS がクラスターを作成するCreating間に表示されます。この処理には数分かかることもあります。

重要

ごとに AWS リージョン 1 つのCreating状態にあるクラスターは 1 つだけです AWS アカウント。 AWS PCS は、クラスターの作成時に Creating状態のクラスターが既に存在する場合にエラーを返します。

AWS CLI

クラスターを作成するには

1. 下記のコマンドを使用して、クラスターを作成します。コマンドを実行する前に、次の置き換えを行います：

   • region を、 など、クラスター AWS リージョン を作成する の ID に置き換えますus-east-1。

   • マイクラスター の部分は自分のクラスター名に置き換えます。この名前には英数字 (大文字と小文字が区別されます) とハイフンのみを使用できます。アルファベット文字で始まり、40 文字を超えることはできません。名前は、クラスターを作成する AWS リージョン および AWS アカウント 内で一意である必要があります。

   • 24.11 をサポートされているバージョンの Slurm に置き換えます。

     注記

     AWS PCS は現在、Slurm 24.11 および 24.05 をサポートしています。

   • SMALL をサポートされている任意のクラスターサイズに置き換えます。これにより、PCS AWS クラスターで管理できる同時ジョブとコンピューティングノードの数が決まります。これは、クラスターの作成時にのみ設定できます。サイズ設定の詳細については、「」を参照してくださいPCS AWS のクラスターサイズ。

   • の値を独自の値subnetIdsに置き換えます。スケジューラエンドポイントがパブリックインターネットに公開されないように、プライベートサブネットを選択することをお勧めします。

   • PCS AWS securityGroupIdsがクラスター用に作成するネットワークインターフェイスに関連付ける を指定します。セキュリティグループは、クラスターと同じ VPC に存在する必要があります。クラスターとそのコンピューティングノード間の通信を許可するセキュリティグループを少なくとも 1 つ選択する必要があります。詳細については、「セキュリティグループの要件と考慮事項」を参照してください。

   • 必要に応じて、カスタム KMS キーを指定して、 を使用してコントローラーのデータを暗号化できます--kms-key-id kms-key。を既存の KMS ARN、キー ID、またはエイリアスkms-keyに置き換えます。クラスターの作成に使用するアカウントには、カスタム KMS キーに対するkms:Decrypt権限が必要です。

   aws pcs create-cluster --region region \
       --cluster-name my-cluster \
       --scheduler type=SLURM,version=24.11 \
       --size SMALL \
       --networking subnetIds=subnet-ExampleId1,securityGroupIds=sg-ExampleId1

   • IPv6 を使用するには、--networking設定networkType=IPV6に を追加します。

       --networking networkType=IPV6,subnetIds=subnet-ExampleId1,securityGroupIds=sg-ExampleId1

   • 必要に応じて、オプションを追加して Slurm の動作--slurm-configrationをカスタマイズし、Slurm 設定オプションを指定できます。次の例では、スケールダウンアイドル時間を 60 分 (3600 秒) に設定し、Slurm アカウンティングを有効にして、 の値としてslurm.conf設定を指定しますslurmCustomSettings。詳細については、「PCS での Slurm AWS アカウンティング」を参照してください。

     注記

     アカウンティングは Slurm 24.11 以降でサポートされています。

     aws pcs create-cluster --region region \
         --cluster-name my-cluster \
         --scheduler type=SLURM,version=24.11 \
         --size SMALL \
         --networking subnetIds=subnet-ExampleId1,securityGroupIds=sg-ExampleId1
         --slurm-configuration scaleDownIdleTimeInSeconds=3600,accounting='{mode=STANDARD}',slurmCustomSettings='[{parameterName=SelectTypeParameters,parameterValue=CR_CPU_Memory}]'

2. クラスターのプロビジョニングには数分かかる場合があります。クラスターのステータスのクエリを実行するには次のコマンドを使用します。クラスターのステータスフィールドが になるまで、キューまたはコンピューティングノードグループの作成に進まないでくださいACTIVE。

   aws pcs get-cluster --region region --cluster-identifier my-cluster

重要

ごとに AWS リージョン 1 つのCreating状態にあるクラスターは 1 つだけです AWS アカウント。 AWS PCS は、クラスターの作成時に Creating状態のクラスターが既に存在する場合にエラーを返します。

クラスターに推奨される次のステップ

• コンピューティングノードグループを追加します。

• キューを追加します。

• ログ作成を有効化します。