を使用してジョブを実行する kubectl

Helm チャートを使用してクラスターに Kubeflow Training Operator をインストールする必要があることに注意してください。詳細については、「Helm を使用して Amazon EKSクラスターにパッケージをインストールする」を参照してください。次のコマンドを実行して、Kubeflow Training Operator コントロールプレーンが正しく設定されていることを確認します。

kubectl get pods -n kubeflow

これにより、次のような出力が返されます。

NAME                                             READY   STATUS    RESTARTS   AGE
training-operator-658c68d697-46zmn               1/1     Running   0          90s

トレーニングジョブを送信するには

トレーニングジョブを実行するには、ジョブ設定ファイルを準備し、次のようにkubectl applyコマンドを実行します。

kubectl apply -f /path/to/training_job.yaml

トレーニングジョブを記述するには

EKS クラスターに送信されたジョブの詳細を取得するには、次のコマンドを使用します。ジョブの送信時間、完了時間、ジョブステータス、設定の詳細などのジョブ情報を返します。

kubectl get -o yaml training-job -n kubeflow

トレーニングジョブを停止してEKSリソースを削除するには

トレーニングジョブを停止するには、kubectl delete を使用します。以下は、設定ファイル から作成されたトレーニングジョブを停止する例ですpytorch_job_simple.yaml。

kubectl delete -f /path/to/training_job.yaml 

これにより、次の出力が返されます。

pytorchjob.kubeflow.org "training-job" deleted

ジョブの自動再開を有効にするには

SageMaker HyperPod は、Kubernetes ジョブのジョブ自動再開機能をサポートし、Kubeflow Training Operator コントロールプレーンと統合します。

SageMaker HyperPod ヘルスチェックに合格した十分なノードがクラスターにあることを確認します。ノードのテイントは sagemaker.amazonaws.com/node-health-statusに設定する必要がありますSchedulable。ジョブYAMLファイルにノードセレクタを含めて、次のように適切な設定のノードを選択することをお勧めします。

sagemaker.amazonaws.com/node-health-status: Schedulable

次のコードスニペットは、 PyTorch ジョブの自動再開機能を有効にするために Kubeflow ジョブYAML設定を変更する方法の例です。2 つの注釈を追加し、OnFailure次のように restartPolicy を に設定する必要があります。

apiVersion: "kubeflow.org/v1"
kind: PyTorchJob 
metadata:
    name: pytorch-simple
    namespace: kubeflow
    annotations: { // config for job auto resume
      sagemaker.amazonaws.com/enable-job-auto-resume: "true"
      sagemaker.amazonaws.com/job-max-retry-count: "2"
    }
spec:
  pytorchReplicaSpecs:
  ......
  Worker:
      replicas: 10
      restartPolicy: OnFailure
      template:
          spec:
              nodeSelector:
                  sagemaker.amazonaws.com/node-health-status: Schedulable

ジョブの自動再開ステータスを確認するには

次のコマンドを実行して、ジョブの自動再開のステータスを確認します。

kubectl describe pytorchjob -n kubeflow <job-name>

障害パターンによっては、次のように Kubeflow トレーニングジョブの再起動の 2 つのパターンが表示される場合があります。

パターン 1：

Start Time:    2024-07-11T05:53:10Z
Events:
  Type     Reason                   Age                    From                   Message
  ----     ------                   ----                   ----                   -------
  Normal   SuccessfulCreateService  9m45s                  pytorchjob-controller  Created service: pt-job-1-worker-0
  Normal   SuccessfulCreateService  9m45s                  pytorchjob-controller  Created service: pt-job-1-worker-1
  Normal   SuccessfulCreateService  9m45s                  pytorchjob-controller  Created service: pt-job-1-master-0
  Warning  PyTorchJobRestarting     7m59s                  pytorchjob-controller  PyTorchJob pt-job-1 is restarting because 1 Master replica(s) failed.
  Normal   SuccessfulCreatePod      7m58s (x2 over 9m45s)  pytorchjob-controller  Created pod: pt-job-1-worker-0
  Normal   SuccessfulCreatePod      7m58s (x2 over 9m45s)  pytorchjob-controller  Created pod: pt-job-1-worker-1
  Normal   SuccessfulCreatePod      7m58s (x2 over 9m45s)  pytorchjob-controller  Created pod: pt-job-1-master-0
  Warning  PyTorchJobRestarting     7m58s                  pytorchjob-controller  PyTorchJob pt-job-1 is restarting because 1 Worker replica(s) failed.

パターン 2：

Events:
  Type    Reason                   Age    From                   Message
  ----    ------                   ----   ----                   -------
  Normal  SuccessfulCreatePod      19m    pytorchjob-controller  Created pod: pt-job-2-worker-0
  Normal  SuccessfulCreateService  19m    pytorchjob-controller  Created service: pt-job-2-worker-0
  Normal  SuccessfulCreatePod      19m    pytorchjob-controller  Created pod: pt-job-2-master-0
  Normal  SuccessfulCreateService  19m    pytorchjob-controller  Created service: pt-job-2-master-0
  Normal  SuccessfulCreatePod      4m48s  pytorchjob-controller  Created pod: pt-job-2-worker-0
  Normal  SuccessfulCreatePod      4m48s  pytorchjob-controller  Created pod: pt-job-2-master-0