タスクガバナンスの設定

このセクションでは、Amazon SageMaker HyperPod タスクガバナンス EKS アドオンを設定する方法について説明します。これには、タスクの優先順位付け、チームのコンピューティング割り当て、アイドル状態のコンピューティングの共有方法、チームのタスクプリエンプションを設定できるアクセス許可の付与が含まれます。

設定に問題がある場合は、既知のトラブルシューティングソリューショントラブルシューティングについて「」を参照してください。

キュー設定

HyperPod タスクガバナンス EKS アドオンは、HyperPod EKS クラスターに Kueue をインストールします。Kueue は kubernetes ネイティブシステムであり、クォータとジョブがクォータをどのように消費するかを管理します。

HyperPod タスクガバナンスは、Kueue for Kubernetes ネイティブのジョブキューイング、スケジューリング、クォータ管理を活用し、HyperPod タスクガバナンス EKS アドオンと共にインストールされます。インストールすると、HyperPod は 、、KueueManagerConfig、、ResourceFlavors、 などの SageMaker AI マネージド Kubernetes ClusterQueues LocalQueues WorkloadPriorityClassesリソースを作成および変更しますValidatingAdmissionPolicies。Kubernetes 管理者はこれらのリソースの状態を柔軟に変更できますが、SageMaker AI マネージドリソースに加えられた変更は、サービスによって更新および上書きされる可能性があります。

次の情報は、Kueue をセットアップするために HyperPod タスクガバナンスアドオンで使用される構成設定の概要を示しています。

  apiVersion: config.kueue.x-k8s.io/v1beta1
    kind: Configuration
    health:
      healthProbeBindAddress: :8081
    metrics:
      bindAddress: :8080
      enableClusterQueueResources: true
    webhook:
      port: 9443
    manageJobsWithoutQueueName: false
    leaderElection:
      leaderElect: true
      resourceName: c1f6bfd2.kueue.x-k8s.io
    controller:
      groupKindConcurrency:
        Job.batch: 5
        Pod: 5
        Workload.kueue.x-k8s.io: 5
        LocalQueue.kueue.x-k8s.io: 1
        ClusterQueue.kueue.x-k8s.io: 1
        ResourceFlavor.kueue.x-k8s.io: 1
    clientConnection:
      qps: 50
      burst: 100
    integrations:
      frameworks:
      - "batch/job"
      - "kubeflow.org/mpijob"
      - "ray.io/rayjob"
      - "ray.io/raycluster"
      - "jobset.x-k8s.io/jobset"
      - "kubeflow.org/mxjob"
      - "kubeflow.org/paddlejob"
      - "kubeflow.org/pytorchjob"
      - "kubeflow.org/tfjob"
      - "kubeflow.org/xgboostjob"
      - "pod"
      podOptions:
        namespaceSelector:
          matchExpressions:
            - key: kubernetes.io/metadata.name
              operator: NotIn
              values: [ kube-system, kueue-system ]
    fairSharing:
      enable: true
      preemptionStrategies: [LessThanOrEqualToFinalShare, LessThanInitialShare]
    resources:
      excludeResourcePrefixes: []

各設定エントリの詳細については、Kueue ドキュメントの「設定」を参照してください。

HyperPod タスクガバナンスの前提条件

HyperPod タスクガバナンスの設定

以下に、HyperPod タスクガバナンスのセットアップ方法について説明します。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "eks:ListAddons",
                "eks:CreateAddon",
                "eks:UpdateAddon",
                "eks:DescribeAddon",
                "eks:DescribeAddonVersions",
                "sagemaker:DescribeCluster",
                "sagemaker:DescribeClusterNode",
                "sagemaker:ListClusterNodes",
                "sagemaker:ListClusters",
                "eks:DescribeCluster",
                "eks:AccessKubernetesApi"
            ],
            "Resource": "*"
        }
    ]
}

インストールが成功すると、HyperPod SageMaker AI コンソールでポリシータブを表示できます。次の describe-addon EKS AWS CLI コマンドの例を使用してステータスを確認することもできます。

aws eks describe-addon --region region --cluster-name cluster-name --addon-name amazon-sagemaker-hyperpod-taskgovernance