本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
在 Amazon EKS 资源上创建GPU基于 Amazon 的任务
本节介绍如何在上运行 Amazon EKS GPU 工作负载 AWS Batch。
在 Amazon 上创建GPU基于Kubernetes集群 EKS
在 Amazon 上创建GPU基于 Amazon 的Kubernetes集群之前EKS,您必须已完成中的步骤亚马逊 EK AWS Batch S 入门。此外,请考虑以下操作:
-
AWS Batch 支持带的实例类型NVIDIAGPUs。
-
默认情况下, AWS Batch 选择AMI使用与您的亚马逊EKS集群控制平面Kubernetes版本匹配的版本进行EKS加速的 Amazon。
$
cat <<EOF > ./batch-eks-gpu-ce.json { "computeEnvironmentName": "My-Eks-GPU-CE1", "type": "MANAGED", "state": "ENABLED", "eksConfiguration": { "eksClusterArn": "arn:aws:eks:
<region>
:<account>
:cluster/<cluster-name>
", "kubernetesNamespace": "my-aws-batch-namespace" }, "computeResources": { "type": "EC2", "allocationStrategy": "BEST_FIT_PROGRESSIVE", "minvCpus": 0, "maxvCpus": 1024, "instanceTypes": [ "p3dn.24xlarge", "p4d.24xlarge" ], "subnets": [ "<eks-cluster-subnets-with-access-to-internet-for-image-pull>
" ], "securityGroupIds": [ "<eks-cluster-sg>
" ], "instanceRole": "<eks-instance-profile>
" } } EOF$
aws batch create-compute-environment --cli-input-json file://./batch-eks-gpu-ce.json
AWS Batch 不代表你管理NVIDIAGPU设备插件。您必须将此插件安装到您的 Amazon EKS 集群中,并允许它以 AWS Batch 节点为目标。有关更多信息,请参阅Kubernetes上的 “启用 S GPU uppor
要将NVIDIA设备插件 (DaemonSet
) 配置为以 AWS Batch 节点为目标,请运行以下命令。
# pull nvidia daemonset spec
$
curl -O https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.12.2/nvidia-device-plugin.yml
# using your favorite editor, add Batch node toleration # this will allow the DaemonSet to run on Batch nodes - key: "batch.amazonaws.com/batch-node" operator: "Exists"
$
kubectl apply -f nvidia-device-plugin.yml
我们不建议您将基于计算(CPU和内存)的工作负载与GPU基于计算环境和作业队列的工作负载混合在一起。这是因为计算作业可能会耗尽GPU容量。
要连接作业队列,请运行以下命令。
$
cat <<EOF > ./batch-eks-gpu-jq.json { "jobQueueName": "My-Eks-GPU-JQ1", "priority": 10, "computeEnvironmentOrder": [ { "order": 1, "computeEnvironment": "My-Eks-GPU-CE1" } ] } EOF
$
aws batch create-job-queue --cli-input-json file://./batch-eks-gpu-jq.json
创建 Amazon EKS GPU 任务定义
目前仅支持 nvidia.com/gpu
,并且您设置的资源值必须为整数。你不能使用其中的分数。GPU有关更多信息,请参阅Kubernetes文档GPUs中的日程安排
要为 Amazon 注册GPU任务定义EKS,请运行以下命令。
$
cat <<EOF > ./batch-eks-gpu-jd.json { "jobDefinitionName": "MyGPUJobOnEks_Smi", "type": "container", "eksProperties": { "podProperties": { "hostNetwork": true, "containers": [ { "image": "nvcr.io/nvidia/cuda:10.2-runtime-centos7", "command": ["nvidia-smi"], "resources": { "limits": { "cpu": "1", "memory": "1024Mi", "nvidia.com/gpu": "1" } } } ] } } } EOF
$
aws batch register-job-definition --cli-input-json file://./batch-eks-gpu-jd.json
在您的 Amazon EKS 集群中运行GPU作业
GPU资源不可压缩。 AWS Batch 为请求值等于限制值的GPU任务创建 pod 规范。这是一项Kubernetes要求。
要提交作GPU业,请运行以下命令。
$
aws batch submit-job --job-queue My-Eks-GPU-JQ1 --job-definition MyGPUJobOnEks_Smi --job-name My-Eks-GPU-Job
# locate information that can help debug or find logs (if using Amazon CloudWatch Logs with Fluent Bit)
$
aws batch describe-jobs --job
<job-id>
| jq '.jobs[].eksProperties.podProperties | {podName, nodeName}'{ "podName": "aws-batch.f3d697c4-3bb5-3955-aa6c-977fcf1cb0ca", "nodeName": "ip-192-168-59-101.ec2.internal" }