awsbsub - AWS ParallelCluster

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

awsbsub

向集群的作业队列提交作业。

awsbsub [-h] [-jn JOB_NAME] [-c CLUSTER] [-cf] [-w WORKING_DIR] [-pw PARENT_WORKING_DIR] [-if INPUT_FILE] [-p VCPUS] [-m MEMORY] [-e ENV] [-eb ENV_DENYLIST] [-r RETRY_ATTEMPTS] [-t TIMEOUT] [-n NODES] [-a ARRAY_SIZE] [-d DEPENDS_ON] [command] [arguments [arguments ...]]
重要

对于 AWS Batch,AWS ParallelCluster 不支持 GPU 作业。有关更多信息,请参阅 GPU 作业

定位参数

command

提交作业(指定的命令必须在计算实例上可用),或指定要传输的文件名。另请参阅 --command-file

arguments

(可选)指定命令或命令文件的参数。

命名的参数

-jn JOB_NAME, --job-name JOB_NAME

为作业命名。第一个字符必须是字母或数字。作业名称可以包含字母(大写和小写)、数字、连字符和下划线,长度不超过 128 个字符。

-c CLUSTER, --cluster CLUSTER

指定要使用的集群。

-cf, --command-file

指示命令是要传输到计算实例的文件。

默认值:False

-w WORKING_DIR, --working-dir WORKING_DIR

指定要用作作业的工作目录的文件夹。如果未指定工作目录,则在用户的主目录的 job-<AWS_BATCH_JOB_ID> 子文件夹中运行作业。您可以使用此参数或 --parent-working-dir 参数。

-pw PARENT_WORKING_DIR, --parent-working-dir PARENT_WORKING_DIR

指定作业的工作目录的父文件夹。如果未指定父工作目录,则默认为用户的主目录。在父工作目录中创建名为 job-<AWS_BATCH_JOB_ID> 的子文件夹。您可以使用此参数或 --working-dir 参数。

-if INPUT_FILE, --input-file INPUT_FILE

指定要传输到计算实例的文件(在作业的工作目录中)。您可以指定多个输入文件参数。

-p VCPUS, --vcpus VCPUS

指定要为容器预留的 vCPU 数量。在与 –nodes 一起使用时,它标识每个节点的 vCPU 数。

默认值:1

-m MEMORY, --memory MEMORY

指定要为作业提供的内存的硬限制(以 MiB 为单位)。如果您的作业尝试超出此处指定的内存限制,则该作业将被结束。

默认值:128

-e ENV, --env ENV

指定要导出到作业环境的环境变量名称的逗号分隔的列表。要导出所有环境变量,请指定“all”。请注意,“all”环境变量列表不包含 –env-blacklist 参数中列出的环境变量,或以 PCLUSTER_*AWS_* 前缀开头的环境变量。

-eb ENV_DENYLIST, --env-blacklist ENV_DENYLIST

指定会导出到作业环境的环境变量名称的逗号分隔的列表。默认情况下,不会导出 HOMEPWDUSERPATHLD_LIBRARY_PATHTERMTERMCAP

-r RETRY_ATTEMPTS, --retry-attempts RETRY_ATTEMPTS

指定要让作业进入 RUNNABLE 状态的次数。您可以指定 1 到 10 之间的尝试次数。如果尝试次数大于 1,则作业在失败后将重试,直到它进入 RUNNABLE 状态的次数达到指定值。

默认值:1

-t TIMEOUT, --timeout TIMEOUT

指定以秒为单位的持续时间(根据作业尝试的 startedAt 时间戳测得),在此时间过后,如果您的作业未完成,AWS Batch 会将其终止。超时值必须至少为 60 秒。

-n NODES, --nodes NODES

指定要为作业预留的节点数量。为此参数指定一个值,以启用多节点并行提交。

注意

Scheduler/AwsBatchQueues/CapacityType 参数设置为 SPOT 时, 支持多节点并行作业。此外,您的账户中必须有 AWSServiceRoleForEC2Spot 服务相关角色。您可使用以下 AWS CLI 命令创建该角色:

$ aws iam create-service-linked-role --aws-service-name spot.amazonaws.com

有关更多信息,请参阅 Amazon EC2 用户指南(适用于 Linux 实例)中的竞价型实例请求的服务相关角色

-a ARRAY_SIZE, --array-size ARRAY_SIZE

指示数组的大小。您可以指定 2 到 10000 之间的值。如果您为一个作业指定数组属性,该作业将变为数组作业。

-d DEPENDS_ON, --depends-on DEPENDS_ON

指定作业的依赖项的分号分隔的列表。一个作业可依赖于最多 20 个作业。您可以指定 SEQUENTIAL 类型依赖项,而不指定数组作业的作业 ID。顺序依赖项允许每个子数组作业按顺序完成,从索引 0 开始。您也可以使用数组作业的作业 ID 指定 N_TO_N 类型依赖项。N_TO_N 依赖项意味着此作业的每个子索引必须等待每个依赖项的相应子索引完成后才能开始。此参数的语法为“jobId=<string>,type=<string>;...”。