什么是 AWS Batch? - AWS Batch

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

什么是 AWS Batch?

借助 AWS Batch,您可以在 AWS Cloud上运行批处理计算工作负载。批量计算是开发人员、科学家和工程师用来访问大量计算资源的常见方法。AWS Batch 将会消除配置和管理所需基础设施的千篇一律的繁重工作,与传统批量计算软件相似。此服务可以有效地预配置资源以响应提交的作业,以便消除容量限制、降低计算成本和快速交付结果。

作为一项完全托管服务,AWS Batch 有助于您运行任意规模的批量计算工作负载。AWS Batch 将根据工作负载的数量和规模自动预置计算资源并优化工作负载分配。有了 AWS Batch 之后,不再需要安装或管理批量计算软件,从而使您可以将时间放在分析结果和解决问题上。

AWS Batch 的组成部分

AWS Batch 可让您轻松地在一个区域内跨多个可用区运行批处理任务。您可以在新的或现有的 VPC 中创建 AWS Batch 计算环境。在计算环境就绪并与任务队列关联后,您可以定义任务定义,以指定要运行任务的 Docker 容器映像。容器映像将在容器注册表中存储和提取,可能存在于您的 AWS 基础设施的内部或外部。

任务

提交到 AWS Batch 的工作单位 (如 shell 脚本、Linux 可执行文件或 Docker 容器映像)。它具有名称,并在您的计算环境中的 AWS Fargate 或 Amazon EC2 资源上作为容器化应用程序运行 (使用您在任务定义中指定的参数)。任务可以按名称或按 ID 引用其他任务,并且可以依赖于其他任务的成功完成。有关更多信息,请参阅作业

作业定义

作业定义指定作业的运行方式。您可以把作业定义看成是任务中的资源的蓝图。您可以为作业提供 IAM 角色以提供对其他 AWS 资源的访问权限。您还可以指定内存和 CPU 要求。任务定义还可以控制容器属性、环境变量和持久性存储的挂载点。任务定义中的许多规范可以通过在提交单个任务时指定新值来覆盖。有关更多信息,请参阅作业定义

作业队列

当您提交 AWS Batch 任务时,会将其提交到特定的任务队列中,然后它驻留在那里直到被安排到计算环境中为止。将一个或多个计算环境与作业队列相关联。您还可以为这些计算环境甚至作业队列本身分配优先级值。例如,您可以有一个高优先级队列用以提交时间敏感型任务,以及一个低优先级队列供可在计算资源较便宜时随时运行的任务使用。

计算环境

计算环境是一组用于运行任务的托管或非托管计算资源。在托管计算环境中,您可以按多个详细级别指定所需的计算类型(Fargate 或 EC2)。您可以设置使用特定类型 EC2 实例的计算环境,例如 c5.2xlargem5.10xlarge。或者,您也可以选择仅指定要使用最新的实例类型。您还可以指定环境的最小、期望和最大 vCPU 数量,以及您愿意为竞价型实例支付的金额占按需型实例价格的百分比以及目标 VPC 子网集。AWS Batch 将根据需要有效地启动、管理和终止计算类型。您还可以管理自己的计算环境。因此,您负责在 AWS Batch 为您创建的 Amazon ECS 集群中设置和扩展实例。有关更多信息,请参阅计算环境

入门

通过在 AWS Batch 控制台中创建任务定义、计算环境和任务队列来开始使用 AWS Batch。

AWS Batch 首次运行向导为您提供了创建计算环境和作业队列并提交示例 Hello World 作业的选项。如果您具有要在 AWS Batch 中启动的 Docker 映像,则可以使用此映像创建作业定义并改为将此定义提交到您的队列。有关更多信息,请参阅开始使用 AWS Batch

控制面板

在 AWS Batch 控制面板上,您可以监控最近的作业、作业队列和计算环境。默认情况下,会显示以下控制面板小组件:

  • 作业概述 - 有关 AWS Batch 作业的更多信息,请参阅 作业

  • 作业队列概述 - 有关 AWS Batch 作业队列的更多信息,请参阅 作业队列

  • 计算环境概述 - 有关 AWS Batch 计算环境的更多信息,请参阅 计算环境

您可以自定义“控制面板”页面上显示的小组件。以下各节描述了您可以安装的其他小组件。

单个作业队列

此小组件显示有关单个作业队列的详细信息。

要添加此小组件,请按照以下步骤操作。

  1. 打开 AWS Batch 控制台

  2. 从导航栏中,选择您想要的 AWS 区域。

  3. 在导航窗格中,选择 Dashboard (控制面板)

  4. 选择添加小部件

  5. 对于单一作业队列,选择添加小组件

  6. 对于作业队列,选择所需的作业队列。

  7. 对于作业状态,选择要显示的作业状态。

  8. (可选)如果您不想显示计算环境的属性,请禁用显示连接的计算环境

  9. 计算环境属性中,选择所需的属性。

  10. 选择 Add(添加)。

CloudWatch Container Insights

此小组件显示 AWS Batch 计算环境和作业的汇总指标。有关安装 Container Insights 的更多信息,请参阅 AWS Batch CloudWatch Container Insights

要添加此小组件,请按照以下步骤操作。

  1. 打开 AWS Batch 控制台

  2. 从导航栏中,选择您想要的 AWS 区域。

  3. 在导航窗格中,选择 Dashboard (控制面板)

  4. 选择添加小部件

  5. 对于容器洞察,请选择添加小组件

  6. 对于计算环境,选择所需的计算环境。

  7. 选择 Add(添加)。

作业日志

此小组件在一个方便的位置显示作业的不同日志。有关作业日志的更多信息,请参阅 作业日志

要添加此小组件,请按照以下步骤操作。

  1. 打开 AWS Batch 控制台

  2. 从导航栏中,选择您想要的 AWS 区域。

  3. 在导航窗格中,选择 Dashboard (控制面板)

  4. 选择添加小部件

  5. 对于作业日志,选择添加小组件

  6. 作业 ID 中,输入所需作业的作业 ID。

  7. 选择 Add(添加)。