使用 AWS Batch,您只需打包批处理作业的代码,指定其依赖关系并使用 AWS 管理控制台、CLI 或软件开发工具包提交批处理作业。AWS Batch 不仅允许指定执行参数和作业依赖关系,还可以促进与一系列常用批处理计算工作流引擎及语言(如 Pegasus WMS、Luigi、Nextflow、Metaflow、Apache Airflow 和 AWS Step Functions)的集成。AWS Batch 会根据您的作业要求以动态方式有效地预置和扩展 Amazon EC2 实例和Spot 实例。AWS Batch 提供默认作业队列和计算环境定义,以便您快速开始使用。

动态计算资源预置和扩展

AWS Batch 提供托管计算环境,此类环境可根据所提交任务的卷和资源要求以动态方式预置和扩展计算资源。您可以结合如下要求配置 AWS Batch 托管计算环境:EC2 实例类型、VPC 子网配置、跨所有实例的最少/最多/基本 vCPU 及您愿意为 Spot 实例作为按需实例价格百分比支付的金额。

此外,如果您需要针对 EC2 实例使用不同的配置(如更大的 EBS 卷或另一种操作系统)而不是 AWS Batch 托管计算资源所提供的配置,您还可以在 AWS Batch 非托管计算资源中预置和管理自己的计算资源。您只需预置含有 Amazon ECS 代理的 EC2 实例并运行支持的 Linux 和 Docker 版本。然后,AWS Batch 会在您预置的 EC2 实例上执行批处理作业。

支持紧密耦合的 HPC 工作负载

AWS Batch 支持多节点并行作业,这使您能够跨多个 EC2 实例运行单个作业。此功能允许您使用 AWS Batch 轻松高效地运行工作负载,例如,大规模紧密耦合的高性能计算 (HPC) 应用程序或分布式 GPU 模型训练。AWS Batch 还支持 Elastic Fabric Adapter,这是一种网络接口,可让您在 AWS 上运行需要大规模节点间通信的应用程序。 

精细作业定义和简单的作业依赖关系建模

借助 AWS Batch,您可以指定资源要求,如 vCPU 和内存、AWS Identity and Access Management (IAM) 角色、卷挂载点、容器属性及环境变量,以定义如何执行作业。AWS Batch 将您的作业作为在 Amazon ECS 上运行的应用程序来执行。Batch 还让您可以定义不同作业之间的依赖关系。例如,您的批处理作业可能分为三个不同的处理阶段,且各个阶段所需资源不同。有了依赖关系,您可以创建资源要求不同的三个作业,其中下一个作业均依赖于上一个作业。

基于优先级的作业安排

借助 AWS Batch,您可以设置多个具有不同优先级的队列。批处理任务会一直存储在队列中,直到计算资源可用于执行任务。AWS Batch 计划程序会根据每个任务的资源要求评估已提交给队列的任务的执行时间、执行位置及执行方式。该计划程序会评估每个队列的优先级并按最优计算资源(如内存与优化型 CPU)的优先级执行作业,只要这些作业依赖关系确定即可。

GPU 安排支持

通过 GPU 安排,您可以指定作业所需的加速器的数量和类型,作为 AWS Batch 中的作业定义输入变量。AWS Batch 将根据所需的 GPU 数量扩展适合您的作业实例,并根据每个作业的需要隔离加速器,因此只有合适的容器才能访问它们。

AWS Batch 可与商用开源工作流引擎和语言集成(如 Pegasus WMS、Luigi、Nextflow、Metaflow、Apache Airflow,和 AWS Step Functions),让您能够使用熟悉的工作流语言为批量计算管道建模。

与 EC2 启动模块集成

AWS Batch 现在支持 EC2 启动模板,允许您为计算资源构建定制模板,并支持 Batch 根据这些需求扩展实例。您可以指定 EC2 启动模板来添加存储卷、指定网络接口、配置权限或者使用其他功能。EC2 启动模板会将启动参数捕获到一项资源中,从而减少配置 Batch 环境所需的步骤。

灵活的分配策略

AWS Batch 有三种分配计算资源的方式供客户选择。这些策略使客户在决定 AWS Batch 应如何代表他们扩展实例时考虑到吞吐量和价格两方面因素。

最佳匹配:AWS Batch 选择最符合作业需求的实例类型,并首选成本最低的实例类型。若已选实例类型无更多可用的实例,AWS Batch 将等待它们可用为止。如果没有足够可用的实例,或如果用户达到 Amazon EC2 服务的限制,则其他作业将在当前运行的作业完成以后运行。此分配策略可以降低成本,同时限制扩展。

最佳渐进式匹配:AWS Batch 将选择大小足以满足队列中作业要求的其他实例类型,并首选单位 vCPU 成本较低的实例类型。若之前选择的实例类型无更多实例,AWS Batch 将选择新的实例类型。

最优化 Spot 容量:AWS Batch 将选择大小足以满足队列中作业要求的一个或多个实例类型,并首选被中断可能性较小的实例类型。此分配策略仅适用于 Spot 实例计算资源。

集成的监控和日志记录

AWS Batch 在 AWS 管理控制台中显示批处理任务的主要操作指标。您可以查看与计算容量相关的指标以及执行中、待执行和已完成的任务。您可以在 AWS 管理控制台中查看您的任务日志(如 STDERR 和 STDOUT),也可以将其写入 Amazon CloudWatch Logs。

对访问权限的精细控制

AWS Batch 使用 IAM 控制和监控您的任务可访问的 AWS 资源,如 Amazon DynamoDB 表。此外,您还可以通过 IAM 为组织中的不同用户定义策略。比如,管理员可以拥有对所有 AWS Batch API 操作的完全访问权限,开发人员可以拥有与配置计算环境及注册任务相关的有限权限,而最终用户只能拥有提交和删除任务所需的权限。

了解有关 AWS Batch 定价的更多信息

访问定价页面
准备好开始构建了?
开始使用 AWS Batch
还有更多问题?
联系我们