亚马逊AWS官方博客

Mobileye 和 Skyscanner 在采取经过容量优化的 Spot 实例分配策略

Amazon EC2 Spot 实例早在 2009 年就已推出。该实例是备用的 EC2 计算容量,与按需价格相比,最多可节省 90% 的成本。Spot 实例可以被 EC2 中断(包含两分钟的预告),但其他方面与按需实例相同。您可以使用 Amazon EC2 Auto Scaling 无缝扩展 Spot 实例、按需实例和属于 Savings Plan 一部分的实例,它们全部都在一个 EC2 Auto Scaling 组中实现。

多年来,我们增加了很多强大的 Spot 功能,包括简化的定价模型经过容量优化的扩展策略(稍后再详细说明)、与 EC2 RunInstances API 的集成等等

EC2 Auto Scaling 让您可以对 Spot 实例使用两种不同的分配策略:

lowest-price – 分配 Spot 实例池中在履行时具有最低价格的实例。Spot 定价基于供需的长期趋势随时间缓慢变化,但容量会实时波动。由于最低价格策略在部署 Spot 实例时没有考虑池容量深度,此分配策略非常适合中断成本低的容错型工作负载。

capacity-optimized – 为正在启动的实例数量分配具有最佳容量的 Spot 实例池中的实例,以使用实时容量数据。此分配策略适用于中断成本较高的工作负载。它依赖于灵活性,由您选择的实例系列、大小和代系提供支持。

今天,我想要向您演示如何使用经过容量优化的分配策略,并想要与您分享一对客户案例。

使用经过容量优化的分配

首先,我通过单击转至新控制台切换到新的 Auto Scaling 控制台:

新控制台包括一个漂亮的图表,其中说明了 Auto Scaling 的工作原理。我单击创建 Auto Scaling 组以继续操作:

我对 Auto Scaling 组进行了命名,并像往常一样选择了启动模板,然后单击下一步

如果您不熟悉启动模板,请阅读最近的 EC2 优势 – 启动模板和分散置放,以了解有关它们的全部信息。

由于我的启动模板没有指定实例类型,组合购买选项和实例类型被预选选择且无法更改。我确保经过容器优化的分配策略也被选中,且设置了所需的按需和 Spot 实例平衡:

然后,我选择一个主要实例类型,其他类型由控制台推荐。我可以在主要实例类型代系内选择系列和代系(例如 m3m4m5)灵活性或只选择大小灵活性(largexlarge12xlarge 等等)。正如前面提到的,此策略依赖于灵活性,因此,选择尽可能多的相关实例对我有好处。

我还可以为我决定使用的每个实例类型指定权重(这在我使用大小灵活性使尤其有用):

我还选择了(未显示)我的 VPC 及其中的所需子网,然后单击下一步并像往常一样继续操作。子网/可用区的灵活性也对我有好处;有关更多信息,请阅读具有多个实例类型和购买选项的 Auto Scaling 组

现在,我们来了解一下 AWS 客户 Skyscanner 和 Mobileye 如何利用此功能!

Skyscanner 经过容量优化的分配

Skyscanner 是一家在线旅游预订网站。它们在 Spot 实例上为其网站运行前端处理,从而每天最多充分利用 40000 个核心。Skyscanner 的在线平台在 Kubernetes 集群上运行,完全由 Spot 实例提供支持(观看此视频了解更多信息)。经过容量优化的分配已提供很多优势,包括:

加快上市时间 – 他们能够以更低的成本访问更多计算能力,从而将使用传统基础设施启动新服务的时间 6-7 周降低到使用 AWS 云的 50 分钟。

成本节省 – 跨可用区和实例类型分散 Spot 实例将导致每个核心的总体成本节省 70%。

减少中断 – Skyscanner 为准备黑色星期五而运行的测试显示,其旧配置 (lowest-price) 拥有 200 至 300 次 Spot 中断,新配置 (capacity-optimized) 拥有 10 至 15 次中断。

Mobileye 经过容量优化的分配

Mobileye(一家 Intel 公司)为自动驾驶车辆和高级驾驶辅助系统开发了基于视觉的技术。Spot 实例用于运行其分析、机器学习、模拟和打包在 Docker 容器中的 AWS Batch 工作负载。它们通常使用 20 万到 30 万个并发核心,每日峰值使用量约为 50 万个,全部都用于 Spot 实例。下面是一天期间的实例计数图:

切换到经过容量优化的分配并根据我们的 Spot 实例最佳实践进行一些更改后,他们可将总中断率降低 75% 左右。这些更改可使他们节省计算成本,同时提高应用程序运行时间并缩短洞察时间。

要了解 Mobileye 如何使用 Spot 实例的更多信息,请观看其 re:Invent 演讲行驶在无人驾驶的蜿蜒道路上

Jeff