发布于: Jun 25, 2020

Amazon EMR现在提供了“容量优化”分配策略,用于在 Amazon EMR 集群中预置 spot 实例。“容量优化”分配策略可自动最有效地利用可用的备用容量,同时仍然能够利用 Spot 实例提供的极高折扣。通过降低中断的可能性,容量优化策略可以降低工作负载的总体成本。 

容量优化分配策略使用实时容量数据从 Spot 实例池中分配实例,以针对正在启动的实例数量提供最佳容量。此分配策略适用于中断成本较高的工作负载。示例包括长期运行的作业以及运行 Apache Spark、Apache Hive 和 Presto 的多租户持久集群。 

分配策略选项还可以使您在使用实例队列配置创建集群时,为每个任务节点最多指定五种 EC2 实例类型。这样您便可以多样化您的 Spot 请求,从而获得极高的折扣。 

Amazon EMR 进行了多项功能增强,以提高客户的弹性和韧性,其中包括在 Amazon EMR 集群上正常停用运行Apache SparkApache Hadoop应用程序的 Amazon EC2 Spot 实例。为防止数据丢失,Amazon EMR 扩展可确保您的节点没有正在运行的Apache Hadoop任务或在删除节点之前可能丢失的唯一数据。Amazon EMR 具有针对开源 Spark 的自定义功能,可使其更灵活地应对节点丢失 – 与 YARN 的退役机制集成,扩展了 Spark 的退役机制及对退役节点的操作。 

请参阅文档,以了解如何配置实例队列如何创建针对Amazon EMR 的服务角色(EMR 角色 以及API 规范。 

现在,在所有已推出 Amazon EMR 的 AWS 商业区域中,EMR 发行版 5.12.1 及更高版本通常都提供 Amazon EMR 对分配策略的支持。此为总Amazon EMR 区域可用性的一个链接。