发布于: Jun 25, 2020
Amazon EMR现在提供了“容量优化”分配策略，用于在 Amazon EMR 集群中预置 spot 实例。“容量优化”分配策略可自动最有效地利用可用的备用容量，同时仍然能够利用 Spot 实例提供的极高折扣。通过降低中断的可能性，容量优化策略可以降低工作负载的总体成本。
容量优化分配策略使用实时容量数据从 Spot 实例池中分配实例，以针对正在启动的实例数量提供最佳容量。此分配策略适用于中断成本较高的工作负载。示例包括长期运行的作业以及运行 Apache Spark、Apache Hive 和 Presto 的多租户持久集群。
分配策略选项还可以使您在使用实例队列配置创建集群时，为每个任务节点最多指定五种 EC2 实例类型。这样您便可以多样化您的 Spot 请求，从而获得极高的折扣。
Amazon EMR 进行了多项功能增强，以提高客户的弹性和韧性，其中包括在 Amazon EMR 集群上正常停用运行Apache Spark和Apache Hadoop应用程序的 Amazon EC2 Spot 实例。为防止数据丢失，Amazon EMR 扩展可确保您的节点没有正在运行的Apache Hadoop任务或在删除节点之前可能丢失的唯一数据。Amazon EMR 具有针对开源 Spark 的自定义功能，可使其更灵活地应对节点丢失 – 与 YARN 的退役机制集成，扩展了 Spark 的退役机制及对退役节点的操作。
请参阅文档，以了解如何配置实例队列如何创建针对Amazon EMR 的服务角色（EMR 角色 以及API 规范。
现在，在所有已推出 Amazon EMR 的 AWS 商业区域中，EMR 发行版 5.12.1 及更高版本通常都提供 Amazon EMR 对分配策略的支持。此为总Amazon EMR 区域可用性的一个链接。