发布于: Jun 24, 2021
使用带有分配策略的 EMR 实例队列时,您现在可以为每个主节点组、核心节点组和任务节点组指定最多 30 个 EC2 实例类型。以前,只能为任务节点指定 15 个 EC2 实例类型,为主节点和核心节点指定 5 个 EC2 实例类型。这种数量的提升可让您指定更广泛的实例大小、世代和系列,而您的工作负载可以跨这些实例运转,从容改善对 Spot 和按需容量的访问。
您可以使用上限提高方式来增加对 Spot 容量的访问并降低 Spot 中断的风险。当您使用分配策略时,EMR 从所选实例类型列表中选择可用性最高的 Spot 池。通过向列表中添加更多实例类型,您可以让 EMR 考虑更多且可能可用性更高的池来预置容量。切实发生中断时,EMR 能够更快地替换该容量,因为它可以从更广泛的实例池中进行选择。
对于大型集群,您可以通过指定尽可能多的实例类型来更好地访问按需容量。在这种情况下,EMR 能够从更广泛的实例池中进行选择并跨实例类型预置容量,直到满足您的要求。
要开始使用,请阅读配置实例队列和 EMR API 参考。