Amazon EMR Serverless 推出作业运行并发和排队控制

发布于: 2024年10月1日

Amazon EMR Serverless 是 Amazon EMR 中的一个无服务器选项，让数据工程师和数据科学家能够轻松运行开源大数据分析框架，而无需配置、管理和扩展集群或服务器。今天，我们很高兴地宣布，在 Amazon EMR Serverless 上推出作业运行准入控制，并支持作业运行并发和排队控制。

利用作业运行并发和排队，您能够配置应用程序的最大并发作业运行数，并自动对提交的所有其他作业运行进行排队。这可以防止在以下两种情况下导致作业运行失败：因作业运行提交数激增而超出 API 限制；因超出账户或应用程序的最大并发 vCPU 限制或超出底层子网的 IP 地址限制而导致资源耗尽。此外，作业运行排队功能还简化了作业运行管理，因此无需构建复杂的排队管理系统来重试因限制错误（例如，最大并发 vCPU 数、子网 IP 地址限制等）而导致失败的作业。借助此功能，当并发槽可用时，系统会自动对作业进行排队和处理，确保提高资源利用率并防止作业失败。

Amazon EMR Serverless 作业运行并发和排队功能已在提供 AWS EMR Serverless 的所有 AWS 区域推出，包括 AWS GovCloud（美国）区域，但不包括中国区域。要了解更多信息，请参阅 EMR Serverless 文档中的作业并发和排队。