发布于: Jun 19, 2023
我们很高兴地宣布，在使用 Spark 运算符和 spark-submit 运行 EMR on EKS 时，添加了 Volcano 和 Apache Yunikorn 作为任务调度器。Amazon EMR on EKS 使客户能够运行开源大数据框架，如 Apache Spark on Amazon EKS。为 Spark 作业使用自定义作业调度器可以实现精细的容量管理和更快的大规模容器组预置。
默认 Kubernetes 调度器处理单个容器组的放置，同时保持可用容量、资源请求和限制以及节点关联性等限制。但是，它不支持基于作业的调度。有了这项新功能，客户可以选择使用 Apache Yunikorn 和 Volcano，通过 Spark 运算符和 spark-submit 调度 EMR on EKS Spark 作业。客户可以利用这些调度程序中的帮派调度、队列管理、抢占、公平共享调度等功能，这有助于提供高调度吞吐量和优化容量。