Veröffentlicht am: Jun 19, 2023
Wir freuen uns, bekannt geben zu können, dass Volcano und Apache Yunikorn als Job-Scheduler für die Ausführung von EMR auf EKS mit Spark-Operator und Spark-Submit hinzugefügt wurden. Amazon EMR auf EKS ermöglicht Kunden die Ausführung von Open-Source-Big-Data-Frameworks wie Apache Spark auf Amazon EKS. Die Verwendung eines benutzerdefinierten Job-Schedulers für Spark-Jobs ermöglicht eine detaillierte Kapazitätsverwaltung und eine schnellere und umfangreichere Pod-Bereitstellung.
Der standardmäßige Kubernetes-Scheduler übernimmt die Platzierung der einzelnen Pods, wobei Einschränkungen wie verfügbare Kapazität, Ressourcenanforderungen und -beschränkungen sowie Knotenaffinität berücksichtigt werden. Eine auf Jobs basierende Planung wird jedoch nicht unterstützt. Mit diesem neuen Feature haben Kunden die Möglichkeit, Apache Yunikorn und Volcano zu verwenden, um EMR auf EKS Spark-Jobs mit Spark-Operator und Spark-Submit zu planen. Kunden können Features wie Gang Scheduling, Queue Management, Preemption, Fair-Share Scheduling in diesen Schedulern nutzen, um einen hohen Scheduling-Durchsatz und optimierte Kapazitäten zu erreichen.
Weitere Informationen zu diesem Feature finden Sie im Abschnitt „Benutzerdefinierte Job-Planung in unserer Dokumentation. Volcano und Apache Yunikorn als benutzerdefinierter Kubernetes-Scheduler werden für Amazon EMR in der EKS 6.10-Version und höher unterstützt und sind in allen Regionen verfügbar, in denen Amazon EMR auf EKS derzeit verfügbar ist.