Amazon EMR on EKS unterstützt jetzt Steuerungen für die gleichzeitige Ausführung von Jobs
Mit Amazon EMR on EKS können Sie Open-Source-Big-Data-Frameworks wie Apache Spark und Flink auf AWS-EKS-Clustern (Elastic Kubernetes Service) ausführen. Sie übermitteln Jobs an einen virtuellen Cluster, der einem Namespace in einem EKS-Cluster zugeordnet ist. EMR on EKS übernimmt dabei das Paketieren, Planen und Ausführen Ihrer Anwendungen. Heute freuen wir uns, Job-Run-Admission-Control auf EMR on EKS mit Unterstützung für Job-Run-Parallelität und Backpressure-Signale über die StartJobRun-API anzukündigen.
Mit diesem Launch können Sie jetzt Limits für gleichzeitig ausgeführte Jobs in einem virtuellen Cluster festlegen. So erhalten Sie eine feingranulare Kontrolle darüber, wie viele Job Runs gleichzeitig ausgeführt werden und wie viele in der Warteschlange warten können. Dabei handelt es sich um eine logische Warteschlange für Jobs im Status PENDING/SUBMITTED. Diese Steuerungen helfen Ihnen, gemeinsam genutzte EKS-Cluster in Multi-Tenant-Umgebungen vor Überlastung zu schützen und Scheduling-Fehler durch Noisy Neighbors zu vermeiden, damit Ihre kritischen Workloads auch bei hoher Nachfrage vorhersehbar weiterlaufen. Sie konfigurieren zwei optionale Limits für einen virtuellen Cluster: maxConcurrentJobRuns, die maximale Anzahl von Jobs, die zu einem beliebigen Zeitpunkt ausgeführt werden, und maxInQueueJobRuns, die maximale Warteschlangentiefe für Job Runs, die EMR on EKS angenommen, aber noch nicht gestartet hat. Wenn die Warteschlange voll ist, gibt StartJobRun eine HTTP ValidationException zurück, sodass Sie Traffic kontrolliert ablehnen oder an einen anderen Cluster weiterleiten können, statt einen einzelnen Cluster zu überlasten. Aktuelle Limits und Live-Jobzahlen können Sie jederzeit mit DescribeVirtualCluster einsehen. Standardmäßig werden keine Limits angewendet, sodass bestehende Workloads unverändert bleiben, bis Sie sich dafür entscheiden.
Limits für gleichzeitige Jobs sind in allen AWS-Regionen verfügbar, in denen EMR on EKS angeboten wird. Informationen zum Einstieg finden Sie unter Verwalten virtueller Cluster.