EKS üzerindeki Amazon EMR artık iş çalıştırma eş zamanlılığı denetimlerini destekliyor
EKS'deki Amazon EMR, AWS EKS (Elastic Kubernetes Service) kümelerinde Apache Spark ve Flink gibi açık kaynaklı büyük veri çerçevelerini çalıştırmanıza olanak tanır. İşleri, EKS kümesindeki bir ad alanına eşlenen sanal bir kümeye gönderirsiniz ve EKS üzerindeki EMR, uygulamalarınızı paketleme, zamanlama ve çalıştırmayı yönetir. Bugün, StartJobRun API'sinden iş çalıştırma eş zamanlılığı ve ters yönde baskı sinyalleri desteğiyle EMR EKS'de iş çalıştırma kabul denetimini duyurmaktan mutluluk duyuyoruz.
Bu lansman ile sanal kümede eş zamanlı iş sınırları belirleyerek, aynı anda kaç iş çalıştırmasının yürütüleceği ve kaç iş kuyruğunda bekleyebileceği üzerinde ayrıntılı kontrol sağlayabilirsiniz. Bu, BEKLEMEDE/GÖNDERİLDİ durumundaki işleri temsil eden mantıksal bir kuyruktur. Bu denetimler, paylaşılan EKS kümelerini çok kiracılı paylaşılan ortamlarda aşırı yüklenmekten korumanıza ve gürültülü komşu zamanlama hatalarını önlemenize yardımcı olur, böylece kritik iş yükleriniz yoğun talep altında bile öngörülebilir şekilde çalışmaya devam eder. Sanal kümede iki isteğe göre sınırı yapılandırırsınız: maxConcurrentJobRuns, herhangi bir zamanda çalışan maksimum iş sayısı ve maxInQueueJobRuns, EKS üzerindeki EMR'nin kabul ettiği ancak henüz çalışmaya başlamadığı iş çalıştırmaları için maksimum sıra derinliği. Kuyruk dolduğunda, StartJobRun bir HTTP ValidationException döndürür, böylece trafiği tek bir kümeyi doldurmak yerine sorunsuz bir şekilde başka bir kümeye atabilir veya yeniden yönlendirebilirsiniz. Mevcut sınırları ve canlı iş sayılarını istediğiniz zaman DescribeVirtualCluster ile görüntüleyebilirsiniz. Varsayılan olarak herhangi bir sınır uygulanmadığı için siz onaylayana kadar mevcut iş yükleri etkilenmez.
Eş zamanlı iş sınırları, EKS üzerinde EMR'nin sunulduğu tüm AWS Bölgelerinde mevcuttur. Başlamak için sanal kümeleri yönetme sayfasına bakın.