Amazon EMR on EKS kini mendukung kontrol konkurensi eksekusi pekerjaan
Amazon EMR on EKS memungkinkan Anda menjalankan kerangka kerja big data sumber terbuka, seperti Apache Spark dan Flink, pada klaster AWS EKS (Elastic Kubernetes Service). Anda mengirimkan pekerjaan ke klaster virtual yang dipetakan ke sebuah namespace pada klaster EKS, dan EMR on EKS menangani pengemasan, penjadwalan, serta eksekusi aplikasi Anda. Hari ini, kami dengan senang hati mengumumkan kontrol penerimaan eksekusi pekerjaan pada EMR EKS dengan dukungan untuk konkurensi eksekusi pekerjaan dan sinyal tekanan balik dari API StartJobRun.
Dengan peluncuran ini, Anda kini dapat menetapkan batas pekerjaan konkuren pada klaster virtual, sehingga Anda memiliki kendali yang lebih rinci atas jumlah pekerjaan yang berjalan secara bersamaan dan jumlah pekerjaan yang dapat menunggu dalam antrean. Ini adalah antrean logis yang merepresentasikan pekerjaan dalam status PENDING/SUBMITTED. Kontrol ini membantu Anda melindungi klaster EKS bersama agar tidak kelebihan beban di lingkungan bersama multi-tenant dan menghindari kegagalan penjadwalan tetangga yang berisik, sehingga beban kerja penting Anda tetap berjalan secara terprediksi bahkan di bawah permintaan yang tinggi. Anda mengkonfigurasi dua batasan opsional pada klaster virtual: maxConcurrentJobRuns, jumlah maksimum pekerjaan yang berjalan pada waktu tertentu, dan maxInQueueJobRuns, kedalaman antrean maksimum untuk eksekusi pekerjaan yang telah diterima EMR on EKS tetapi belum mulai berjalan. Saat antrean penuh, StartJobRun mengembalikan HTTP ValidationException, sehingga Anda dapat mengalihkan atau memindahkan lalu lintas ke klaster lain secara tertib, alih-alih membebani satu klaster secara berlebihan. Anda dapat melihat batasan saat ini dan jumlah pekerjaan langsung kapan saja dengan DescribeVirtualCluster. Tidak ada batasan yang diterapkan secara default, sehingga beban kerja yang ada tidak akan terdampak kecuali Anda memilih untuk mengaktifkannya.
Batasan pekerjaan konkuren tersedia di semua AWS Region tempat EMR on EKS ditawarkan. Untuk memulai, lihat pengelolaan klaster virtual.