ขณะนี้ Amazon EMR บน EKS รองรับการควบคุมงานที่มีกระบวนการทำงานพร้อมกันแล้ว
Amazon EMR บน EKS ช่วยให้คุณสามารถใช้งานเฟรมเวิร์ก Big Data แบบโอเพนซอร์ส เช่น Apache Spark และ Flink บนคลัสเตอร์ AWS EKS (Elastic Kubernetes Service) ได้ คุณส่งงานไปยังคลัสเตอร์เสมือนที่แมปกับ Namespace บนคลัสเตอร์ EKS และ EMR บน EKS จะจัดการการจัดแพ็กเกจ การกำหนดเวลา และการเรียกใช้แอปพลิเคชันของคุณ วันนี้ เรารู้สึกตื่นเต้นที่จะประกาศการควบคุมการรับสมัครงานบน EMR EKS พร้อมการรองรับสำหรับการทำงานพร้อมกันและสัญญาณการดันกลับจาก StartJobRun API
ด้วยการเปิดตัวครั้งนี้ คุณสามารถกำหนดขีดจำกัดจำนวนงานที่ทำงานพร้อมกันบนคลัสเตอร์เสมือนได้แล้ว ทำให้คุณควบคุมได้อย่างละเอียดว่าจะมีงานกี่งานที่ดำเนินการพร้อมกัน และมีงานกี่งานที่สามารถรออยู่ในคิวได้ นี่คือคิวเชิงตรรกะที่แสดงงานที่อยู่ในสถานะ PENDING/SUBMITTED การควบคุมเหล่านี้ช่วยปกป้องคลัสเตอร์ EKS ที่ใช้ร่วมกันจากการโอเวอร์โหลดในสภาพแวดล้อมที่ใช้ร่วมกันแบบหลายผู้เช่า และหลีกเลี่ยงความล้มเหลวในการจัดตารางเวลาเนื่องจากปัญหาเครือข่ายข้างเคียง ทำให้เวิร์กโหลดที่สำคัญของคุณทำงานได้อย่างต่อเนื่องและคาดการณ์ได้แม้ภายใต้ความต้องการใช้งานที่สูง คุณสามารถกำหนดค่าข้อจำกัดที่เป็นตัวเลือกสองข้อสำหรับคลัสเตอร์เสมือน ได้แก่ maxConcurrentJobRuns ซึ่งเป็นจำนวนงานสูงสุดที่ทำงานพร้อมกันในเวลาใดเวลาหนึ่ง และ maxInQueueJobRuns ซึ่งเป็นความลึกสูงสุดของคิวสำหรับงานที่ EMR บน EKS ยอมรับแล้วแต่ยังไม่ได้เริ่มทำงาน เมื่อคิวเต็ม StartJobRun จะส่งคืน HTTP ValidationException เพื่อให้คุณสามารถลดหรือเปลี่ยนเส้นทางการรับส่งข้อมูลไปยังคลัสเตอร์อื่นโดยมีการหยุดชะงักน้อยที่สุด แทนที่จะทำให้คลัสเตอร์เดียวทำงานหนักเกินไป คุณสามารถดูขีดจำกัดปัจจุบันและจำนวนงานแบบเรียลไทม์ได้ตลอดเวลาด้วย DescribeVirtualCluster ไม่มีการจำกัดใดๆ ที่ใช้โดยค่าเริ่มต้น ดังนั้นเวิร์กโหลดที่มีอยู่จะไม่ได้รับผลกระทบจนกว่าคุณจะเลือกเปิดใช้งาน
สามารถกำหนดขีดจำกัดจำนวนงานที่ทำงานพร้อมกันได้ในทุก AWS Region ทุกแห่งที่ให้บริการ EMR บน EKS เริ่มต้นใช้งานได้โดยดูที่ การจัดการคลัสเตอร์เสมือน