Amazon EMR trên EKS hiện hỗ trợ kiểm soát khả năng xử lý đồng thời lượt chạy công việc
Amazon EMR trên EKS cho phép bạn chạy các khung dữ liệu lớn nguồn mở như Apache Spark và Flink trên các cụm AWS EKS (Elastic Kubernetes Service). Khi bạn gửi công việc đến một cụm ảo, cụm này ánh xạ đến một không gian tên trên cụm EKS, và EMR trên EKS sẽ xử lý việc đóng gói, lập lịch và chạy các ứng dụng của bạn. Hôm nay, chúng tôi rất vui được thông báo khả năng kiểm soát tiếp nhận lượt chạy công việc trên EMR EKS thông qua hỗ trợ khả năng xử lý đồng thời lượt chạy công việc và tín hiệu áp lực ngược từ API StartJobRun.
Với lần ra mắt này, giờ đây bạn có thể đặt giới hạn công việc đồng thời trên một cụm ảo, cho phép bạn kiểm soát chi tiết số lượt chạy công việc được thực thi cùng một lúc và số lượt chạy công việc có thể đợi trong hàng chờ. Đây là một hàng chờ logic đại diện cho các công việc ở trạng thái ĐANG CHỜ XỬ LÝ/ĐÃ GỬI. Các kiểm soát này giúp bạn bảo vệ các cụm EKS dùng chung không bị quá tải trong môi trường dùng chung nhiều đối tượng thuê và tránh các lỗi lập lịch có các yếu tố gây nhiễu xung quanh. Do đó, khối lượng công việc trọng yếu của bạn tiếp tục chạy theo cách có thể dự đoán ngay cả khi có nhu cầu lớn. Bạn sẽ cấu hình hai giới hạn tùy chọn trên một cụm ảo: maxConcurrentJobRuns, số lượng công việc tối đa chạy vào bất kỳ thời điểm nào và maxInQueueJobRuns, độ sâu hàng chờ tối đa cho các lượt chạy công việc mà EMR trên EKS đã chấp nhận nhưng chưa bắt đầu chạy. Khi hàng chờ đầy, StartJobRun trả về HTTP ValidationException, vì vậy bạn có thể linh hoạt giảm hoặc định tuyến lại lưu lượng truy cập đến một cụm khác thay vì gây quá tải cho một cụm duy nhất. Bạn có thể xem giới hạn hiện tại và số lượng công việc trực tiếp bất cứ lúc nào với DescribeVirtualCluster. Không có giới hạn nào được áp dụng theo mặc định, vì vậy khối lượng công việc hiện có không bị ảnh hưởng cho đến khi bạn chọn tham gia.
Giới hạn công việc đồng thời có sẵn ở tất cả các Khu vực AWS cung cấp EMR trên EKS. Để bắt đầu, hãy xem quản lý cụm ảo.