Cập nhật cụm EMR đang chạy một cách linh hoạt với tính năng đặt cấu hình lại dành cho cụm phiên bản
Amazon EMR trên EC2 hiện đã hỗ trợ cập nhật cấu hình ứng dụng theo thời gian thực cho nhóm phiên bản EMR mà không cần phải chấm dứt hoặc khởi động lại cụm. Với tính năng này, giờ đây khách hàng có thể điều chỉnh cấu hình ứng dụng một cách linh hoạt, chẳng hạn như bộ nhớ công cụ thực thi của Spark, cài đặt phân bổ tài nguyên của YARN và cài đặt HDFS trên cụm đang chạy, giúp giảm thiểu tình trạng gián đoạn khối lượng công việc của bạn. Tính năng này đặc biệt hữu ích cho hoạt động điều chỉnh phân bổ tài nguyên và tinh chỉnh ứng dụng để phù hợp với yêu cầu xử lý dữ liệu và hiệu suất công việc, đồng thời đảm bảo khả năng sử dụng tài nguyên tối ưu.
Amazon EMR là nền tảng dữ liệu lớn trên đám mây dành cho công việc xử lý dữ liệu, phân tích tương tác và công nghệ máy học bằng các khung nguồn mở như Apache Spark, Apache Flink và Trino. Trước đây, khi đặt cấu hình mới, bạn phải chấm dứt và khởi chạy lại cụm nhóm phiên bản. Quá trình này dẫn đến thời gian ngừng hoạt động, tăng khối lượng công việc vận hành và trì hoãn hoạt động điều chỉnh quy trình. Với việc hỗ trợ đặt cấu hình lại, EMR sẽ linh hoạt áp dụng cấu hình cập nhật trên các nút cụm theo cách liên tục, đồng thời đảm bảo tính ổn định của cụm và mức độ sẵn sàng của tài nguyên. Tính năng này gửi thông báo cho khách hàng thông qua sự kiện EMR và Amazon CloudWatch. Trong trường hợp xảy ra lỗi hoặc bản cập nhật không tương thích, EMR sẽ hoàn nguyên thay đổi để đảm bảo cụm của bạn vẫn hoạt động. Bạn có thể tiếp tục chạy khối lượng công việc trên cụm trong quá trình cập nhật.
Bạn có thể sử dụng tính năng này trên tất cả các bản phát hành EMR 5.21 trở lên thông qua AWS CLI hoặc API. Tính năng này được cung cấp ở tất cả các Khu vực AWS có Amazon EMR trên EC2, bao gồm cả Khu vực AWS GovCloud (Hoa Kỳ). Để tìm hiểu thêm, hãy tham khảo tài liệu tại đây.