Amazon EMR phi máy chủ loại bỏ việc cung cấp dung lượng lưu trữ cục bộ cho khối lượng công việc Apache Spark
Amazon EMR phi máy chủ hiện đã cung cấp dịch vụ lưu trữ phi máy chủ giúp loại bỏ việc cung cấp dung lượng lưu trữ cục bộ cho khối lượng công việc Apache Spark, giảm đến 20% chi phí xử lý dữ liệu và phòng ngừa lỗi công việc do hạn chế dung lượng ổ đĩa. Bạn không còn phải cấu hình loại ổ đĩa cục bộ và kích thước cho từng ứng dụng nữa. EMR phi máy chủ sẽ tự động xử lý các thao tác dữ liệu trung gian như xáo trộn mà không tính phí lưu trữ cục bộ. Bạn chỉ thanh toán cho tài nguyên điện toán và bộ nhớ mà công việc của bạn sử dụng.
EMR phi máy chủ giảm tải các thao tác dữ liệu trung gian sang bộ lưu trữ phi máy chủ được quản lý hoàn toàn, tự động điều chỉnh quy mô, có chức năng mã hóa dữ liệu đang được truyền và đang được lưu trữ với khả năng phân lập cấp công việc. Dịch vụ lưu trữ phi máy chủ phân tách việc lưu trữ khỏi điện toán, cho phép Spark giải phóng nút thợ ngay lập tức khi nhàn rỗi thay vì giữ cho nút thợ hoạt động để bảo tồn dữ liệu tạm thời. Việc này giúp loại bỏ lỗi công việc do dung lượng ổ đĩa không đủ và giảm chi phí bằng cách tránh tình trạng để nút thợ nhàn rỗi. Điều này đặc biệt có giá trị đối với các công việc sử dụng tính năng phân bổ tài nguyên động, ví dụ như các công cụ đề xuất xử lý hàng triệu tương tác của khách hàng, trong đó giai đoạn ban đầu phải xử lý các tập dữ liệu lớn, cần xử lý song song nhiều rồi thu hẹp lại dưới dạng tổng hợp dữ liệu.
Tính năng này sẽ được cung cấp rộng rãi cho bản phát hành EMR 7.12 trở lên. Hãy tham khảo Khu vực AWS được hỗ trợ để biết độ sẵn sàng. Để bắt đầu sử dụng, hãy truy cập tài liệu về lưu trữ phi máy chủ cho EMR phi máy chủ.