Amazon EMR hiện hỗ trợ Apache Spark 4.0.2 dưới hình thức cung cấp rộng rãi
Amazon EMR hiện hỗ trợ Apache Spark 4.0.2 trên cả ba mô hình triển khai. Với Spark 4.0.2, bạn có thể xây dựng và duy trì các quy trình dữ liệu dễ dàng hơn với các loại dữ liệu ANSI SQL và VARIANT, thực thi kiểm soát truy cập chi tiết (FGAC) ở cấp hàng hoặc cấp cột, củng cố các khung tuân thủ và quản trị với định dạng bảng Apache Iceberg v3 và triển khai các ứng dụng thời gian thực mới nhanh hơn với khả năng truyền phát trực tuyến nâng cao.
Với Spark 4.0.2, bạn có thể xây dựng các quy trình dữ liệu, giúp kỹ thuật lấy đặc trưng dữ liệu dễ tiếp cận với nhiều đối tượng người dùng hơn thông qua hỗ trợ ANSI SQL tiêu chuẩn, nhờ đó không cần học cú pháp đặc thù của Spark. Spark 4.0.2 cung cấp hỗ trợ gốc cho dữ liệu JSON và bán cấu trúc thông qua các loại dữ liệu VARIANT, giúp xử lý các định dạng dữ liệu đa dạng một cách linh hoạt. Bạn có thể thực thi kiểm soát truy cập chi tiết (FGAC) đối với cả hai thao tác đọc và ghi cho các bảng đã đăng ký của AWS Lake Formation trong các công việc Apache Spark. Dựa trên các khả năng bảo mật này, định dạng bảng Apache Iceberg v3 cung cấp đảm bảo giao dịch mạnh mẽ hơn và theo dõi dòng chảy dữ liệu, tạo ra các biên bản kiểm tra cần thiết để tuân thủ quy định. Kiểm soát phát trực tuyến nâng cao đơn giản hóa việc quản lý các thao tác có trạng thái phức tạp và cải thiện giám sát, cho phép bạn tăng tốc triển khai các ứng dụng thời gian thực để phát hiện gian lận, cá nhân hóa và các trường hợp sử dụng gấp rút khác.
Apache Spark 4.0.2 được hỗ trợ ở tất cả các khu vực có EMR. Nếu đang nâng cấp ứng dụng EMR hiện có, bạn có thể sử dụng tác tử nâng cấp Apache Spark để tăng tốc nâng cấp. Để tìm hiểu thêm về Apache Spark 4.0.2 trên Amazon EMR, hãy truy cập thông báo phát hành Amazon EMR hoặc bắt đầu bằng cách tạo ứng dụng EMR bằng Spark 4.0.2 từ Bảng điều khiển quản lý AWS.