Giới thiệu AWS Glue 5.1
AWS Glue 5.1 hiện đã được cung cấp rộng rãi, mang đến hiệu năng cao hơn, các bản cập nhật bảo mật, khả năng mở rộng đối với Apache Iceberg và hỗ trợ ghi với AWS Lake Formation cho khối lượng công việc tích hợp dữ liệu.
AWS Glue là dịch vụ tích hợp dữ liệu phi máy chủ và có thể điều chỉnh quy mô, giúp việc khám phá, chuẩn bị, di chuyển và tích hợp dữ liệu từ nhiều nguồn trở nên đơn giản. Bản phát hành này nâng cấp các công cụ cốt lõi lên Apache Spark 3.5.6, Python 3.11 và Scala 2.12.18, mang lại cải tiến về hiệu năng và tính bảo mật. Ngoài ra, bản phát hành này cũng cập nhật hỗ trợ cho các thư viện định dạng bảng mở, bao gồm Apache Hudi 1.0.2, Apache Iceberg 1.10.0 và Delta Lake 3.3.2.
AWS Glue 5.1 ra mắt hỗ trợ định dạng Apache Iceberg phiên bản 3.0, trong đó bổ sung thêm giá trị cột mặc định, véc-tơ xóa cho bảng hợp nhất khi đọc, biến đổi đa đối số và khả năng theo dõi dòng chảy dữ liệu theo hàng. Bản phát hành này cũng mở rộng khả năng kiểm soát truy cập chi tiết của AWS Lake Formation sang các thao tác ghi (cả DML và DDL) đối với Spark DataFrames và Spark SQL. Trước đây, khả năng này chỉ giới hạn ở các thao tác đọc. AWS Glue 5.1 cũng bổ sung tính năng kiểm soát truy cập toàn bảng trong Apache Spark cho các bảng Apache Hudi và Delta Lake, mang đến nhiều tùy chọn bảo mật toàn diện hơn cho dữ liệu của bạn.
AWS Glue 5.1 hiện được cung cấp ở Miền Đông Hoa Kỳ (Bắc Virginia), Miền Đông Hoa Kỳ (Ohio), Miền Tây Hoa Kỳ (Oregon), Châu Âu (Ireland), Châu Âu (Stockholm), Châu Âu (Frankfurt), Châu Âu (Tây Ban Nha), Châu Á Thái Bình Dương (Hồng Kông), Châu Á Thái Bình Dương (Singapore), Châu Á Thái Bình Dương (Sydney), Châu Á Thái Bình Dương (Tokyo), Châu Á Thái Bình Dương (Malaysia), Châu Á Thái Bình Dương (Thái Lan), Châu Á Thái Bình Dương (Mumbai) và Nam Mỹ (São Paulo). Hãy tham khảo tài liệu về AWS Glue để biết thêm thông tin.