Amazon Redshift bổ sung hỗ trợ để tạo và làm mới các chế độ xem cụ thể hóa Apache Iceberg
Amazon Redshift hiện hỗ trợ tạo và làm mới chế độ xem cụ thể hóa của Apache Iceberg. Chế độ xem cụ thể hóa tính toán trước các kết nối và tổng hợp tiêu tốn tài nguyên một lần và lưu trữ kết quả trong bảng Apache Iceberg trong Amazon S3 hoặc vùng lưu trữ bảng Amazon S3, được đăng ký trong Danh mục dữ liệu AWS Glue. Chế độ xem cụ thể hóa được tạo bằng SQL quen thuộc – CREATE MATERIALIZED VIEW ... USING ICEBERG và kết quả có thể truy vấn tức thì bởi bất kỳ công cụ nào tương thích với Iceberg, bao gồm Amazon Athena, Apache Spark trên Amazon EMR và AWS Glue, cũng như các công cụ của bên thứ ba như Trino hoặc Snowflake. Redshift giữ cho các chế độ xem đó được cập nhật bằng cách chỉ tính toán lại những gì đã thay đổi với tính năng làm mới gia tăng thủ công. Vì kết quả là các bảng Iceberg trong Danh mục dữ liệu Glue, các bảng này sẽ được quản trị và phát hiện giống như bất kỳ bảng danh mục nào khác.
Các nhóm dữ liệu thường xây dựng phân tích theo giai đoạn, kết hợp các công cụ khác nhau để dọn dẹp và chuyển đổi dữ liệu thô trước khi cung cấp dữ liệu. Điều này làm tăng chi phí điều phối quy trình và có thể dẫn đến khác biệt ngữ nghĩa giữa các công cụ. Chế độ xem cụ thể hóa của Iceberg mang lại giá trị theo hai cách. Đầu tiên, thay vì hàng trăm người dùng và các nhóm chạy lại các kết nối và tổng hợp tiêu tốn tài nguyên giống nhau, và quét lại các bảng nguồn trên mỗi truy vấn, bạn sẽ tính kết quả một lần và mọi người đọc bảng được tính toán trước. Thứ hai, bạn có thể chạy quy trình đầu cuối bằng cách sử dụng một công cụ duy nhất như Apache Spark và bây giờ là Amazon Redshift. Đồng thời, mọi đối tượng tiêu thụ hạ nguồn đều dùng chung một kết quả mở mà không mất chi phí điều phối nhiều công cụ. Dù bằng cách nào, đầu ra là một bảng Iceberg mở mà bất kỳ công cụ nào cũng có thể đọc mà không cần sao chép hoặc chuyển đổi. Bạn vẫn có thể tải các bảng này vào Bộ lưu trữ được quản lý của Redshift (RMS) dưới dạng chế độ xem cụ thể hóa RMS gốc cho bảng điều khiển đòi hỏi cao nhất về hiệu năng của bạn.
Bạn có thể tạo Chế độ xem cụ thể hóa của Iceberg ở bất kỳ khu vực nào hỗ trợ Redshift phi máy chủ và các phiên bản Graviton được cung cấp. Để tìm hiểu thêm, hãy xem Chế độ xem cụ thể hóa được lưu trữ dưới dạng bảng Apache Iceberg trong Hướng dẫn dành cho nhà phát triển về Cơ sở dữ liệu Amazon Redshift, tham chiếu lệnh CREATE MATERIALIZED VIEW và bài đăng blog Cụ thể hóa một lần, truy vấn ở bất kỳ đâu.