Các trình truyền tải Amazon MSK Express hiện phân phối dữ liệu đến các bảng phát trực tuyến cho Apache Iceberg
Các trình truyền tải Amazon MSK Express giờ đây phân phối dữ liệu đến các bảng phát trực tuyến cho Apache Iceberg, một khả năng mới liên tục hiện thực hóa các chủ đề Apache Kafka dưới dạng bảng Apache Iceberg trên Bảng Amazon S3. Việc phân phối dữ liệu Amazon MSK đến các bảng phát trực tuyến có thể giảm chi phí tải nhập và phân phối dữ liệu Apache Kafka vào Bảng Amazon S3 lên đến 60% so với các triển khai tự quản lý và giảm chi phí truy vấn hạ nguồn lên đến 30% so với triển khai Apache Kafka tự quản lý.
Khách hàng dựa vào Apache Kafka để tải nhập dữ liệu thời gian thực cho các trường hợp sử dụng như phát hiện gian lận và cá nhân hóa và ngày càng muốn hợp nhất dữ liệu đó với các bảng Apache Iceberg để phân tích gần theo thời gian thực. Tuy nhiên, việc tích hợp cả hai buộc họ phải vận hành các quy trình tùy chỉnh phức tạp, quản lý chuyển đổi định dạng và đối mặt với vấn đề tệp nhỏ, trong đó việc tải nhập khối lượng lớn tạo ra nhiều tệp parquet nhỏ làm chậm truy vấn hạ nguồn và tăng chi phí. Với khả năng này, tính năng nén nội tuyến thông minh giúp loại bỏ tác động hiệu năng của các tệp nhỏ và giữ cho hiệu năng truy vấn có thể dự đoán được mà không ảnh hưởng đến độ mới của dữ liệu, trong khi khả năng điều phối tích hợp giải quyết xung đột trình ghi đồng thời giữa các đối tượng tiêu thụ thông lượng cao. Amazon MSK hỗ trợ thông lượng lên đến 10 GB/giây để phân phối đến Apache Iceberg trên Bảng Amazon S3 và vì khả năng gốc này không bổ sung thông lượng đầu ra của trình truyền tải, khách hàng tránh được chi phí cơ sở hạ tầng gia tăng của việc điều chỉnh quy mô quy trình của trình kết nối và khớp dung lượng với nhu cầu thực tế thay vì theo mức đỉnh. Khách hàng phân phối dữ liệu đến các bảng phát trực tuyến và truy vấn hoặc chuyển đổi dữ liệu bằng bất kỳ công cụ nào họ chọn, bao gồm Apache Spark, Trino hoặc Apache Flink.
Để bắt đầu, khách hàng sẽ mở bảng điều khiển Amazon MSK, chọn cụm Express và bật khả năng này với vài cú nhấp chuột hoặc sử dụng API MSK hoặc máy chủ MCP. Phân phối dữ liệu Amazon MSK tới các bảng phát trực tuyến hiện có sẵn ở mọi Khu vực AWS cung cấp trình truyền tải Amazon MSK Express. Để biết thông tin về mức giá, hãy truy cập trang định giá. Để tìm hiểu thêm, hãy truy cập Hướng dẫn dành cho nhà phát triển về Amazon MSK và các kỹ năng AI của Amazon MSK.