Firehose dữ liệu của Amazon hỗ trợ sao chép liên tục các thay đổi cơ sở dữ liệu vào Bảng Apache Iceberg trong Amazon S3
Giờ đây, Firehose dữ liệu của Amazon đã cho phép thu thập và sao chép thay đổi ở cơ sở dữ liệu vào Bảng Apache Iceberg trong Amazon S3 (Bản xem trước). Tính năng mới này cho phép khách hàng dễ dàng truyền dữ liệu theo thời gian thực từ cơ sở dữ liệu MySQL và PostgreSQL trực tiếp vào Bảng Apache Iceberg.
Firehose là dịch vụ truyền dữ liệu phi máy chủ được quản lý hoàn toàn, cho phép khách hàng thu thập, chuyển đổi và phân phối luồng dữ liệu vào Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake và các điểm đến khác để phân tích. Với tính năng này, Firehose thực hiện lần sao chép dữ liệu hoàn chỉnh đầu tiên từ bảng cơ sở dữ liệu đã chọn, sau đó liên tục truyền dữ liệu cập nhật bằng tính năng Thu thập dữ liệu thay đổi (CDC) để phản ánh thông tin, cập nhật và bị xóa vào Bảng Apache Iceberg. Với giải pháp hợp lý này, bạn không cần phải thực hiện các thiết lập quy trình dữ liệu phức tạp đồng thời giảm thiểu tác động đến hiệu suất giao dịch cơ sở dữ liệu.
Các tính năng chính bao gồm: • Tự động tạo Bảng Apache Iceberg khớp với lược đồ cơ sở dữ liệu nguồn • Tự động phát triển lược đồ để đáp ứng các thay đổi của nguồn • Sao chép có chọn lọc các cơ sở dữ liệu, bảng và cột cụ thể
Tính năng xem trước này được cung cấp ở tất cả các khu vực AWS, ngoại trừ Trung Quốc, AWS GovCloud (Hoa Kỳ) và Châu Á Thái Bình Dương (Malaysia). Để biết các điều khoản và điều kiện, hãy xem phần Tham gia dịch vụ ở giai đoạn beta trong Điều khoản dịch vụ của AWS.
Để bắt đầu, hãy truy cập tài liệu và bảng điều khiển của Firehose dữ liệu Amazon.
Để tìm hiểu thêm về tính năng này, hãy xem bài đăng trên blog AWS.