Firehose dữ liệu Amazon hỗ trợ truyền dữ liệu vào các bảng Apache Iceberg ở những Khu vực AWS khác
Giờ đây, tất cả các Khu vực AWS, trừ khu vực AWS Trung Quốc, AWS GovCloud và các khu vực ap-southeast-5, đều có thể sử dụng khả năng của Firehose dữ liệu Amazon trong việc hỗ trợ truyền luồng dữ liệu vào các bảng Apache Iceberg trong Amazon S3.
Tính năng này cho phép tích hợp Firehose với Apache Iceberg. Do đó, khách hàng có thể phân phối luồng dữ liệu trực tiếp vào bảng Apache Iceberg trong hồ dữ liệu Amazon S3. Firehose có thể thu thập luồng dữ liệu từ Luồng dữ liệu Kinesis, Amazon MSK hoặc Direct PUT API. Bạn cũng có thể tích hợp Firehose để thu thập luồng dữ liệu từ các Dịch vụ AWS như Bản ghi ACL web AWS WAF, Bản ghi Amazon CloudWatch, Bản ghi luồng Amazon VPC, AWS IOT, Amazon SNS, Nhật ký truy cập cổng API AWS và nhiều dịch vụ khác được liệt kê tại đây. Khách hàng có thể truyền dữ liệu từ các nguồn này trực tiếp vào bảng Apache Iceberg trong Amazon S3 để không phải sử dụng quy trình nhiều bước. Firehose là dịch vụ phi máy chủ. Vì vậy, khách hàng chỉ cần thiết lập một luồng bằng cách đặt cấu hình thuộc tính nguồn và đích, cũng như thanh toán dựa trên số byte được xử lý.
Tính năng mới này cũng cho phép khách hàng định tuyến bản ghi trong luồng dữ liệu tới các bảng Apache Iceberg khác nhau dựa trên nội dung của bản ghi đến. Để định tuyến bản ghi đến các bảng khác nhau, khách hàng có thể đặt cấu hình quy tắc định tuyến bằng biểu thức JSON. Ngoài ra, khách hàng có thể chỉ định xem bản ghi đến nên áp dụng thao tác xóa hay cập nhật ở cấp độ hàng trong bảng Apache Iceberg đích, đồng thời tự động xử lý các trường hợp sửa dữ liệu và áp dụng quyền được lãng quên.
Để tìm hiểu thêm và bắt đầu, hãy truy cập tài liệu, trang giá và bảng điều khiển của Firehose dữ liệu Amazon.