Firehose dữ liệu Amazon phân phối luồng dữ liệu vào bảng định dạng Apache Iceberg trong Amazon S3
Firehose dữ liệu Amazon (Firehose) hiện có thể phân phối luồng dữ liệu vào bảng Apache Iceberg trong Amazon S3.
Firehose cho phép khách hàng thu thập, chuyển đổi và phân phối luồng dữ liệu vào Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake và các điểm đến khác để phân tích. Tính năng mới này cho phép tích hợp Firehose với Apache Iceberg. Do đó, khách hàng có thể phân phối luồng dữ liệu trực tiếp vào bảng Apache Iceberg trong hồ dữ liệu Amazon S3. Firehose có thể thu thập luồng dữ liệu từ Luồng dữ liệu Kinesis, Amazon MSK hoặc Direct PUT API. Bạn cũng có thể tích hợp Firehose để thu thập luồng dữ liệu từ các Dịch vụ AWS như Bản ghi ACL web AWS WAF, Bản ghi Amazon CloudWatch, Bản ghi luồng Amazon VPC, AWS IOT, Amazon SNS, Nhật ký truy cập cổng API AWS và nhiều dịch vụ khác được liệt kê tại đây. Khách hàng có thể truyền dữ liệu từ các nguồn này trực tiếp vào bảng Apache Iceberg trong Amazon S3 để không phải sử dụng quy trình nhiều bước. Firehose là dịch vụ phi máy chủ. Vì vậy, khách hàng chỉ cần thiết lập một luồng bằng cách đặt cấu hình thuộc tính nguồn và đích, cũng như thanh toán dựa trên số byte được xử lý.
Tính năng mới này cũng cho phép khách hàng định tuyến bản ghi trong luồng dữ liệu tới các bảng Apache Iceberg khác nhau dựa trên nội dung của bản ghi đến. Để định tuyến bản ghi đến các bảng khác nhau, khách hàng có thể đặt cấu hình quy tắc định tuyến bằng biểu thức JSON. Ngoài ra, khách hàng có thể chỉ định xem bản ghi đến nên áp dụng thao tác xóa hay cập nhật ở cấp độ hàng trong bảng Apache Iceberg đích, đồng thời tự động xử lý các trường hợp sửa dữ liệu và áp dụng quyền được lãng quên.
Để bắt đầu, hãy truy cập tài liệu, trang giá và bảng điều khiển của Firehose dữ liệu Amazon.