Amazon Data Firehose, 데이터 스트림을 Amazon S3의 Apache Iceberg 형식 테이블로 전송 가능
Amazon Data Firehose(Firehose)는 이제 데이터 스트림을 Amazon S3의 Apache Iceberg 테이블로 전송할 수 있게 되었습니다.
Firehose를 사용하면 고객이 데이터 스트림을 확보하고 변환하여 Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake 및 기타 분석을 위한 대상으로 전송할 수 있습니다. 이번 신규 기능을 통해 Firehose는 Apache Iceberg와 통합되므로 고객은 Amazon S3 데이터 레이크에 있는 Apache Iceberg 테이블로 데이터 스트림을 직접 전송할 수 있습니다. Firehose는 Kinesis Data Streams, Amazon MSK 또는 Direct PUT API에서 데이터 스트림을 확보할 수 있으며, AWS WAF 웹 ACL 로그, Amazon CloudWatch Logs, Amazon VPC 흐름 로그, AWS IOT, Amazon SNS, AWS API Gateway Access 로그 및 여기에 나열된 기타 여러 로그와 같은 AWS 서비스에서 스트림을 확보하는데도 통합됩니다. 고객은 이러한 모든 소스의 데이터를 Amazon S3의 Apache Iceberg 테이블로 직접 스트리밍하여 다중 단계 프로세스를 거치지 않아도 됩니다. Firehose는 서버리스이므로 고객은 소스 및 대상 속성을 구성하여 스트림을 설정하고 처리된 바이트를 기반으로 비용을 지불하기만 하면 됩니다.
또한 신규 기능을 통해 고객은 들어오는 레코드의 콘텐츠를 기반으로 데이터 스트림의 레코드를 다른 Apache Iceberg 테이블로 라우팅할 수 있습니다. 레코드를 다른 테이블로 라우팅하려면 고객은 JSON 표현식을 사용하여 라우팅 규칙을 구성하면 됩니다. 또한 고객은 들어오는 레코드가 대상 Apache Iceberg 테이블에서 행 수준 업데이트 또는 삭제 작업을 적용할지 여부를 지정하고 데이터 수정 및 권한 삭제 시나리오에 대한 처리를 자동화할 수 있습니다.
시작하려면 Amazon Data Firehose 설명서, 요금 및 콘솔로 이동하세요.