Amazon Data Firehose, 데이터베이스 변경 사항을 Amazon S3의 Apache Iceberg 테이블에 지속적으로 복제할 수 있도록 지원
이제 Amazon Data Firehose에서 데이터베이스 변경 사항을 캡처하고 Amazon S3의 Apache Iceberg 테이블에 복제할 수 있게 되었습니다(평가판). 고객은 이번 신규 기능을 통해 MySQL 및 PostgreSQL 데이터베이스의 실시간 데이터를 Apache Iceberg 테이블로 손쉽게 직접 스트리밍할 수 있습니다.
Firehose는 고객이 데이터 스트림을 캡처하고 변환하여 Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake 및 기타 분석을 위한 대상으로 전송할 수 있는 완전관리형 서버리스 스트리밍 서비스입니다. 이 기능을 통해 Firehose는 선택한 데이터베이스 테이블에서 초기 전체 데이터 복사를 수행한 다음 변경 데이터 캡처(CDC) 업데이트를 지속적으로 스트리밍하여 Apache Iceberg 테이블의 삽입, 업데이트 및 삭제를 반영합니다. 이 간소화된 솔루션은 복잡한 데이터 파이프라인 설정을 없애고 데이터베이스 트랜잭션 성능에 미치는 영향을 최소화합니다.
주요 기능은 다음과 같습니다. • 소스 데이터베이스 스키마와 일치하는 Apache Iceberg 테이블 자동 생성 • 소스 변경에 대한 응답으로 자동 스키마 진화 • 특정 데이터베이스, 테이블 및 열의 선택적 복제
이 평가판 모드의 기능은 중국, AWS GovCloud(미국) 및 아시아 태평양(말레이시아) 리전을 제외한 모든 AWS 리전에서 사용할 수 있습니다. 이용 약관은 AWS 서비스 약관의 베타 서비스 참여 섹션을 참조하세요.
시작하려면 Amazon Data Firehose 설명서 및 콘솔로 이동하세요.
이 기능에 대한 자세한 내용은 이 AWS Blog 게시물을 참조하세요.