Amazon Kinesis Data Streams, Amazon S3 Tables의 Apache Iceberg 테이블로 데이터를 전송하는 스트리밍 테이블 발표
Amazon Kinesis Data Streams는 Kinesis 스트림에서 Amazon S3 Tables로 Apache Iceberg 형식 데이터를 지속적으로 전송하는 완전 서버리스 기능인 스트리밍 테이블을 도입합니다. 스트리밍 테이블을 사용하면 자체 관리형 Iceberg 전송 파이프라인을 구축, 운영할 필요가 없으므로 데이터 전송 비용이 최대 50% 절감됩니다. 지능형 인라인 압축은 작은 파일 문제를 없애고 쿼리 성능을 예측 가능하게 유지하여 다운스트림 쿼리 비용을 최대 30% 줄입니다.
Amazon Kinesis Data Streams는 모든 규모의 데이터 스트림을 쉽게 캡처, 처리 및 저장할 수 있는 서버리스 스트리밍 데이터 서비스입니다. 최신 데이터를 사용하여 거의 실시간 분석, AI/ML 기능 파이프라인을 지원하기 위해 Apache Iceberg 테이블에 스트리밍 데이터를 제공하려는 고객이 점점 늘어나고 있습니다. 현재 고객들은 이를 위해 사용자 지정 파이프라인을 구축하여 관리하고, 형식 변환을 처리하고, 컴퓨팅 인프라를 관리하느라 비용을 늘리고 있습니다. 또한 대용량 스트리밍 수집은 다운스트림 쿼리 성능을 저해하고 스토리지 비용을 높이는, 작은 Parquet 파일을 많이 생성합니다. 스트리밍 테이블 고객은 Kinesis 스트림에서 Amazon S3 Tables로 데이터를 지속적으로 전송하는 완전 서버리스 기능인 스트리밍 테이블을 만들기만 하면 됩니다. 지능형 인라인 압축이 작은 파일의 성능 영향을 없애고, 데이터 최신성을 희생하지 않으면서 쿼리 성능을 예측 가능한 상태로 유지합니다. Kinesis Data Streams가 스케일링, 재시도, 압축, 전송 신뢰성을 자동으로 처리하고 사용자 지정 애플리케이션, 자체 관리형 컴퓨팅, 운영 오버헤드 없이 몇 분 만에 데이터를 제공합니다. 고객은 콘솔에 통합 경험으로 제공되는 몇 번의 클릭만으로 또는 API를 통해 스트리밍 테이블을 구성할 수 있습니다.
스트리밍 테이블은 설치 비용이나 최소 약정 없이 사용량 기반 요금으로 온디맨드 어드밴티지(ODA), 온디맨드 스탠다드(ODS) 용량 모드를 지원합니다. 성공적으로 전송된 데이터에 대해서만 요금이 부과됩니다. 스트리밍 테이블은 AWS GovCloud(미국) 및 중국 리전을 포함하여 Amazon Kinesis Data Streams가 제공되는 모든 AWS 리전에서 사용할 수 있습니다. 시작하려면 Amazon Kinesis Data Streams 사용 설명서와 요금 페이지를 참조하세요.