게시된 날짜: Feb 10, 2022
Amazon Redshift에서 Kinesis Data Streams(KDS)를 위한 스트리밍 수집 지원 기능을 출시합니다. Amazon Redshift의 스트리밍 수집은 데이터를 Amazon Redshift로 수집하기 전에 Amazon S3에서 스테이징할 필요가 없으므로, 고객이 초당 수백 메가바이트의 스트리밍 데이터를 데이터 웨어하우스로 수집하는 동시에 초 단위의 짧은 대기 시간을 달성할 수 있습니다.
데이터 엔지니어, 데이터 분석가, 빅 데이터 개발자는 Amazon Kinesis와 같은 스트리밍 엔진을 채택하여 스트리밍 애플리케이션 데이터에 거의 실시간으로 반응하는 로직과 분석을 구현함으로써 분석을 배치에서 실시간으로 발전시키고 있습니다. 현재 Amazon Kinesis와 같은 서비스에서 Amazon Redshift로 실시간 데이터를 수집하려는 고객은 먼저 Amazon S3에서 데이터를 스테이징하고 COPY 명령을 사용해야 하며, 이 경우 분 단위의 대기 시간이 소요됩니다. Amazon Redshift의 새로운 스트리밍 수집 기능을 이용하면 Redshift 내에서 SQL(Structured Query Language)을 사용하여 동시에 여러 Kinesis Data Streams에 연결하고 데이터를 직접 수집하는 기능을 제공할 수 있습니다. Amazon Redshift 스트리밍 수집은 스트림에 대한 구체화된 보기를 직접 생성할 수 있으므로 데이터 파이프라인을 단순화합니다. 구체화된 보기에는 SQL 변환이 ELT(Extract Load Transform) 파이프라인의 일부로 포함될 수도 있습니다. 구체화된 보기가 정의되면 이를 수동으로 새로 고쳐 최신 스트림 데이터를 쿼리할 수 있습니다. 이러한 방식으로 추가 비용 없이 익숙한 기존 도구 및 SQL을 사용하여 스트리밍 데이터의 다운스트림 처리 및 변환을 수행할 수 있습니다.
이제 Amazon Redshift가 제공되는 모든 Amazon Web Services(AWS) 리전에서 Amazon Redshift 스트리밍 수집 평가판을 사용할 수 있습니다. Amazon Redshift 스트리밍 수집을 사용하려면 CURRENT 트랙에서 Amazon Redshift 클러스터를 프로비저닝하고 클러스터가 버전 1.0.35480 이상을 실행 중인지 확인하세요. 평가판 기능은 본래 평가 및 테스트 목적으로 제공되므로 프로덕션 시스템이나 프로덕션 데이터와 함께 사용해서는 안 됩니다. 평가판 이용 약관은 AWS 서비스 약관에서 Beta Service Participation을 참조하세요. Amazon Redshift 스트리밍 수집을 시작하는 방법에 대한 자세한 내용은 Amazon Redshift 설명서 페이지를 참조하세요. 질문이나 피드백이 있으면 주저하지 말고 redshiftstreamingingestion@amazon.com으로 문의하세요.