게시된 날짜: Nov 29, 2022
이제 Amazon Redshift에서 Amazon Kinesis Data Streams(KDS) 및 Amazon Managed Streaming for Apache Kafka(MSK)용 실시간 스트리밍 수집이 지원됩니다. Amazon Redshift 스트리밍 수집은 스트리밍 데이터를 Amazon Redshift로 수집하기 전에 Amazon S3에서 스테이징할 필요가 없으므로, 고객이 초당 수백 메가바이트의 스트리밍 데이터를 데이터 웨어하우스로 수집하는 동시에 초 단위의 짧은 지연 시간을 달성할 수 있습니다.
데이터 엔지니어, 데이터 분석가, 빅 데이터 개발자는 Amazon KDS 및 Amazon MSK와 같은 스트리밍 엔진을 채택하여 스트리밍 애플리케이션 데이터에 거의 실시간으로 반응하는 로직과 분석을 구현함으로써 분석을 배치에서 실시간으로 발전시키고 있습니다. 현재 Amazon KDS 및 Amazon MSK와 같은 서비스에서 Amazon Redshift로 실시간 데이터를 수집하려는 고객은 먼저 Amazon S3에서 데이터를 스테이징하고 COPY 명령을 사용해야 하며, 이 경우 분 단위의 대기 시간이 소요됩니다. Amazon Redshift의 새로운 스트리밍 수집 기능을 이용하면 Redshift 내에서 SQL(Structured Query Language)을 사용하여 동시에 여러 Amazon KDS 스트림 또는 여러 Amazon MSK 주제에 연결하고 데이터를 직접 수집하는 기능을 제공할 수 있습니다. Amazon Redshift 스트리밍 수집은 스트림에 대한 구체화된 뷰를 직접 생성할 수 있으므로 데이터 파이프라인을 단순화합니다. 구체화된 뷰에는 SQL 변환이 ELT(Extract Load Transform) 파이프라인의 일부로 포함될 수도 있습니다.
구체화된 뷰를 정의한 후 자동 새로 고침 기능을 활성화하면 스트리밍 데이터가 지속적으로 KDS 스트림이나 MSK 주제에서 Amazon Redshift 스트리밍 구체화된 보기로 자동 수집됩니다. 수집 일정을 직접 제어하려는 경우에는 스트리밍 구체화된 뷰를 수동으로 새로 고칠 수도 있습니다. 이러한 방식으로 추가 비용 없이 익숙한 기존 Amazon Redshift 도구 및 SQL을 사용하여 스트리밍 데이터의 다운스트림 처리 및 변환을 수행할 수 있습니다.
이제 Amazon Redshift가 제공되는 모든 Amazon Web Services(AWS) 리전에서 Amazon Redshift 스트리밍 수집을 상용 버전으로 사용할 수 있습니다. Amazon Redshift 스트리밍 수집을 사용하려면 CURRENT 트랙에서 Amazon Redshift 클러스터를 프로비저닝하세요. Amazon Redshift 스트리밍 수집을 시작하는 방법에 대한 자세한 내용은 Amazon Redshift 설명서 페이지를 참조하세요.