投稿日: Nov 29, 2022
Amazon Redshift では、Amazon Kinesis Data Streams (KDS) と Amazon Managed Streaming for Apache Kafka (MSK) のリアルタイムストリーミング取り込みをサポートするようになりました。Amazon Redshift のストリーミング取り込みを使用すると、ストリーミングデータを Amazon Redshift に取り込む前に Amazon S3 でステージングする必要がなくなり、1 秒あたり数百メガバイトのストリーミングデータをデータウェアハウスに取り込みながら、秒単位で測定される低レイテンシーを実現できます。
データエンジニア、データアナリスト、ビッグデータデベロッパーは、分析をバッチからリアルタイムに進化させ、Amazon KDS や Amazon MSK などのストリーミングエンジンを採用して、ストリーミングアプリケーションデータにほぼリアルタイムの応答ロジックと分析を実装しています。現在、Amazon KDS や Amazon MSK などのサービスから Amazon Redshift にリアルタイムデータを取り込みたいユーザーは、最初に Amazon S3 でデータをステージングし、COPY コマンドを使用する必要があり、数分のレイテンシーを実現しています。Amazon Redshift の新しいストリーミング取り込み機能を使用すると、Redshift 内で SQL (Structured Query Language) を使用して、複数の Amazon KDS ストリームや Amazon MSK トピックに同時に接続してデータを直接取り込むことができます。Amazon Redshift のストリーミング取り込みは、ストリームの上にマテリアライズドビューを直接作成できるようにすることで、データパイプラインを簡素化します。マテリアライズドビューには、ELT (抽出、変換、ロード) パイプラインの一部として SQL 変換を含めることもできます。
マテリアライズドビューが定義されると、Auto Refresh 機能が有効の場合、ストリーミングデータは KDS ストリームまたは MSK トピックから Amazon Redshift ストリーミングのマテリアライズドビューに自動的かつ継続的に取り込まれます。取り込みのスケジュールを直接制御する必要がある場合には、ストリーミングのマテリアライズドビューを手動で更新することもできます。このアプローチにより、追加費用なしで、使い慣れた既存の Amazon Redshift ツールと SQL を使用して、ストリーミングデータのダウンストリーム処理と変換を実行できます。
Amazon Redshift のストリーミング取り込みは、Amazon Redshift が利用可能なすべてのアマゾン ウェブ サービス (AWS) リージョンで一般利用できるようになりました。Amazon Redshift のストリーミング取り込みの使用を開始するには、現在のトラックで Amazon Redshift クラスターをプロビジョニングします。Amazon Redshift のストリーミング取り込みの使用を開始する方法の詳細については、Amazon Redshift のドキュメントページをご覧ください。